大數(shù)據(jù)時(shí)代，人人都在談大數(shù)據(jù)。但當(dāng)我們談大數(shù)據(jù)的時(shí)候我們在談什么呢？

在談到大數(shù)據(jù)的時(shí)候，人們往往知道的就是數(shù)據(jù)很大，但大數(shù)據(jù)≠大的數(shù)據(jù)。對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)信息學(xué)院副院長華迎教授介紹：“現(xiàn)在的大數(shù)據(jù)主要是指網(wǎng)絡(luò)數(shù)據(jù)。數(shù)據(jù)分析不是新的，一直都有，但是為什么叫大數(shù)據(jù)呢?主要是因?yàn)榫W(wǎng)絡(luò)數(shù)據(jù)的格式、體量、價(jià)值，都超出了傳統(tǒng)數(shù)據(jù)的規(guī)模.”大量的數(shù)據(jù)只是大數(shù)據(jù)這一名詞的特征之一，要看待大數(shù)據(jù)必須辯證、全面的看待。

進(jìn)入互聯(lián)網(wǎng)時(shí)代，中國的網(wǎng)民人數(shù)已超7億，大數(shù)據(jù)的應(yīng)用涉及到生活的方方面面。例如，你在網(wǎng)站上買書，商家就會(huì)根據(jù)你的喜好和其他購書者的評(píng)價(jià)給你推薦另外的書籍;手機(jī)定位數(shù)據(jù)和交通數(shù)據(jù)可以幫助城市規(guī)劃;甚至用戶的搜索習(xí)慣和股市都有很大關(guān)系。而這些與大數(shù)據(jù)相關(guān)的應(yīng)用，都離不開大數(shù)據(jù)技術(shù)在日常生活中的應(yīng)用，可以確定的是大數(shù)據(jù)從來不是高大上的名詞，大數(shù)據(jù)技術(shù)也不是技術(shù)人員專有的技術(shù)，今天小億就和大家聊聊大數(shù)據(jù)技術(shù)究竟是什么。

一、大數(shù)據(jù)的概念

1、大數(shù)據(jù)的含義

大數(shù)據(jù)（Big Data），又稱巨量資料或海量資料，通常是指巨大而復(fù)雜的數(shù)據(jù)集合。

大數(shù)據(jù)超出傳統(tǒng)工具或單臺(tái)計(jì)算機(jī)的處理能力，因此無法用常規(guī)軟件對(duì)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、挖掘、分析及應(yīng)用管理，而是必須用新的數(shù)據(jù)處理模式才能具有更強(qiáng)的洞察力、決策力和優(yōu)化能力，大數(shù)據(jù)處理技術(shù)包括數(shù)據(jù)接入、數(shù)據(jù)持久存儲(chǔ)、數(shù)據(jù)計(jì)算和分析、數(shù)據(jù)展示（可視化）等等。

眾所周知，世界的本質(zhì)是數(shù)據(jù)，大數(shù)據(jù)仍然是數(shù)據(jù)，只不過是“大”一點(diǎn)的數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量空前增長，互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、成千上萬的傳感器、穿戴設(shè)備、GPS等，都在推動(dòng)大數(shù)據(jù)處理技術(shù)快速發(fā)展。隨著大數(shù)據(jù)的產(chǎn)生，原本的數(shù)據(jù)世界也被劃分為兩個(gè)時(shí)代，即大數(shù)據(jù)時(shí)代和小數(shù)據(jù)時(shí)代。小數(shù)據(jù)采用隨機(jī)樣本分析，大數(shù)據(jù)采用全體數(shù)據(jù)分析；小數(shù)據(jù)講求精確性分析，大數(shù)據(jù)注重效率性分析；小數(shù)據(jù)講求因果關(guān)系，大數(shù)據(jù)注重相關(guān)性分析。隨著小數(shù)據(jù)時(shí)代向大數(shù)據(jù)時(shí)代轉(zhuǎn)移，樣本思維必然向整體思維過渡，或者說，抽樣調(diào)查將成為過去，整體數(shù)據(jù)分析將成為主流的思維方式。

2、大數(shù)據(jù)的特征

一般通常用“4V”來概括大數(shù)據(jù)的基本特征，即數(shù)據(jù)體量大（Volume）、數(shù)據(jù)類型多（Variety）、處理速度快（Velocity）和價(jià)值密度低（Value）四大特征。

（1）數(shù)據(jù)體量大（Volume）

只有數(shù)據(jù)體量達(dá)到PB級(jí)別以上，才能稱為大數(shù)據(jù)。

但人類社會(huì)現(xiàn)存所有印刷材料的數(shù)據(jù)總量僅為200PB，然而百度搜索每天提供的數(shù)據(jù)量超過1.5PB，如果將這些數(shù)據(jù)打印出來，將會(huì)超過5千億張A4紙；阿里巴巴網(wǎng)購每天產(chǎn)生的商品交易數(shù)據(jù)量約為20TB；臉書用戶每天產(chǎn)生的日志數(shù)據(jù)超過300TB。在網(wǎng)絡(luò)時(shí)代，大數(shù)據(jù)的體量是非常大的。

（2）數(shù)據(jù)類別多（Variety）

數(shù)據(jù)共分為三種類型：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，越來越多的數(shù)據(jù)的出現(xiàn)也使得數(shù)據(jù)的類別越來越多，從結(jié)構(gòu)化數(shù)據(jù)到不規(guī)律不規(guī)則的非結(jié)構(gòu)化數(shù)據(jù)，出現(xiàn)了越來越多的數(shù)據(jù)類別。

（3）處理速度快（Velocity）

處理速度快或數(shù)據(jù)快速流轉(zhuǎn)是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。

在數(shù)據(jù)量非常龐大的情況下，大數(shù)據(jù)處理工具通過算法邏輯對(duì)數(shù)據(jù)信息進(jìn)行快速處理，并從各種類型的數(shù)據(jù)中及時(shí)獲得高價(jià)值信息。但其實(shí)很多平臺(tái)都需要做到實(shí)時(shí)處理和分析，誰的速度更快，誰就更占優(yōu)勢，“1秒定律”顯示了大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的本質(zhì)不同。

（4）價(jià)值密度低（Value）

價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比，數(shù)據(jù)總量越大，無效的數(shù)據(jù)可能越多。大數(shù)據(jù)是海量的數(shù)據(jù)集合，在大海中尋找寶藏猶如大海撈針，大數(shù)據(jù)的作用就是通過強(qiáng)大的機(jī)器算法快速挖掘或提純出高價(jià)值的數(shù)據(jù)，這既是大數(shù)據(jù)的難點(diǎn)所在，又是大數(shù)據(jù)的優(yōu)勢所在。

二、大數(shù)據(jù)技術(shù)的概念與應(yīng)用場景

1、大數(shù)據(jù)技術(shù)的概念

大數(shù)據(jù)技術(shù)，簡而言之，就是提取大數(shù)據(jù)價(jià)值的技術(shù)，是根據(jù)特定目標(biāo)，經(jīng)過數(shù)據(jù)收集與存儲(chǔ)、數(shù)據(jù)篩選、算法分析與預(yù)測、數(shù)據(jù)分析結(jié)果展示等，為做出正確決策提供依據(jù)，其處理的數(shù)據(jù)量通常是TB級(jí)，甚至是PB或EB級(jí)的數(shù)據(jù)，這是傳統(tǒng)數(shù)據(jù)處理手段所無法完成的，其涉及的技術(shù)有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時(shí)性計(jì)算等，匯集了當(dāng)前IT領(lǐng)域熱門流行的IT技術(shù)。

大數(shù)據(jù)技術(shù)體系龐大而復(fù)雜，基礎(chǔ)技術(shù)包含數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)挖掘、數(shù)據(jù)倉庫、并行計(jì)算、數(shù)據(jù)可視化等。大數(shù)據(jù)的最終目標(biāo)是數(shù)據(jù)分析處理，失去數(shù)據(jù)處理環(huán)節(jié)，大數(shù)據(jù)就毫無價(jià)值可言，數(shù)據(jù)處理是大數(shù)據(jù)產(chǎn)業(yè)的核心技術(shù)流程，再加上末端環(huán)節(jié)的數(shù)據(jù)可視化，整個(gè)鏈條才能呈現(xiàn)為完整的閉環(huán)系統(tǒng)。

說了這么多概念，也許仍然有人不理解大數(shù)據(jù)技術(shù)究竟是什么，離我們遠(yuǎn)嗎？下面小億想舉一些場景中的例子和大家說明。

2、大數(shù)據(jù)技術(shù)的應(yīng)用場景

其實(shí)大數(shù)據(jù)無處不在，并被應(yīng)用于各個(gè)行業(yè)，包括金融、證券、保險(xiǎn)、航空、政務(wù)、零售、交通、醫(yī)療、教育、酒店、餐飲、電信、能源、健康、娛樂、服務(wù)業(yè)以及社會(huì)治理等各個(gè)領(lǐng)域，下面小億和大家聊一下大數(shù)據(jù)技術(shù)的一些應(yīng)用場景。

（1）人工智能（AI）應(yīng)用場景

大數(shù)據(jù)能夠促進(jìn)人工智能（AI）產(chǎn)業(yè)的進(jìn)化與發(fā)展，從而產(chǎn)生一些意想不到的結(jié)果。AI影響幅度很大，比如媒體業(yè)，現(xiàn)在計(jì)算機(jī)跟機(jī)器人可以寫出很好的文章，而且1小時(shí)產(chǎn)出好幾百篇，成本也很低。比如經(jīng)濟(jì)領(lǐng)域，AI對(duì)經(jīng)濟(jì)發(fā)展會(huì)產(chǎn)生巨大影響，很多知識(shí)產(chǎn)業(yè)跟白領(lǐng)工作也可能被機(jī)器人取代。再比如無人駕駛等高科技領(lǐng)域， AI會(huì)讓駕車更安全，讓生活更美好。

（2）智慧城市應(yīng)用場景

智慧城市管理，可以利用大數(shù)據(jù)實(shí)現(xiàn)智能交通、環(huán)保監(jiān)測、城市規(guī)劃和智能安防。比如交通領(lǐng)域，實(shí)時(shí)分析城市交通數(shù)據(jù)，指導(dǎo)駕車者選擇最佳路徑，有效改善城市擁堵狀況；再比如，大數(shù)據(jù)和物聯(lián)網(wǎng)支持的無人駕駛汽車，在不遠(yuǎn)的未來也會(huì)走入我們的生活。

（3）商務(wù)領(lǐng)域應(yīng)用場景

借助大數(shù)據(jù)技術(shù)，可以分析客戶行為，進(jìn)行有針對(duì)性的商品推薦和廣告投放；電信行業(yè)，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)客戶離網(wǎng)分析，及時(shí)掌握客戶離網(wǎng)傾向，出臺(tái)客戶挽留措施。

（4）制造業(yè)應(yīng)用場景

工業(yè)大數(shù)據(jù)可以提升制造業(yè)水平，包括產(chǎn)品故障診斷與預(yù)測、分析工藝流程、改進(jìn)生產(chǎn)工藝，優(yōu)化生產(chǎn)過程能耗、工業(yè)供應(yīng)鏈分析與優(yōu)化、生產(chǎn)計(jì)劃與進(jìn)程。

（5）金融行業(yè)應(yīng)用場景

大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重大作用。

（6）能源行業(yè)應(yīng)用場景

智能電網(wǎng)可以讓電力公司掌握海量用戶的用電信息，利用大數(shù)據(jù)技術(shù)，分析用戶用電模式，改進(jìn)電網(wǎng)運(yùn)行，合理設(shè)計(jì)電力需求響應(yīng)系統(tǒng)，確保電網(wǎng)安全運(yùn)行。

（7）物流行業(yè)應(yīng)用場景

利用大數(shù)據(jù)優(yōu)化物流網(wǎng)絡(luò)，提高物流效率，降低物流成本。

（8）生物醫(yī)學(xué)應(yīng)用場景

大數(shù)據(jù)促進(jìn)城市精準(zhǔn)醫(yī)療發(fā)展，比如降低醫(yī)院誤診誤判率。僅憑醫(yī)生判斷，難免產(chǎn)生誤診誤判，如果把一個(gè)城市每一年的所有醫(yī)療病例數(shù)據(jù)匯集起來，然后去掉敏感的個(gè)人隱私數(shù)據(jù)，就可以做出一個(gè)超大樣本的誤診誤判的數(shù)據(jù)庫，從中分析原因，提高病人的治愈率。大數(shù)據(jù)可以實(shí)現(xiàn)流行病預(yù)測、智慧醫(yī)療、健康管理，同時(shí)還可以幫助我們解讀DNA，了解更多的生命奧秘。

（9）安全領(lǐng)域應(yīng)用場景

政府可以利用大數(shù)據(jù)技術(shù)構(gòu)建強(qiáng)大的國家安全保障體系，企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡(luò)攻擊，警察可以借助大數(shù)據(jù)預(yù)防犯罪。

（10）個(gè)人生活應(yīng)用場景

大數(shù)據(jù)還可以應(yīng)用于個(gè)人生活，利用與每個(gè)人相關(guān)聯(lián)的“個(gè)人大數(shù)據(jù)”，分析個(gè)人生活行為習(xí)慣，為其提供更加周到的個(gè)性化服務(wù)。

（11）社會(huì)治理應(yīng)用場景

政府掌握著社會(huì)生產(chǎn)和民眾生活相關(guān)的海量數(shù)據(jù)。大數(shù)據(jù)可以應(yīng)用于政府治理中的各個(gè)環(huán)節(jié)，并推動(dòng)政府治理模式的改變。大數(shù)據(jù)在政府治理方面已經(jīng)有很多成熟的應(yīng)用案例，比如城市應(yīng)急管理、河道治理等。

（12）大數(shù)據(jù)防止企業(yè)逃漏稅

很多地區(qū)的稅務(wù)局，利用大數(shù)據(jù)“治稅”。比如，把發(fā)改委、經(jīng)信委、稅務(wù)局和法院的數(shù)據(jù)擰合在一起，就可能會(huì)發(fā)現(xiàn)某家企業(yè)的稅務(wù)是有異常的。通過對(duì)多方面數(shù)據(jù)的綜合分析，甚至可以發(fā)現(xiàn)某些公司人為造成虧損的假象，進(jìn)而實(shí)現(xiàn)偷逃漏稅的目的。當(dāng)發(fā)現(xiàn)公司的稅務(wù)異常跡象時(shí)，就可以做出一些數(shù)據(jù)分析，確認(rèn)企業(yè)逃稅漏稅的可能性，促進(jìn)相關(guān)部門公正合理執(zhí)法。

三、大數(shù)據(jù)技術(shù)的具體應(yīng)用

大數(shù)據(jù)技術(shù)其實(shí)在這個(gè)時(shí)代更多的表現(xiàn)在技術(shù)集合的工具或者平臺(tái)上，今天小億想以億信華辰開發(fā)的億信ABI為例，給大家分享大數(shù)據(jù)技術(shù)在現(xiàn)在究竟是怎么應(yīng)用的。

億信ABI（ALL in one BI）是億信華辰歷經(jīng)十五年匠心打造的國產(chǎn)化BI工具，技術(shù)自主可控。它打通從數(shù)據(jù)接入、到數(shù)據(jù)建模與處理、再到數(shù)據(jù)分析與挖掘整個(gè)數(shù)據(jù)應(yīng)用全鏈路，可滿足企業(yè)經(jīng)營中各類復(fù)雜的分析需求，幫助企業(yè)實(shí)現(xiàn)高效數(shù)字化轉(zhuǎn)型。

從數(shù)據(jù)處理方面看，億信ABI平臺(tái)內(nèi)置了數(shù)倉實(shí)施工具，其中豐富的處理轉(zhuǎn)換組件，通過拖拽式的流程設(shè)計(jì)，實(shí)現(xiàn)了數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載及調(diào)度，用于幫助政府和企業(yè)構(gòu)建數(shù)據(jù)倉庫，完成數(shù)據(jù)融合，提升數(shù)據(jù)質(zhì)量，服務(wù)數(shù)據(jù)分析。同時(shí)可以構(gòu)建數(shù)據(jù)倉庫，用于幫助政府和企業(yè)構(gòu)建數(shù)據(jù)倉庫。通過拖拽式的流程設(shè)計(jì)，實(shí)現(xiàn)了數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載及調(diào)度。

從數(shù)據(jù)可視化方面看，億信ABI內(nèi)置了近百種組件特效任意組合即可制作酷炫靈動(dòng)的大屏駕駛艙。并且其可視化的表現(xiàn)形式支持各類地圖應(yīng)用，包括圖片式地圖，GIS地圖，動(dòng)態(tài)3D地圖；通過這些方式完成領(lǐng)導(dǎo)駕駛艙，以圖表結(jié)合的形式生動(dòng)直觀地展示企業(yè)KPI指標(biāo)，為領(lǐng)導(dǎo)提供的“一站式”決策支持。并且逼真的動(dòng)態(tài)模型仿真、擬實(shí)場景交互和實(shí)時(shí)數(shù)據(jù)監(jiān)控，輕松掌握城市一手信息，賦能智慧城市高效運(yùn)營。

從預(yù)測挖掘方面來看， 億信ABI內(nèi)置了多樣的算法，包括分類分析，關(guān)聯(lián)分析，回歸分析，聚類分析，時(shí)間序列預(yù)測等等。并且在預(yù)測挖掘過程中可以全程做到可視化，不懂算法也不用擔(dān)心，拖拽式操作輕松掌握數(shù)據(jù)挖掘。在模型評(píng)估上，其提供科學(xué)的模型評(píng)估方法，根據(jù)評(píng)估結(jié)果智能的推薦最佳模型。

上面這些就是大數(shù)據(jù)技術(shù)在億信ABI平臺(tái)的體現(xiàn)方式，希望能夠?qū)Υ蠹移鸬揭恍椭?/p>

四、小結(jié)

眾所周知，大數(shù)據(jù)帶來了信息技術(shù)的巨大變革，對(duì)社會(huì)生產(chǎn)和人們生活的各個(gè)領(lǐng)域都產(chǎn)生著深刻的影響，所到之處，或是顛覆，或是提升，讓人們深切感受到了大數(shù)據(jù)實(shí)實(shí)在在的價(jià)值和意義。大數(shù)據(jù)的價(jià)值，在生活，在生產(chǎn)也在學(xué)習(xí)，我們的整個(gè)社會(huì)和時(shí)代在疫情之后迅速的走上數(shù)字化的道路，大數(shù)據(jù)的價(jià)值也逐漸的被挖掘出來。

但大數(shù)據(jù)的價(jià)值，遠(yuǎn)遠(yuǎn)不止于此，大數(shù)據(jù)對(duì)各行各業(yè)的滲透，大大推動(dòng)了社會(huì)生產(chǎn)和生活，未來必將產(chǎn)生重大而深遠(yuǎn)的影響。

作者：億信華辰
鏈接：https://www.zhihu.com/question/403508693/answer/2224311544
來源：知乎