正文

大數(shù)據(jù)的特征(4)

智慧政府:大數(shù)據(jù)治國時代的來臨 作者:徐繼華


吳甘沙提出,天下武功,唯快不破。為什么要“快”?第一,時間就是金錢。如果說價值是分子,那么時間就是分母,分母越小,單位價值就越大。面臨同樣大的數(shù)據(jù)“礦山”,“挖礦”效率是競爭優(yōu)勢。第二,像其他商品一樣,數(shù)據(jù)的價值會折舊,等量數(shù)據(jù)在不同時間點上價值不等。NewSQL(新的可擴展性/高性能數(shù)據(jù)庫)的先行者VoltDB(內(nèi)存數(shù)據(jù)庫)發(fā)明了一個概念叫作“數(shù)據(jù)連續(xù)統(tǒng)一體”:數(shù)據(jù)存在于一個連續(xù)的時間軸上,每個數(shù)據(jù)項都有它的年齡,不同年齡的數(shù)據(jù)有不同的價值取向,新產(chǎn)生的數(shù)據(jù)更具有個體價值,產(chǎn)生時間較為久遠的數(shù)據(jù)集合起來更能發(fā)揮價值。第三,數(shù)據(jù)跟新聞一樣具有時效性。很多傳感器的數(shù)據(jù)產(chǎn)生幾秒之后就失去意義了。美國國家海洋和大氣管理局的超級計算機能夠在日本地震后9分鐘計算出海嘯的可能性,但9分鐘的延遲對于瞬間被海浪吞噬的生命來說還是太長了。

越來越多的數(shù)據(jù)挖掘趨于前端化,即提前感知預(yù)測并直接提供服務(wù)對象所需要的個性化服務(wù)。例如,對絕大多數(shù)商品來說,找到顧客“觸點”的最佳時機并非在結(jié)賬以后,而是在顧客還提著籃子逛街時。電子商務(wù)網(wǎng)站從點擊流、瀏覽歷史和行為(如放入購物車)中實時發(fā)現(xiàn)顧客的即時購買意圖和興趣,并據(jù)此推送商品,這就是“快”的價值。

真實性

在以上3項特征的基礎(chǔ)上,IBM歸納總結(jié)了大數(shù)據(jù)的第四個特征—真實性。數(shù)據(jù)的重要性就在于對決策的支持。數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助,數(shù)據(jù)的真實性和質(zhì)量才是獲得真知和思路最重要的因素,是制定成功決策最堅實的基礎(chǔ)。

追求高數(shù)據(jù)質(zhì)量是一項重要的大數(shù)據(jù)要求和挑戰(zhàn)。即使最優(yōu)秀的數(shù)據(jù)清理方法也無法消除某些數(shù)據(jù)固有的不可預(yù)測性,例如,人的感情和誠實性、天氣形勢、經(jīng)濟因素以及未來。在處理這些類型的數(shù)據(jù)時,數(shù)據(jù)清理無法修正這種不確定性。然而,盡管存在不確定性,數(shù)據(jù)仍然包含寶貴的信息。我們必須承認、接受大數(shù)據(jù)的不確定性,并確定如何充分利用這一點,例如,采取數(shù)據(jù)融合,即通過結(jié)合多個可靠性較低的來源創(chuàng)建更準確、更有用的數(shù)據(jù)點,或者通過魯棒優(yōu)化技術(shù)和模糊邏輯方法等先進的數(shù)學(xué)方法。

業(yè)界還有人把大數(shù)據(jù)的基本特征從4V擴展到了11V,包括價值密度低(Value)、可視化(Visualization)、有效性(Validity)等。例如,價值密度低是指隨著物聯(lián)網(wǎng)的廣泛應(yīng)用,信息感知無處不在,信息海量,但在連續(xù)不間斷的視頻監(jiān)控過程中,可能有用的數(shù)據(jù)僅一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù)時代亟待解決的難題。

國際數(shù)據(jù)公司報告里有一句話,概括出了大數(shù)據(jù)基本特征之間的關(guān)系:大數(shù)據(jù)技術(shù)通過使用高速的采集、發(fā)現(xiàn)或分析,從超大容量的多樣數(shù)據(jù)中經(jīng)濟地提取價值。

除了上述主流的定義,還有人使用3S 或者3I 描述大數(shù)據(jù)的特征。3S指的是:大?。⊿ize)、速度(Speed)和結(jié)構(gòu)(Structure)。3I指的是:(1)定義不明確的(Ill-de.ned):多個主流的大數(shù)據(jù)定義都強調(diào)了數(shù)據(jù)規(guī)模需要超過傳統(tǒng)方法處理數(shù)據(jù)的規(guī)模,而隨著技術(shù)的進步,數(shù)據(jù)分析的效率不斷提高,符合大數(shù)據(jù)定義的數(shù)據(jù)規(guī)模也會相應(yīng)不斷變大,因而并沒有一個明確的標(biāo)準;(2)令人生畏的(Intimidating):從管理大數(shù)據(jù)到使用正確的工具獲取它的價值,利用大數(shù)據(jù)的過程中充滿了各種挑戰(zhàn);(3)即時的(Immediate):數(shù)據(jù)的價值會隨著時間快速衰減。因此為了保證大數(shù)據(jù)的可控性,需要縮短數(shù)據(jù)搜集到獲得數(shù)據(jù)洞察之間的時間,使得大數(shù)據(jù)成為真正的即時大數(shù)據(jù)。這意味著能盡快地分析數(shù)據(jù)對獲得競爭優(yōu)勢至關(guān)重要。由于相關(guān)表述都異曲同工,在此不做詳細介紹。


上一章目錄下一章

Copyright ? 讀書網(wǎng) ranfinancial.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網(wǎng)安備 42010302001612號