論文：大數(shù)據(jù)分析與應(yīng)用問(wèn)題研究

論文：大數(shù)據(jù)分析與應(yīng)用問(wèn)題研究

　　【摘 要】大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價(jià)值巨大但密度低的特點(diǎn)。大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法，從大數(shù)據(jù)中挖掘有效信息，為用戶提供輔助決策，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的過(guò)程。主要介紹了大數(shù)據(jù)定義，分析方法、應(yīng)用領(lǐng)域等相關(guān)問(wèn)題。

　　【關(guān)鍵詞】大數(shù)據(jù)；數(shù)據(jù)分析；應(yīng)用領(lǐng)域

　　1.大數(shù)據(jù)的定義

　　美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院對(duì)大數(shù)據(jù)做出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，或需要使用重要的水平縮放技術(shù)來(lái)實(shí)現(xiàn)高效處理的數(shù)據(jù)。”我們認(rèn)為大數(shù)據(jù)價(jià)值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值鏈的最后也是最重要的階段，是大數(shù)據(jù)價(jià)值的實(shí)現(xiàn)，是大數(shù)據(jù)應(yīng)用的基礎(chǔ)，其目的在于提取有用的值，提供論斷建議或支持決策，通過(guò)對(duì)不同領(lǐng)域數(shù)據(jù)集的分析可能會(huì)產(chǎn)生不同級(jí)別的潛在價(jià)值。

　　雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是它們?cè)谔幚硪?guī)模較大的數(shù)據(jù)集合時(shí)，效率無(wú)法達(dá)到用戶預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)。因此，出現(xiàn)了許多專門(mén)針對(duì)大數(shù)據(jù)的集成、管理及分析的技術(shù)和方法。

　　2.大數(shù)據(jù)分析方法

　　布隆過(guò)濾器：其實(shí)質(zhì)是一個(gè)位數(shù)組和一系列HASH函數(shù)。布隆過(guò)濾器的原理是利用位數(shù)組存儲(chǔ)數(shù)據(jù)的HASH值而不是數(shù)據(jù)本身，其本質(zhì)是利用HASH函數(shù)對(duì)數(shù)據(jù)進(jìn)行有損壓縮存儲(chǔ)的位圖索引。其優(yōu)點(diǎn)是具有較高的空間效率和查詢速率，缺點(diǎn)是有一定的誤識(shí)別率和刪除困難。布隆過(guò)濾器適用于允許低誤識(shí)別率的大數(shù)據(jù)場(chǎng)合。

　　HASH法，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)化為長(zhǎng)度更短的定長(zhǎng)的數(shù)值或索引值的方法。這種方法的優(yōu)點(diǎn)是具有快速的讀寫(xiě)和查詢速度，缺點(diǎn)是難以找到一個(gè)良好的HASH函數(shù)。

　　索引：無(wú)論是在管理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，還是管理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的`技術(shù)中，索引都是一個(gè)減少磁盤(pán)讀寫(xiě)開(kāi)銷、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開(kāi)銷存儲(chǔ)索引文件，且需要根據(jù)數(shù)據(jù)的更新而動(dòng)態(tài)維護(hù)。

　　TRIE樹(shù)：又稱為字典樹(shù)，是HASH樹(shù)的變種形式，多被用于快速檢索，和詞頻統(tǒng)計(jì)。TRIE樹(shù)的思想是利用字符串的公共前綴，最大限度地減少字符串的比較，提高查詢效率。

　　并行計(jì)算：相對(duì)于傳統(tǒng)的串行計(jì)算，并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問(wèn)題進(jìn)行分解，由若干個(gè)獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。

　　傳統(tǒng)數(shù)據(jù)分析方法，大多數(shù)都是通過(guò)對(duì)原始數(shù)據(jù)集進(jìn)行抽樣或者過(guò)濾，然后對(duì)數(shù)據(jù)樣本進(jìn)行分析，尋找特征和規(guī)律，其最大的特點(diǎn)是通過(guò)復(fù)雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計(jì)算能力和存儲(chǔ)能力的提升，大數(shù)據(jù)分析方法與傳統(tǒng)分析方法的最大區(qū)別在于分析的對(duì)象是全體數(shù)據(jù)，而不是數(shù)據(jù)樣本，其最大的特點(diǎn)在于不追求算法的復(fù)雜性和精確性，而追求可以高效地對(duì)整個(gè)數(shù)據(jù)集的分析�？傊�，傳統(tǒng)數(shù)據(jù)方法力求通過(guò)復(fù)雜算法從有限的數(shù)據(jù)集中獲取信息，其更加追求準(zhǔn)確性；大數(shù)據(jù)分析方法則是通過(guò)高效的算法、模式，對(duì)全體數(shù)據(jù)進(jìn)行分析。

　　3.大數(shù)據(jù)應(yīng)用領(lǐng)域

　　4.結(jié)束語(yǔ)

　　大數(shù)據(jù)引發(fā)思維變革。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集、獲取和分析都更加快捷，這些海量的數(shù)據(jù)將對(duì)我們的思考方式產(chǎn)生深遠(yuǎn)的影響。分析數(shù)據(jù)時(shí)要盡可能地利用所有數(shù)據(jù)，而不只是分析少量的樣本數(shù)據(jù)。相比于精確的數(shù)據(jù)，我們更樂(lè)于接受紛繁復(fù)雜的數(shù)據(jù)。我們應(yīng)該更為關(guān)注事物之間的相關(guān)關(guān)系，而不是探索因果關(guān)系。大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更為有效。大數(shù)據(jù)的分析結(jié)果將減少?zèng)Q策中的草率和主觀因素，數(shù)據(jù)科學(xué)家將取代“專家”。 [科]

　　【參考文獻(xiàn)】

　　[2]黃曉斌，鐘輝新.基于大數(shù)據(jù)的企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)模型構(gòu)建[J].情報(bào)雜志，2013（03）.