我國大數(shù)據(jù)分析工具的研究情況探析論文
2016年流行一個(gè)術(shù)語叫做數(shù)據(jù)主義，數(shù)據(jù)主義認(rèn)為整個(gè)世界由數(shù)據(jù)流構(gòu)成，數(shù)據(jù)每天以指數(shù)級(jí)增長，電話、飛機(jī)、網(wǎng)購、出行都是一個(gè)新的數(shù)據(jù)。數(shù)據(jù)將會(huì)有越來越重要的作用，同時(shí)人的地位慢慢開始下降。未來人的價(jià)值取決于對(duì)數(shù)據(jù)流的分析解讀能力，因此分析技術(shù)在未來變得越來越重要。
數(shù)據(jù)和人之間將通過算法連接，所以我們推出一個(gè)新的概念叫算法經(jīng)濟(jì)或算法革命。傳統(tǒng)的算法很多，如最早的數(shù)學(xué)算法，后來的天文算法，現(xiàn)在的統(tǒng)計(jì)學(xué)開啟的算法，但都不能滿足機(jī)器學(xué)算法。追求更智能化正改變著人類的進(jìn)程，數(shù)據(jù)離開了算法就沒有太多的意義。
到了新時(shí)代，我們發(fā)現(xiàn)很多是不規(guī)則的非結(jié)構(gòu)化數(shù)據(jù)，更重要的是希望通過機(jī)器做一些事情，這對(duì)算法提出了新的要求。人工智能主要包括以生物為基礎(chǔ)的生物智能和以算法為基礎(chǔ)的機(jī)器智能。而機(jī)器智能的核心是數(shù)據(jù)智能，這完全取決于算法。
大數(shù)據(jù)分析的工具是怎么發(fā)展的？第一代是基于關(guān)系型數(shù)據(jù)庫的分析，在這方面中國人比較落后，因此我們推出了馬克威關(guān)系型數(shù)據(jù)庫的分析軟件，現(xiàn)在已經(jīng)有很多用戶了。
而到了大數(shù)據(jù)時(shí)代，關(guān)系型數(shù)據(jù)庫不能滿足大量數(shù)據(jù)分析的需求，所以出現(xiàn)一個(gè)新的算法-分布式的算法，要調(diào)用分布式存儲(chǔ)的數(shù)據(jù)進(jìn)行分析，就需要分布式的算法體系，到目前為止，算法體系只有一個(gè)開源，是簡單的9個(gè)算法，而且對(duì)計(jì)算結(jié)果不敢負(fù)責(zé)，另外是馬克威分布式算法軟件-馬克威云挖掘軟件。
這一點(diǎn)上我們已把傳統(tǒng)的關(guān)系型數(shù)據(jù)庫拋在后面。我們和阿里巴巴合作開發(fā)該軟件，在阿里云測試3000臺(tái)服務(wù)器，一張表176億條記錄，68個(gè)變量，體積大概是3.4T.這張表是指淘寶的零售表，我們計(jì)算的結(jié)果是36秒，這意味著可以做很多的分析。這是真正用了大數(shù)據(jù)算法，不是停留在理論。
馬克威是完全基于分布式架構(gòu)來重新編寫，是真正的分布式軟件，其理念是實(shí)現(xiàn)從數(shù)據(jù)找算法變成算法找數(shù)據(jù)，通過算法逐步計(jì)算，然后將結(jié)果累計(jì)起來。
就在剛剛完成了分布式不久，Spark RDD用Scala語言編寫的分布式內(nèi)存數(shù)據(jù)處理應(yīng)用，馬克威把分布式算法變成分布式內(nèi)存計(jì)算，把我們的算法和Sp a rk對(duì)接。這意味著當(dāng)下算法的發(fā)展已到了比較新的生態(tài)-分布式內(nèi)存生態(tài)，既可以處理大量數(shù)據(jù)，同時(shí)可以快速解決問題。
還有一個(gè)發(fā)展趨勢，未來是人工智能的時(shí)代，人工智能說到底拼的還是算法模型。因此，天律公司正在研制基于硬件技術(shù)的嵌入式芯片。
機(jī)器智能就是機(jī)器學(xué)習(xí)算法，大部分還是在軟件中運(yùn)行，其速度跟不上工業(yè)設(shè)備的需求。因此我們采用FPGA技術(shù)，把算法做成極速嵌入式的裝置，可以滿足人機(jī)一體化的'需求。目前FPGA是最快的技術(shù)，且有很多機(jī)器設(shè)備在用。我們?nèi)〉昧艘恍┏醪匠晒�，第一個(gè)應(yīng)用是上海期貨，而期貨高頻交易是因?yàn)榇蠹倚枰斓乜吹叫星椤?/p>
我們推出中國第一個(gè)算法交易平臺(tái)，這里有一個(gè)理念-套裝軟件衰落，算法模型興起�，F(xiàn)在我們將所有的算法重新編寫，編成大量小的模型，部署在云端算法的交易平臺(tái)上。我們的理念是第一代互聯(lián)網(wǎng)門戶，如新浪、搜狐、網(wǎng)易；第二代互聯(lián)網(wǎng)交易平臺(tái)，如阿里巴巴、京東、1號(hào)店；第三代算法平臺(tái)，即知識(shí)產(chǎn)品、智慧產(chǎn)品在互聯(lián)網(wǎng)的交易。我們正在緊鑼密鼓測試我們的平臺(tái)，希望我們的算法能夠?yàn)樯鐣?huì)各領(lǐng)域服務(wù)，由現(xiàn)在的B2B變成B2C或C2B,允許別人把他們的算法模型拿到我們的平臺(tái)交易，這是我們開創(chuàng)的新商業(yè)模式。
15年以來，我們專注的一件事情就是算法。我們有算法大全、應(yīng)用模型大全、算法學(xué)院，還有集權(quán)的文檔，并網(wǎng)羅全世界難找到的開源算法。我們將免費(fèi)的算法知識(shí)都匯集到一個(gè)平臺(tái)上，要讓所有的中國人一想到分析和算法，就上馬克威算法平臺(tái)。
天律公司于2001年成立，是中國第一家真正做大數(shù)據(jù)分析化軟件的公司，我們現(xiàn)在是國家統(tǒng)計(jì)局“大數(shù)據(jù)與統(tǒng)計(jì)建�！钡闹付◤S家，以及全國大學(xué)生統(tǒng)計(jì)建模競賽（SUCM）的指定參賽軟件，國家火炬計(jì)劃項(xiàng)目、中國商務(wù)智能領(lǐng)軍品牌，國家統(tǒng)計(jì)局、海關(guān)總署、商務(wù)部、環(huán)保部、水利部、國家質(zhì)檢總局、上海世博會(huì)，阿里巴巴等互聯(lián)網(wǎng)公司，以及一些大型企業(yè)和高校都是我們的客戶。
我們有五大產(chǎn)品，馬克威云挖掘，馬克威分析系統(tǒng)、馬克威決策支持平臺(tái)、馬克威算法交易平臺(tái)、馬克威硬件極速交易系統(tǒng)。這些系統(tǒng)得到很多金融界朋友的認(rèn)可。
【我國大數(shù)據(jù)分析工具的研究情況探析論文】相關(guān)文章：
論文：大數(shù)據(jù)分析與應(yīng)用問題研究07-02
大數(shù)據(jù)分析的應(yīng)用審計(jì)畢業(yè)論文07-24
大數(shù)據(jù)環(huán)境下我國商務(wù)管理發(fā)展研究論文10-28
大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理研究論文10-19
大數(shù)據(jù)營銷創(chuàng)新研究論文11-06
我國水利政工工作的發(fā)展探析論文05-24
探析我國高校畢業(yè)生就業(yè)實(shí)證研究現(xiàn)狀綜述論文01-05
商務(wù)模式分類研究探析論文11-02