信息管理專業(yè)建立大數(shù)據(jù)實(shí)驗(yàn)平臺的思考論文
隨著大數(shù)據(jù)、商務(wù)智能技術(shù)的快速發(fā)展與廣泛應(yīng)用，作為綜合型應(yīng)用型人才的信息管理專業(yè)的本科生必須在掌握理論知識的前提下了解和熟悉大數(shù)據(jù)存儲(chǔ)、處理、分析與可視化的實(shí)踐操作，這就對建立大數(shù)據(jù)實(shí)驗(yàn)平臺提出了要求。本文探討大數(shù)據(jù)實(shí)驗(yàn)平臺建立的必要性與可行性，并通過大數(shù)據(jù)系統(tǒng)的調(diào)研情況，給出大數(shù)據(jù)實(shí)驗(yàn)平臺建立的初步構(gòu)想。
一、引言
隨著大數(shù)據(jù)應(yīng)用范圍的擴(kuò)大，相應(yīng)的人才需求也存在很大缺口，此時(shí)在信息管理學(xué)院建立大數(shù)據(jù)開發(fā)實(shí)驗(yàn)室，包括云存儲(chǔ)平臺建設(shè)、基于云存儲(chǔ)平臺的教育資源建設(shè)、大數(shù)據(jù)開發(fā)平臺建設(shè)、大數(shù)據(jù)分析工具與資源建設(shè)，能應(yīng)用云存儲(chǔ)技術(shù)實(shí)現(xiàn)教育資源的有效應(yīng)用;能促進(jìn)學(xué)生了解大數(shù)據(jù)開發(fā)的Hadoops環(huán)境，以及該環(huán)境下的平臺建設(shè);并能在該平臺下進(jìn)行大數(shù)據(jù)分析實(shí)踐。本校信息管理學(xué)院包括信息管理與信息系統(tǒng)、電子商務(wù)、信息安全等專業(yè)，在此實(shí)驗(yàn)平臺上，根據(jù)不同的教學(xué)目標(biāo)開發(fā)針對不同專業(yè)的學(xué)生的開放性實(shí)驗(yàn)課程尤為重要。
二、必要性與可行性
當(dāng)前“大數(shù)據(jù)技術(shù)”充滿了新的機(jī)遇和挑戰(zhàn)，其在企業(yè)IT基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析和服務(wù)這些關(guān)鍵規(guī)劃領(lǐng)域的應(yīng)用，將會(huì)對社會(huì)經(jīng)濟(jì)發(fā)展帶來長遠(yuǎn)深刻的影響。大數(shù)據(jù)指的是從各種各樣的數(shù)據(jù)中快速獲得有價(jià)值信息的能力，具有數(shù)據(jù)量大、種類繁多、價(jià)值稀疏、處理速度快的特征，這些特征對目前社會(huì)各個(gè)行業(yè)的信息架構(gòu)、系統(tǒng)的沖擊非常大。大數(shù)據(jù)技術(shù)對整個(gè)社會(huì)經(jīng)濟(jì)發(fā)展來說既是機(jī)遇也是挑戰(zhàn)。
(一)必要性
根據(jù)IDC在2011年6月發(fā)布的《數(shù)字宇宙》(Digital Universe)研究報(bào)告，2011年全球新建和復(fù)制的信息量超過1.9 ZB(1.8萬億GB)，五年時(shí)間增加了近九倍。隨著數(shù)據(jù)量的指數(shù)級增長、數(shù)據(jù)源種類(包括結(jié)構(gòu)化數(shù)據(jù)源和非結(jié)構(gòu)化數(shù)據(jù)源，如社交媒體、富媒體文件以及地理空間信息)的飛速增加，以及數(shù)據(jù)產(chǎn)生速度的加快(如實(shí)時(shí)傳感器數(shù)據(jù))，傳統(tǒng)的數(shù)據(jù)庫和架構(gòu)無法處理、管理和分析如此龐大的數(shù)據(jù)集。政府、金融、電信、互聯(lián)網(wǎng)等大數(shù)據(jù)應(yīng)用的行業(yè)先鋒目前均面臨大數(shù)據(jù)的問題。不僅如此，隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能手機(jī)、平板電腦的飛速發(fā)展，大數(shù)據(jù)技術(shù)擁有了更為廣泛的數(shù)據(jù)資源。因此，IT產(chǎn)業(yè)界及行業(yè)用戶都亟需針對大數(shù)據(jù)設(shè)計(jì)和優(yōu)化大數(shù)據(jù)存儲(chǔ)、管理和查詢平臺，來替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫平臺。在技術(shù)發(fā)展的前沿階段進(jìn)行實(shí)驗(yàn)平臺建設(shè)對我學(xué)院師生具有重要意義。
該實(shí)驗(yàn)平臺能夠?yàn)閷W(xué)生提供一個(gè)了解最前沿技術(shù)的機(jī)會(huì)，不僅能夠提高學(xué)生學(xué)習(xí)興趣、自學(xué)能力，還為學(xué)生就業(yè)、更好地規(guī)劃未來的職業(yè)發(fā)展提供了機(jī)會(huì)。大數(shù)據(jù)技術(shù)的機(jī)遇與挑戰(zhàn)帶來了很大的人才缺口，目前大數(shù)據(jù)技術(shù)平臺開發(fā)、方案實(shí)施人才緊缺;由于云存儲(chǔ)、大數(shù)據(jù)技術(shù)帶來的信息安全問題，也亟需大量信息安全領(lǐng)域的人才;由于大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)、電子商務(wù)、移動(dòng)互聯(lián)方面的應(yīng)用，對了解大數(shù)據(jù)技術(shù)的電子商務(wù)專業(yè)人才也更青睞。通過本實(shí)驗(yàn)平臺的培養(yǎng)，感興趣的優(yōu)秀學(xué)生還可以嘗試考取與大數(shù)據(jù)技術(shù)密切相關(guān)的Hadoop專業(yè)認(rèn)證——Cloudera Certified Developer/Administrator for Apache Hadoop，為學(xué)校、學(xué)院在該領(lǐng)域帶來正面影響，增加更多合作和就業(yè)的機(jī)會(huì)。
該實(shí)驗(yàn)平臺能夠?yàn)樾畔⑾到y(tǒng)專業(yè)試點(diǎn)班培養(yǎng)計(jì)劃的很多核心課程(包括管理統(tǒng)計(jì)學(xué)中的業(yè)務(wù)報(bào)表與分析、商務(wù)智能方法與應(yīng)用、商務(wù)智能實(shí)踐、數(shù)據(jù)挖掘和BA綜合實(shí)訓(xùn)等)形成較好的前后銜接關(guān)系，能夠豐富實(shí)踐教學(xué)環(huán)節(jié)，深化教學(xué)大綱的內(nèi)容，從建設(shè)更合理的'課程建設(shè)體系來說具有很大的必要性。
近幾年學(xué)生就業(yè)壓力越來越大，迫切需要對教學(xué)內(nèi)容和實(shí)踐環(huán)節(jié)不斷突破創(chuàng)新，才能具備持續(xù)發(fā)展能力。因此在原有課程體系和實(shí)踐教學(xué)環(huán)境的基礎(chǔ)上增設(shè)本實(shí)驗(yàn)平臺非常必要。
(二)可行性
教學(xué)計(jì)劃中的相關(guān)程序設(shè)計(jì)課程為學(xué)生學(xué)習(xí)云存儲(chǔ)技術(shù)、熟悉大數(shù)據(jù)開發(fā)平臺、了解最新大數(shù)據(jù)技術(shù)的發(fā)展、進(jìn)行大數(shù)據(jù)平臺基礎(chǔ)上的開發(fā)、實(shí)現(xiàn)對大數(shù)據(jù)的分析、可視化演示打好了基礎(chǔ)。
英特爾Apache Hadoop平臺是目前大多數(shù)大數(shù)據(jù)處理的技術(shù)基礎(chǔ)，目前該技術(shù)已經(jīng)發(fā)展成熟，并隨之產(chǎn)生很多基于該平臺的大數(shù)據(jù)處理工具，可供實(shí)驗(yàn)室建設(shè)實(shí)驗(yàn)平臺使用。
三、建立大數(shù)據(jù)實(shí)驗(yàn)平臺的基本構(gòu)想
(一)實(shí)驗(yàn)平臺人員
實(shí)驗(yàn)平臺人員負(fù)責(zé)實(shí)驗(yàn)平臺的建設(shè)、維護(hù)，實(shí)驗(yàn)設(shè)計(jì)與指導(dǎo)人員由在大數(shù)據(jù)相關(guān)領(lǐng)域、課程建設(shè)以及實(shí)踐教學(xué)方面都有著豐富的經(jīng)驗(yàn)的教師與實(shí)驗(yàn)室工作人員構(gòu)成，同時(shí)與大數(shù)據(jù)企業(yè)進(jìn)行合作，獲得其核心技術(shù)人員的支持、培訓(xùn)和大力配合，可以共同組成一個(gè)經(jīng)驗(yàn)豐富、精煉實(shí)干的建設(shè)團(tuán)隊(duì)。
(二)軟件調(diào)研
大數(shù)據(jù)的特點(diǎn)為4個(gè)“V”：第一，“Volume”，指的數(shù)據(jù)量大，包括大的數(shù)據(jù)塊，或數(shù)據(jù)總量巨大，從TB躍升到PB;第二，“Variety”，指的是數(shù)據(jù)種類繁多，包含大量非結(jié)構(gòu)化數(shù)據(jù)，例如網(wǎng)絡(luò)日志、音頻、視頻、地理信息等;第三，“Value”，價(jià)值稀疏性，大量數(shù)據(jù)中有價(jià)值數(shù)據(jù)很少;第四，“Velocity”，指的是處理速度快，這與傳統(tǒng)數(shù)據(jù)挖掘有很大區(qū)別。選擇有數(shù)據(jù)分析基礎(chǔ)、在業(yè)內(nèi)發(fā)展領(lǐng)先的企業(yè)進(jìn)行調(diào)研并選擇適合高校規(guī)模的合作企業(yè)是建立實(shí)驗(yàn)平臺的重要工作。
很多公司給出了可供使用的大數(shù)據(jù)平臺：IBM?誖 InfoSphere?誖BigInsightsTMBasic Edition是一款基于開放源碼Apache Hadoop的分析平臺，用于分析大量本機(jī)格式的非常規(guī)數(shù)據(jù)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化內(nèi)容，以實(shí)現(xiàn)最大程度的靈活性;IBM?誖InfoSphere?誖 Streams是一個(gè)高級計(jì)算平臺，幫助用戶開發(fā)的應(yīng)用程序快速攝取、分析和關(guān)聯(lián)來自數(shù)千個(gè)實(shí)時(shí)源的信息;惠普公司Vertica分析平臺6.1，能夠通過Hadoop分布式文件系統(tǒng)連接器來優(yōu)化大數(shù)據(jù);ClearStory Data大數(shù)據(jù)分析新創(chuàng)公司，通過Clearstory，公司客戶可以將自身的數(shù)據(jù)與行業(yè)的公共數(shù)據(jù)融合，尋找統(tǒng)計(jì)上的新視角，目標(biāo)是取代目前市場上的主流數(shù)據(jù)可視化工具，包括QlikView和Tableau等老牌工具;Informatica 9.1提供首款Hadoop編譯器Hparse，這是一種針對Hadoop而優(yōu)化的數(shù)據(jù)轉(zhuǎn)換環(huán)境，該軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復(fù)雜而多樣的數(shù)據(jù)源;Datameer：Hadoop海量數(shù)據(jù)分析平臺允許用戶在缺乏技術(shù)知識的情況下能夠分析大量數(shù)據(jù);Infochimps平臺以其完備的基礎(chǔ)設(shè)施和專業(yè)知識，為客戶提供端到端的大數(shù)據(jù)解決方案，Infochimps是一家位于美國德克薩斯州奧斯丁的創(chuàng)業(yè)公司，2012年2月從數(shù)據(jù)市場轉(zhuǎn)型為大數(shù)據(jù)平臺提供商后獲得谷歌投資;甲骨文大數(shù)據(jù)機(jī)——Oracle Big Data Appliance集成系統(tǒng)融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個(gè)開源R;微軟SQL Server新增PDW功能，可以幫助客戶擴(kuò)展部屬數(shù)百TB級別數(shù)據(jù)的分析解決方案;亞馬遜將MapReduce作為一項(xiàng)服務(wù)，其彈性MapReduce編程是一項(xiàng)能夠迅速擴(kuò)展的Web服務(wù)，運(yùn)行在aws的亞馬遜彈性計(jì)算云和亞馬遜簡單存儲(chǔ)服務(wù)上;Teradata是企業(yè)級數(shù)據(jù)倉庫(EDW)的領(lǐng)導(dǎo)者，在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很大成果，因此收購了Aster Data——一家提供SQL-MapReduce框架的公司。Aster Data是高級分析和管理各種非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的市場領(lǐng)導(dǎo)者和開拓者，為Teradata帶來了大數(shù)據(jù)分析市場商機(jī)。
(三)方案實(shí)施
實(shí)驗(yàn)平臺的設(shè)計(jì)同時(shí)立足于大數(shù)據(jù)技術(shù)的發(fā)展的前沿性與本學(xué)院學(xué)生專業(yè)特點(diǎn)，與學(xué)生前序的理論、實(shí)踐課程均有良好的銜接，符合人才培養(yǎng)計(jì)劃，深化了教學(xué)大綱的內(nèi)容，并針對不同專業(yè)學(xué)生設(shè)計(jì)實(shí)踐學(xué)時(shí)、內(nèi)容和難度。
本實(shí)驗(yàn)平臺可以同大數(shù)據(jù)行業(yè)中的公司科研部門共同合作建設(shè)，雙方確定在人才培養(yǎng)、師資培訓(xùn)、共建實(shí)驗(yàn)室和實(shí)訓(xùn)基地、推動(dòng)大學(xué)生校外實(shí)習(xí)和社會(huì)實(shí)踐活動(dòng)的開展等方面開展全面、廣泛、長期、深入的合作。該實(shí)驗(yàn)室建設(shè)將豐富實(shí)踐教學(xué)體系，也可推動(dòng)學(xué)院科研項(xiàng)目立項(xiàng)、新課題研究、專項(xiàng)基金申請和聯(lián)合開展商用項(xiàng)目開發(fā)等;該實(shí)驗(yàn)室使師生能接觸高新大數(shù)據(jù)開發(fā)平臺，了解最新大數(shù)據(jù)技術(shù)的發(fā)展，進(jìn)行大數(shù)據(jù)平臺的開發(fā)，實(shí)現(xiàn)對大數(shù)據(jù)的分析、可視化演示，增強(qiáng)學(xué)生的動(dòng)手能力并提升就業(yè)質(zhì)量;與此同時(shí)，提升了教師的項(xiàng)目管理能力和教學(xué)能力。
四、結(jié)論
實(shí)踐教學(xué)平臺建設(shè)是一項(xiàng)可以推動(dòng)課程建設(shè)和專業(yè)建設(shè)的可行工作，在轉(zhuǎn)變觀念、定位于應(yīng)用型人才培養(yǎng)的今天，實(shí)踐教學(xué)平臺的建設(shè)更是一項(xiàng)必須的工作，而一個(gè)高水平的實(shí)驗(yàn)平臺可以為教師們的教學(xué)和科研活動(dòng)提供良好的物質(zhì)保證，經(jīng)過大數(shù)據(jù)平臺建設(shè)可以使課程建設(shè)工作再上一個(gè)臺階，同時(shí)也會(huì)使教師們的研究水平更上一個(gè)臺階。
【信息管理專業(yè)建立大數(shù)據(jù)實(shí)驗(yàn)平臺的思考論文】相關(guān)文章：
創(chuàng)新教育下高職院校建立實(shí)驗(yàn)室信息管理平臺的分論文07-02
社會(huì)保障信息管理平臺建設(shè)思考論文07-04
面向教育技術(shù)專業(yè)學(xué)生建立開放性實(shí)驗(yàn)室的思考論文07-03
大數(shù)據(jù)與信息管理論文04-06
科技特派信息管理及服務(wù)平臺應(yīng)用論文11-04
初探實(shí)驗(yàn)教學(xué)平臺的研究論文04-17
環(huán)境科學(xué)綜合實(shí)驗(yàn)平臺的構(gòu)建與實(shí)驗(yàn)改革初探論文01-28