新形勢下推進大數據應用的若干思考

一、大數據將成為新時期信息化發展重大突破的前沿

　　當今時代，人類社會步入了一個科技創新不斷涌現的重要時期，新科技革命及其帶來的科學技術的重大發現發明和廣泛應用，推動世界范圍內生產力、生產方式、生活方式和經濟社會發展觀發生了前所未有的深刻變革，進入21世紀，世界新科技革命發展的勢頭更加迅猛，正孕育著新的重大突破。

　　信息科技將進一步成為推動經濟增長和知識傳播應用進程的重要引擎，基礎研究的重大突破將進一步為人類認知客觀規律、推動技術和經濟發展展現新的前景。云計算、物聯網和大數據將成為新時期信息化理論、技術和實踐重大突破的前沿，為新時期信息化展現新的前景。

　　如眾所周知，數據自古存在。甲骨、樹皮、綢緞都曾經是記錄數據的媒介，現在都已經退出舞臺；留聲機、磁帶機也曾經風靡一時，也已難覓蹤影；現在當紅的信息技術，像個人電腦、智能手機、Ipad在不遠的將來也將被陳列在博物館。唯有數據，雖然不斷地變換載體形態，但終將一直伴隨人類走向未來。[2]

　　物聯網本質上是器物層面的技術，從大數據的視角而言，是采集數據的終端。云計算本質上是IT服務交付手段的變革，并由此引發一系列技術基礎架構的更新。物聯網和云計算都是信息技術發展到一定階段的自然延伸，依然屬于信息技術范疇。[2]

　　大數據則是在信息化進程中自然形成的寶貴資源，大數據更接近把握信息資源的本質。有學者將大數據看作石油，大數據研究與自然資源利用發現、開采、提煉存在一定的相似之處，研究大數據，首先要研究各種有用的信息在何處，就是找礦；其次是把滿足特定需求的信息收集過來，就是開礦；接著是把收集的信息按應用需求進行結構化處理，就是提煉，如同石油必須經過煉化才能變成消費用的汽油、柴油或作為原料用的聚乙烯、聚丙烯；最后是將這樣的信息與具體的應用結合，使之發揮作用，這就是基于大數據的應用系統，或稱之為圍繞應用的大數據管理系統，如同汽油通過加油站加到消費者的汽車內，石化原料變成衣服、設備或其部件。[1]今天大數據已經成為驅動經濟發展的要素。

　　“大數據”的內涵遠遠超越物聯網、云計算等信息技術的概念，它的意義可以比肩“活字印刷術”的發明，大范圍地消除信息不對稱的現象，釋放巨大的生產力，深刻改變社會的面貌，提升國家治理水平，革新科學研究的思想，促進產業間的跨界、融合和顛覆，并將極大地促進文明的傳播、凝聚和升華。[2]大數據是數據積累到一定規模后引發的質變。大數據超越信息技術，使人們重新界定國家競爭的主戰場，重新審視政府的治理水平，重新認識科學研究的新范式，重新審視產業變遷的驅動因素，重新理解投資的決策依據，重新思考發展的戰略和路徑。[2]

　　二、大數據是經濟增長和轉型升級的強勁動力

　　報告顯示，大數據市場正處在井噴式增長的前夕，IDC預測全球大數據技術和服務市場將在未來幾年保持31.7%的年復合增長率，2017年總體規模有望達到478億美元，中國大數據市場未來5年的年復合增長率將高達51.4%。

　　大數據產業正在成為戰略性新興產業發展的制高點，因為大數據激發商業模式創新，例如在商業嗅覺敏銳的互聯網和商業金融領域，已有很多應用大數據提升企業核心價值、捕捉商業良機的案例。在電子商務領域，借助淘寶平臺的大數據積累，阿里巴巴能夠更好地掌握消費者的購買習慣和愛好，為商家提供更具針對性和附加值的深度服務；同時，通過大數據分析，阿里巴巴能夠更容易、更準確、更量化地評價商家個人和組織的信用指數，大大提升融資效率，有效降低小微貸款的成本和風險。

　　大量案例表明，很多小規模企業，尤其是初創企業，通過大數據手段，能夠“小而精”“快而準”地針對一個行業的實際需求，創造出改變世界的革新性產品。隨著信息化的深化發展，大數據的核心價值將進一步凸顯，成為商業模式創新的驅動力。黨的十八屆五中全會指出：“深入實施創新驅動發展戰略，堅持創新發展，必須把創新擺在國家發展全局的核心位置，不斷推進理論創新、制度創新、科技創新、文化創新等各方面創新，讓創新貫穿黨和國家一切工作，讓創新在全社會蔚然成風?！迸嘤l展新動力，就要充分發揮大數據資源這一新生產要素的作用，釋放新需求，創造新供給，推動新技術、新產業、新業態蓬勃發展，拓展發展新空間中的一個支點就是實施網絡強國戰略，實施“互聯網+”行動計劃，發展分享經濟，實施國家大數據戰略。特別是2016年4月19日習近平總書記在網絡安全和信息化工作座談會上所作的重要講話中明確提出：“當今世界，信息化發展很快，不進則退，慢進亦退。我們要加強信息基礎設施建設，強化信息資源深度整合，打通經濟社會發展的信息‘大動脈’。黨的十八屆五中全會、‘十三五’規劃綱要都對實施網絡強國戰略、‘互聯網+’行動計劃、大數據戰略等作了部署，要切實貫徹落實好，著力推動互聯網和實體經濟深度融合發展，以信息流帶動技術流、資金流、人才流、物資流，促進資源配置優化，促進全要素生產率提升，為推動創新發展、轉變經濟發展方式、調整經濟結構發揮積極作用?！盵3]總書記高瞻遠矚的重要講話為新時期發展大數據及其應用指明了方向，規劃了美好的藍圖。

　　三、大數據是經濟增長和轉型升級的強勁動力

　　毋庸置疑，中國擁有豐富的數據資源和應用市場優勢，擁有全球第一的人口數、互聯網用戶數和移動互聯網用戶數，國土面積廣、經濟體量大，擁有其他國家難以企及的海量數據資源和應用需求潛力。以北京公交為例，北京公交一卡通一天的刷卡量可達4000萬次，其中地鐵1000萬次；使用中國聯通的用戶上網記錄每秒83萬條，對應數據量為每年3.6PB。因此，IDC預計到2020年中國的數據總量將達到8.4ZB，占全球數據量的24%，中國將成為世界上第一數據大國和“世界數據中心”。豐富的數據資源為中國大數據發展帶來了肥沃的土壤。

　　據了解，美國多年前已掌握通過基因大數據分析判斷腫瘤的技術，但由于缺少病例樣本進展緩慢，中國華大基因公司通過和騰訊公司及醫院合作，得到了大量的樣本數據，有關技術已經趕超美國。因此，中國互聯網大數據應用具備全球領先的潛力，互聯網作為天然的數據平臺和數據集散地，是大數據發展的起源地和價值藍海。中國部分互聯網公司在大數據應用方面已經處于全球領先水平。2014年互聯網趨勢報告中提到，依據月獨立用戶訪問量評出的全球10大網站中有四家來自中國，分別為阿里、騰訊、百度和搜狐。目前，百度、騰訊、阿里等骨干互聯網企業已建立了世界上規模最大的大數據平臺，單集群規模達到上萬臺，在分布式系統、超大規模數據倉庫、深度學習等關鍵技術上有所突破。

　　與此同時，我們還必須正視中國大數據發展亟待解決的突出問題。正如習近平總書記在講話中指出的：“我們的國家治理中存在信息共享、資源統籌、工作協調不夠等問題，制約了國家治理效率和公共服務水平。這個問題要深入研究。我們提出推進國家治理體系和治理能力現代化，信息是國家治理的重要依據，要發揮其在這個進程中的重要作用。要以信息化推進國家治理體系和治理能力現代化，統籌發展電子政務，構建一體化在線服務平臺，分級分類推進新型智慧城市建設，打通信息壁壘，構建全國信息資源共享體系，更好地運用信息化手段感知社會態勢、暢通溝通渠道、輔助科學決策?！盵3]

　　要看到我們在大數據關鍵技術以及核心技術等方面還有短板和不足。例如我們在數據處理分析、語音識別、視頻識別、商業智能軟件、數據中心建設和維護、IT咨詢、信息安全等領域都已有代表性的企業，可初步構成獲取、存儲、處理、應用的產業鏈；但更要正視中國大數據發展亟待解決的突出問題，其中一個突出的問題就是政府數據開放共享不夠，潛在價值大量淹沒。政府和公共部門是最大的信息數據生產、收集、使用和發布的單位。但現實情況是，海量的數據分散在各個部門、各個層級，彼此分割，形成一個個“信息孤島”，且對社會、公眾開放嚴重不夠。由于數據開放程度不足，大量的政府數據處于“休眠”狀態，而企業擁有的大數據技術和計算能力卻無用武之地，陷入“巧婦難為無米之炊”的狀態，潛在的價值損失不可小視。這就導致了政府大數據應用水平落后，缺乏數據治國意識。在傳統環境下，管理者很難全面獲取公眾需求、人口流動、人員結構、企業狀態等數據，形成了做決策靠經驗判斷的慣性思維。

　　據一項針對中國主要部委信息化部門的調查[3]，政府部門目前幾乎沒有使用大數據技術，近四成負責同志并沒有意識到大數據可以幫助提升業務能力。三峽工程等重大工程建設過程資料均未電子化，大量紙質文檔已經遺失；汶川和玉樹抗震救災等重大事件的過程也未形成電子化檔案，珍貴的記錄已經難以重新展現；社會信用、食品藥品安全等一些社會管理和公共服務系統更多形成的是結果和狀態數據，大量的過程和行為數據并未有效采集，占數據總量95%以上的非結構化數據被束之高閣。[4]這些重大工程、重大事件的數據如能夠得到合理保存并加以開發利用，將有極大的科技價值、經濟價值乃至歷史價值。

　　在大數據時代，數據控制力是國家戰略控制力，掌握了數據就掌握了話語權。但目前我們對數據控制力尚未引起足夠重視，數據話語權堪憂。目前，中國大數據發展形態較為單一，核心技術仍受制于人，雖然以阿里巴巴、百度、騰訊為代表的互聯網企業已經在大數據應用領域超前部署，處于世界一流水平。但與已經出臺大數據國家戰略的美英日等發達國家相比，前一階段中國大數據發展主要表現為互聯網企業自發的商業行為，發展形態比較單一，仍只是一個領域、幾家企業的單點開花，缺乏國家層面的統籌規劃和全面布局，長此以往將影響國家對數據的掌控權和控制力，不利于提升國家信息優勢和國家競爭力。

　　必須指出，由于立法滯后，個人隱私法律缺位，信息濫用引發焦慮。隨著O2O模式的廣泛應用，用戶的個人信息已在不經意間流出，個人隱私數據泄漏帶來的危險增大。中國缺少關于個人隱私和商業機密的專門法律法規和政策制度，對于公民隱私權和知情權的范圍有待厘清。傳統的個人信息保護制度，在大數據場景下變得越來越難以操作。政府如何建立規則、適度監管、合理開發個人數據的價值，也是必須正視并亟待解決的問題。

　　另外一個短板就是人才培育機制薄弱，分析型、復合型人才短缺。與信息技術其他細分領域人才相比，大數據產業對人才的復合型能力要求更高，尤其是具備綜合掌控數學、統計學、機器學習等方面知識的復合型人才，同時又可承擔數據分析和數據挖掘的數據科學家。中國大數據應用起步相對較晚，教育和職業培訓尚不能很好地滿足行業發展需求，目前缺口已經超過100萬人。

　　四、認真學習習總書記重要講話，扎實推進大數據應用

　　當前，舉國網信界都在認真學習習近平總書記在網絡安全和信息化工作座談會上的重要講話，這份長達11000余字的綱領性文獻高屋建瓴，將大數據建設置于當今國際國內紛繁復雜的大背景之下，結合中國信息化與互聯網發展的豐富實踐，作出了重要論述，為我國大數據及其應用發展指明了前進方向，進一步明確了發展大數據的戰略定位——歸根到底是為了實現中華民族偉大復興的中國夢。

　　農業革命增強了人類生存能力，工業革命拓展了人類體力，信息革命增強了人類腦力，使數據成為重要的戰略資源。經濟發展進入新常態，新常態要有新動力，大數據可以大有作為；大數據要發展，必須貫徹以人民為中心的發展思想，讓億萬人民在共享大數據的應用成果上有更多獲得感。所以發展大數據已經成為新時期網信事業和各個領域信息化建設的歷史使命，新的大數據時代孕育新的機遇，新的大數據建設與應用肩負新的使命，那就是要進一步通過建設網絡強國、整合資源，優化與合理布局，加強信息基礎設施建設，強化信息資源深度整合，打通經濟社會發展的信息“大動脈”，實施“互聯網＋”行動計劃和大數據戰略。

　　要深刻理解大數據發展具有影響國家競爭力和治理能力的戰略意義。當今信息社會，數據量正在以每兩年超過翻番的速度爆炸式增長，增速超過了摩爾定律。大數據已經廣泛滲透并深入應用于政府管理、商業金融、教育科技、工業制造、民生服務等經濟社會領域，成為促進生產生活和社會管理方式創新變革的重要驅動力。

　　推動大數據發展是提升國家競爭力的戰略抉擇。大數據成為發達國家發展戰略資源的新領域。積極發展大數據，已成為發達國家的戰略和行動共識。通過發展大數據，獲取和控制網絡海量數據資源，提高數據掌控權和國家控制力，已成為國際競爭的戰略焦點。近幾年，美、英、澳、法、日、韓等多個國家將數據管理上升到了戰略層面，將大數據思維應用到公共管理和政府治理中。數據已成為重要的國家基礎性戰略資源，對于海量數據的運用正在引發全球新一輪的生產力革命。

　　未來信息社會建設要重點開展四方面工作：一要繼續加大對信息基礎設施建設的支持力度，鼓勵技術與服務創新；二要積極開發信息資源，促進數據開放共享，促進協調發展，縮小數字鴻溝，實現面向發展、廣泛包容的信息社會；三要促進信息技術和應用向社會經濟的更廣范圍和更深層次拓展；四要堅持自主創新與國際合作相結合，解決信息社會建設中遇到的困難和問題。

　　數據主權成為大國競爭博弈的新焦點。在大數據時代，國家競爭力將部分體現為一國擁有數據的規模、活性以及運用數據的能力。通過掌握移動終端、操作系統、瀏覽器、平臺等信息世界的入口，相當于掌控了信息世界的“總開關”，可以通過信息流掌控物質流、資金流，掌握商品供求關系，進而可在國際貿易、大國競爭博弈中占據主動。分布各地的云端服務器也為主權國家帶來了數據監管的難題，數據安全直接關系到國家安全，網絡空間的數據主權正在成為大國博弈的新焦點。

　　今后政府履行職能更加離不開大數據的支撐，離不開信息資源共享，進一步推進政務信息公開和共享已成當務之急。當今社會結構變化更加需要政府協同工作，信息成為國家軟實力和競爭能力的重要標志。網絡信息是跨國界流動的，信息流引領技術流、資金流、人才流，信息資源日益成為重要生產要素和社會財富，掌握信息的多寡成為國家軟實力和競爭力的重要標志。信息技術和產業發展程度決定著信息化發展水平，要加強核心技術自主創新和基礎設施建設，提升信息采集、處理、傳播、利用、安全保障能力，更好惠及民生。

　　五、貫徹實施《促進大數據發展行動綱要》關鍵要扎實推進大數據應用

　　2015年7月，國務院頒布了《促進大數據發展行動綱要》（以下簡稱《綱要》），這是國家全面推進大數據發展的戰略性、綱領性文件?！毒V要》將全面指導未來3-5年大數據的發展和應用?！毒V要》全面闡述了中國推進大數據發展的指導思想、發展目標、主要任務和保障措施。

　　第一，大數據應用上升到了強國戰略的高度?！毒V要》明確提出，數據已成為國家基礎性戰略資源，中國將致力于建設數據強國，網絡空間數據主權保護是國家安全的重要組成部分。這個高度的提法是首次，彰顯和強化了大數據的發展和應用在國家戰略中的地位。

　　第二，促進大數據發展主要落實到三個方面的任務?！毒V要》無論是發展意義、指導思想、主要任務還是重點工程，都主要圍繞三個方面進行闡述，即大數據提升政府治理能力、大數據促進經濟轉型升級和大數據加強安全保障。例如，促進大數據發展的意義總結為新動力、新機遇和新途徑，即大數據成為推動經濟轉型發展的新動力，大數據成為重塑國家競爭優勢的新機遇，大數據成為提升政府治理能力的新途徑。在《綱要》中的三條主要任務也分別落實為：加快政府數據開放共享，推動資源整合，提升治理能力；推動產業創新發展，培育新興業態，助力經濟轉型；強化安全保障，提高管理水平，促進健康發展。[4]

　　第三，《綱要》確立了中國大數據發展的核心理念和管理機制。數據的共享和開放是國家促進大數據發展的核心理念。共享和開放貫穿于《綱要》的始終，既要推動政府數據開放共享，建成國家政府數據統一開放平臺，也要推動社會數據共享，形成全社會開發利用數據的氛圍，還要把政府數據、社會數據和其他各類數據互聯互通起來，釋放出數據紅利?！毒V要》也提出了“用數據說話、用數據決策、用數據管理、用數據創新”的管理機制，這將建立起全社會的數據思維和數據文化，從而全面促進各個領域大數據應用的自主性和自覺性。

　　第四，《綱要》明確劃定了大數據產業生態體系的范疇?！毒V要》提出了培育高端智能、新興繁榮的大數據產業發展新生態，一是發展大數據與傳統產業協同發展的工業大數據應用、新興產業大數據應用和農業大數據應用等新業態、新模式；二是發展大數據產品和解決方案，包含大數據軟件、硬件和核心基礎產品的大數據產品體系以及各行業大數據應用的解決方案；三是建立大數據基礎研究和安全可信的大數據技術體系，其中涉及海量數據存儲、數據清洗、數據分析發掘、數據可視化、信息安全與隱私保護等領域關鍵技術研發。以大數據應用、大數據產品和解決方案、大數據基礎研究和技術體系為基礎，共同建立起政產學研用聯動、大中小企業協調發展、萬眾創新創業、公共服務保障支撐的完整的大數據產業生態體系。

　　第五，《綱要》規劃了十大重點工程和一系列國家和區域大數據平臺建設任務?！毒V要》提出十大工程，這是推進大數據發展的抓手，圍繞工程的推進，將建設起政府數據統一共享交換平臺和開放平臺、國家大數據平臺、數據中心等一系列國家和地方大數據平臺，并在經濟社會各個領域推進大數據應用示范和試點，這將興起大數據建設的熱潮，政府和社會將投入大量資金發展大數據，并以大投資來帶動大數據市場的繁榮，可以期待這將在未來五年形成一個規模巨大的大數據及其關聯領域的市場。

　　為貫徹落實《綱要》，共同推進大數據及其應用創新蓬勃發展，國務院同意建立由發展改革委牽頭的大數據部際聯席會議，在促進大數據發展部際聯席會議的第一次會議上，部際聯席會議召集人、國家發改委徐紹史主任主持會議并講話，會議審議通過了《促進大數據發展三年工作方案（2016－2018）》《促進大數據發展2016年工作要點》《政務信息資源共享管理暫行辦法》和《政務信息資源目錄編制指南》等四份文件。

　　會議強調，要深刻領會實施國家大數據戰略的重大意義。一是緊抓“數據大國”向“數據強國”轉變的新機遇，發揮數據資源的戰略作用，建設數據強國，積極構建國家競爭新優勢。二是把握工業經濟和信息經濟交匯發展的關鍵期，深入發掘數據要素潛力，激活數據要素，有效催生經濟發展新紅利。三是順應互聯網時代形勢，將大數據引入政府治理，實施數據決策，努力打造政府治理新手段。

　　會議明確，全面落實《綱要》，應找準著力點和突破口，圍繞三個關鍵環節精準發力：一要加快數據共享開放，開展政府治理大數據示范應用，推進“互聯網+政務服務”，深化數據創新應用；二要推動產業創新發展，做好大數據產業發展的規劃，推動好工業大數據、互聯網與制造業的融合發展；三要科學規范利用數據，建立完善大數據管理機制，加快相關法律法規和標準體系建設，強化數據安全保障。

　　會議認為，2016年應加快推進“三大建設”：一是加快制度體系建設，盡快出臺《政務信息資源共享管理暫行辦法》；二是加快綜合試驗區建設，開展制度創新探索，推動數據創新應用，破解大數據發展難題；三是加快重大工程建設，堅持需求導向、統籌整合，充分發揮市場的決定性作用，助力經濟轉型發展。

　　六、需求導向，突破大數據應用關鍵技術

　　為貫徹落實《綱要》和大數據發展部際聯席會議第一次會議精神，扎實推進大數據及其應用，遵照《促進大數據發展三年工作方案（2016－2018）》以及《促進大數據發展2016年工作要點》，當前一個重點工作就是要圍繞大數據應用，以需求導向為原則，加大大數據基礎設施建設的資源整合力度。各部門、各地區都要結合“十三五”規劃，統籌布局國家大數據資源、平臺、數據中心等基礎設施建設，以大數據及其應用為目標，引導鼓勵各地區各行業從基礎設施投資向數據資源投資轉變。推動國家人口庫、法人庫、空間地理庫等基礎信息資源和健康、社保、能源、信用等重要領域信息資源的建設和匯聚整合。充分利用現有企業和政府數據中心，統籌建立低成本、高效率的大數據基礎設施和區域性、行業性數據匯聚平臺，當前一定要避免以大數據中心名義，重復投資、盲目建設云中心、大數據中心等基礎設施，形成數據中心產能過剩。

　　因此，當前各領域都應該把大數據應用總體設計、關鍵技術研發、業務數據模型等作為推進大數據發展的首要任務，明確發展大數據首先要大力推進數據整合，整合現有資源，構建形成大數據應用服務平臺，該平臺應該具備支持數據整合、數據存儲、數據計算、數據分析、數據安全等平臺服務功能。

　　大數據應用服務平臺的定位應該首先承擔數據存儲中心、計算中心、分析中心和服務中心的職責，為分析決策和實時采集應用統一提供數據接入、存儲、計算和分析服務，之后逐步構建分布式應用支撐平臺或云服務架構，按照業務和數據特性，支撐各類業務應用。其中存儲中心是數據歸集中心，實現各類數據的統一集中存儲管理，計算中心提供各類數據計算加工處理的基礎組件與運行環境。分析中心提供各類數據分析挖掘以及展現的基礎組件與運行環境。服務中心提供多類型的數據對外對內服務手段，包括自助式分析、計算服務和數據服務。

　　大數據存儲中心的關鍵技術包括研發統一的存儲適配接口，利用分布式存儲技術研發海量文件存儲技術，研發同時支持事務性數據和分析型數據的新型關系型數據庫，實現統一的可視化數據管理等。

　　大數據平臺計算中心的關鍵技術包括分布式運行引擎和協同計算功能，搭建分布式運行集群化環境，研發統一的資源管理功能，既能滿足流計算、內存計算、批量計算和查詢計算的功能，還能滿足多租戶不同計算模式下的資源分配與隔離。

　　大數據平臺分析中心的關鍵技術包括研究數據模型映射轉換業務語義、數據挖掘等，研發業務語義設計器、自助式分析足跡、數據挖掘等，形成自助式分析工具集。大致可分為三部分：自助式分析組件，業務語義設計器和數據挖掘組件。

　　大數據平臺服務中心應包括數據服務、計算服務和可視化管理服務等，其中數據服務主要包括數據融合訪問模型建立，研發數據路由和數據網關，形成數據服務組件，支持對各類數據的標準SQL操作、安全權限控制和數據緩存，支持各類應用統一訪問各類數據源。其中計算服務主要包括研制計算任務規范、研發多模式計算任務管理、計算流程配置等功能，提供各類計算任務的上傳、發布、調度和管理能力，支持用戶自定義計算任務和通過配置獲取結果的通用計算任務。

　　大數據平臺的服務中心還要制定標準化的組件調用和數據交互接口規范，融合各類展現控件，集成包括GIS以及各類圖像圖形展示軟件，形成大數據可視化組件庫，支撐可視化應用構建。

　　各個領域在依托現有資源基礎上，構建形成大數據應用服務平臺應遵循問題和需求導向原則，從邏輯上構建大平臺、微應用入手、組件化的原則，采用面向對象的建模技術，結合范式建模方法，完善公共信息模型，形成標準，形成一體化業務數據模型，使之覆蓋所有業務鏈服務鏈的各個業務領域，實現橫向業務關聯與縱向業務模型貫通，并可進一步挖掘數據價值。

　　圍繞大數據應用服務平臺建設，當前在大數據關鍵技術研究中，應進一步關注如下問題：一是多源數據采集技術，包括結構化數據采集、實時數據采集、文件數據采集、消息隊列采集等。二是海量異構數據存儲技術，包括分布式文件系統、列式存儲數據庫、非關系型數據庫、關系型數據庫等。三是多模式計算技術，包括分布式批量計算、流計算、內存計算等。數據挖掘分析技術，包括數據挖掘算法、分析模型構建、R語言等。四是大數據安全技術，包括數據加密、訪問控制、數據審計等。五是重點領域的全業務鏈的統一數據模型的研發，包括標準、視圖等。

　　在大數據平臺研發中還要關注以下幾點：數據整合組件，數據管理組件和作業調度組件，資源調度組件和集群管理組件、安全管理組件等。

　　大數據關鍵技術需要進一步在以下幾點創新：集中式和分布式混合架構的大數據平臺，多源異構數據融合模型及其統一數據網關；進一步研發各領域一體化業務數據，實現橫向與縱向業務協同貫通；進一步研發可兼容多種計算模式的資源動態分配與隔離組件，實現計算任務合理化調度；進一步研究顆粒度更加細化的業務行為特征分析模型；進一步研制細分行業和地域部門的預測監測模型。

　　小結

　　數據是基礎，也是信息化的基礎和支點，推動大數據應用是挖掘利用大數據資源的目的，也是助力社會經濟發展轉型升級的重要手段，是實現治理能力現代化的有效路徑，更是發展大數據的根本目標。大數據技術和應用為分析處理復雜社會問題和潛在社會矛盾提供了新途徑，有助于更好地推動解決國家發展中面臨的醫療、教育、住房、交通、城市管理、公共安全等社會難題。所以當前在大數據熱潮席卷全國之時，更要把發展大數據的重點引導到推進開展大數據應用上。結合戰略性新興產業發展和國家促進信息消費擴大內需的戰略部署，探索傳統產業與大數據等新一代信息技術協同發展的新業態、新模式，充分發掘數據資源的創新支撐潛力，在政務服務、金融服務、工業制造、現代農業、商貿物流等領域，推動跨領域、跨行業的協同創新，帶動傳統產業技術研發體系創新、生產管理方式變革、商業模式創新和產業價值鏈體系重構，促進傳統產業轉型升級，形成新的經濟增長點。

　　參考文獻：
　　[1]寧家駿. 信息化和信息安全成最大機遇和挑戰[N]. 中國氣象報，2015-06-19.
　　[2]趙國棟.《大數據的五個定位》——國家、產業、投資、公司、學術五個維度為您逐一解析[EB/OL]. （2013-12-09） [2016-07-17]. http://blog.sina.com.cn/s/blog_7e58e1090101hefg.html.
　　[3]習近平在網絡安全和信息化工作座談會上的講話[S/OL].（2016-04-19）[2016-07-25]. http://news.xinhuanet.com/zgjx/2016-04/26/c_135312437.htm
　　[4]許桂清.《促進大數據發展行動綱要》助力檔案工作[J]. 中國檔案，2015（11）.
　　[5]寧家駿.《大數據發展綱要》解讀[J]. 中國建設信息化，2015（9）.

　　作者簡介：
   寧家駿，國家信息化專家咨詢委員會委員，國家信息中心專家委員會副主任。

大數據人才需求旺盛，大數據應用與大數據分析人才培養方向

云計算公司Replicon聯合創始人兼CEO Raj Narayanaswamy指出：“今天，每一個行業和企業都面臨著將數據轉化為明確的成果的艱巨任務。數據的指數級增長意味著，每一個組織都極其有必要去建立合適的體系結構來使得數據的利用達到最大化。獲得成功的關鍵是建立一個全面的數據產業價值鏈，包括數據發掘、集成和評估，而不是按照傳統的做法部署以應用程序為中心的模式?！?

對于一個企業來說， 理解數據集成的重要性是創造新的價值的前提。假若對數據的理解仍然維持在單一和特定用途的層面，那么在數據開發過程中容易出現缺乏靈活性、信息不全面的情況，在利用數據開發未來機遇方面，組織或將會陷于被動的境地。而成功的例子的則要數亞馬遜和Salesforce了，這兩家公司借助策略性的數據管理方式而在短期內獲得了規模式的增長。

數據應用的周期或許可以劃分為七個步驟：發現、獲取、加工、篩選、集成、分析和揭露。其中每一個步驟都至關重要，每一個有效用的策略也許都是建立在由上述七個步驟組成的數據體系之上的。云計算公司LiasonTechnologies的首席執行官Bob Renner對此作出了總結性分析“人們大部分的注意力（市場價值觀）都放在了分析和結果量化的最后階段——蘊藏著商務決策的階段。這也確實是數據分析在歷經萬難之后最終的價值所在。但是，沒有了前面的準備步驟，我們也不可能一步登天地就能在最后一步獲得想要的結果。事實上，在開始使用分析算法來對數據進行解讀之前，數據科學家都要花費大量的時間進行數據清理，以保證數據的質量?！?

良好的數據科學離不開高質量的數據資料和管控數據質量的必要步驟，尤其是往往遭到忽視的數據集成。通常來說，有價值的大數據都是在這一個步驟里發現的。如果組織在一開始就以另一種心態（非如今固化的理念）來著手數據管理，他們就能夠在控制成本和效用上掌握主動權。

那么，我們將如何可以從當前宣傳大于實用的狀況中獲得突破呢？首先，如前文所述，充分理解大數據應用完整的操作周期，做到不忽視任何一個步驟的重要性，然后從傳統的以應用為中心的傳統思想中解放出來，建立靈活的、可持續利用的數據分析框架?！皵祿寗拥陌l現從根本上改變了我們工作和生活的方式，而那些掌握了大數據應用的人可以說是掌握了一項和同齡人競爭的優勢?！保ā洞蠼灰?市場回報最大化的簡單策略》 彼得·范）那些在大數據技術迸發時期就獲得了巨大利益價值的組織，他們不僅關注那些外界一直在炒作的功能，而且對想要實現的營收、利潤以及其他業務成果都投入了認真的思考。