新職業——大數據工程技術人員就業景氣現狀分析報告
新聞來源:國家人社部
一、産生背景
大數據産業指以數據生産、采集、存儲、加工、分析、服務爲主的相關經濟活動,包括數據資源建設,大數據軟硬件産品的開發、銷售和租賃活動,以及相關信息技術服務。當前,智慧醫療、智慧城市、精准扶貧以及其他相關高新技術産業都離不開大數據的支撐,大數據技術在我國得到了較爲廣泛的應用。
(一)國家實施大數據戰略,構建數字中國
大數據被認爲是“未來的新石油”,也被比喻爲21世紀的“鑽石礦”,在社會生産、流通、分配、消費活動以及經濟運行機制等方面發揮著重要的作用。2014年大數據首次寫入政府工作報告;2015年8月國務院頒布《促進大數據發展行動綱要》,大數據正式上升爲國家發展戰略。隨後國家出台了一系列大數據政策,覆蓋生態環境大數據、農業大數據、水利大數據、城市大數據、醫療大數據、交通旅遊服務大數據等多層次下遊應用市場,加快實施國家大數據戰略。
同時,伴隨大數據政策出台,各地政府相繼成立了大數據管理機構,促進大數據産業發展,全國22個省區,200多個地市相繼成立大數據管理部門。
圖1 各省大数据管理机构设置数量(单位:个)
(二)大數據行業發展迅猛,産業規模巨大
2016年,工信部印發了《大數據産業發展規劃(2016-2020年)》,全國大數據産業建設掀起熱潮,目前已形成八大大數據綜合試驗區,建成100多個大數據産業園。伴隨新一代信息技術、智慧城市、數字中國等發展戰略逐步推動社會經濟數字化轉型,大數據的産業支撐得到強化,應用範圍加速拓展,産業規模實現快速增長。
通過對1572家企業的調查結果顯示,企業對數據分析的重視程度進一步提高,65.2%的企業已成立數據分析部門,24.4%的企業正在計劃成立相關數據部門。
近四成的企業已經應用了大數據。在接受調查的企業中,已經應用大數據的企業有623家,占比爲39.6%,垂直行業中如金融等領域大數據應用增加趨勢較爲明顯。此外,24.3%的企業表示未來一年內將應用大數據。
對數據分析方式選擇情況的調查顯示,40.3%的企業采取實時處理動態數據並提供分析結果,占比最高;其次是分析曆史數據和通過機器學習進行輔助決策,占比分別爲32.3%和25.5%。不久的將來,隨著人工智能技術的發展和應用普及,選擇機器學習進行輔助決策的企業占比有望進一步提升。
2019年5月6日中國信息通信研究院發布《中國大數據與實體經濟融合發展白皮書(2019年)》,書中綜合國內外環境、新興技術發展等多種因素,測算2018年我國大數據産業增速約爲15%,産值達到5405億元。另據賽迪數據顯示,2018年中國大數據産業規模爲4384.5億元,同比增長23.5%;到2021年,中國大數據産業規模將超過8000億元。
圖2 2016-2021年中國大數據産業規模(單位:億元)
從企業業務布局來看,大數據産業主要集中在華北、華東及中南地區。
表1 2018年中國大數據産業區域分布情況
(三)數據資源資産化步伐穩步推進
2015年8月,國務院印發《促進大數據發展行動綱要》,明確“加快政府數據開放共享,推動資源整合”。社會各界通過對數據資源的整合、利用,加速了數據流通共享以及數據資源化進程。2018年10月,《數據管理能力成熟度評估模型》發布實施,規範了各組織、機構數據管理和應用工作,提升國內數據管理和應用能力。2019年10月,在中國共産黨第十九屆中央委員會第四次全體會議上,中央首次公開指出“健全勞動、資本、土地、知識、技術、管理和數據等生産要素按貢獻參與分配的機制。”這是中央首次在公開場合提出數據可作爲生産要素按貢獻參與分配,反映了隨著經濟活動數字化轉型加快,數據對提高生産效率的乘數作用凸顯,成爲最具時代特征新生産要素的重要變化。
(四)技術融合成爲大數據發展主流
當前,大數據相關技術已基本成熟,逐步成爲支撐型的基礎設施,其發展方向也開始向提升效率轉變,向個性化的上層應用聚焦。隨著5G通信標准的落地,物聯網、移動互聯網、大數據、傳統行業將深度融合,算力、流批、TA、模塊、雲數、數智等技術融合的趨勢愈發明顯,大量既懂大數據技術又懂其他相關行業技術的人才在大數據應用領域發揮著越來越多的作用。
(五)數據安全受到業界普遍關注
近年來,大數據業界不斷有安全事件曝出。2019年9月6日,位于杭州的大數據風控平台杭州魔蠍數據科技有限公司被警方控制,高管被帶走,相關服務暫時癱瘓。同日,另一家提供大數據風控服務的新顔科技人工智能科技有限公司高管被帶走協助調查。大數據安全合規的問題,特別是對于個人信息保護的問題,當前已成爲整個社會和行業關注熱點。
在全球不斷收緊數據合規政策的大環境下,我國在數據法律監管方面也日趨嚴格規範。2019年以來,數據安全方面的立法進程明顯加快。中央網信辦針對網絡安全審查、數據安全管理、兒童個人信息網絡保護、個人信息出境安全評估等四項關于數據安全的管理辦法相繼發布征求意見稿。這些我國數據安全法律法規重點關注個人信息的保護,大數據行業整體合規也必然將以此作爲核心。
二、職業定義和工作任務
近年来,随着经济社会发展、科学技术进步和产业结构调整,新产业、新业态、新模式滋生孕育出许多新職業。大数据技术应用在各行各业的全面展开,我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下:
大數據工程技術人員職業定義:從事大數據采集、清洗、分析、治理、挖掘等技術研究,並加以利用、管理、維護和服務的工程技術人員。
大數據工程技術人員主要工作任務:
1.研究和開發大數據采集、清洗、存儲及管理、分析及挖掘、展現及應用等有關技術;
2.研究、應用大數據平台體系架構、技術和標准;
3.設計、開發、集成、測試大數據軟硬件系統;
4.大數據采集、清洗、建模與分析;
5.管理、維護並保障大數據系統穩定運行;
6.監控、管理和保障大數據安全;
7.提供大數據的技術咨詢和技術服務。
三、當前就業人群分析
本報告基于2019年4月對27家大數據行業典型企業的人力資源情況進行調研後分析所得。
(一)學曆層次
大數據人才的學曆層次分爲4個大類,分別是碩士及以上、本科、專科、專科以下。
圖3 大数据人才学历结构(单位:人)
可以看出,本科占比最高,其次是碩士及以上,專科占比只有12.22%。大數據行業是新興行業,目前學曆要求比較高。
(二)專業來源
專業來源分爲4個大類,分別是數理類、經濟管理類、計算機類及其他專業。計算機類占比最高,其次是數理類。項目組調研企業大數據人才的各專業人數和占比見下圖。
圖4 大数据人才专业来源(单位:人)
(三)渠道來源
大數據人才的渠道來源分爲4個大類,分別是校招、社招、內部培養和推薦、培訓機構招聘。企業大數據人才各渠道來源的人數和占比見下圖。
圖5 大数据人才渠道来源(单位:人)
其中社招占比最大,比校招、內培和內推以及培訓機構招聘的總和還要高。大數據人才目前主要依靠社招,說明學校教育與社會需求脫節,內培和培訓也不能滿足崗位要求。
(四)薪資水平分布
當前,大數據人才的薪資處于相對較高水平。薪資在1萬元以下,占總人數的34.6%;1萬元-2萬元占比爲35.64%;2萬以上占比爲29.77%。
圖6 大数据人才薪资水平分布(单位:人)
(五)崗位類型及數量
目前企業提供的大數據崗位按照工作內容要求,可以分爲以下幾類:
①初級分析類,包括業務數據分析師、商務數據分析師等。②挖掘算法類,包括數據挖掘工程師、機器學習工程師、深度學習工程師、算法工程師、AI工程師、數據科學家等。③開發運維類,包括大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員等。④産品運營類,包括數據運營經理、數據産品經理、數據項目經理、大數據銷售等。四類崗位的數量和占比見下圖。
圖7 大数据崗位类型结构(单位:人)
四、行業人才需求情況
(一)整體需求
當前信息化對人類經濟活動産生深刻影響,正滲透到生産生活方方面面,數據已經成爲新的生産要素,大數據行業已成爲人們按需使用信息處理、信息存儲、信息交互資源的重要模式,也是進行大數據處理和深度挖掘的重要平台,大數據工程技術人員在我國現階段及未來發揮的作用將日益凸顯。
《大數據産業發展規劃(2016-2020年)》指出,目前大數據人才隊伍建設亟需加強,大數據基礎研究、産品研發和業務應用等各類人才短缺,難以滿足發展需要。要建設多層次人才隊伍,建立適應大數據發展需求的人才培養和評價機制。加強大數據人才培養,整合高校、企業、社會資源,推動建立創新人才培養模式,建立健全多層次、多類型的大數據人才培養體系。
根據天府大數據國際戰略與技術研究院(簡稱“天府大數據研究院”)《2018全球大數據發展分析報告》數據,2018年我國大數據産業人才占整體就業人口規模的0.23%,大約179.4萬人。
獵聘《2019年中國AI&大數據人才大數據人才就業趨勢報告》指出,2019年中國大數據人才缺口高達150萬。另據中國商業聯合會數據分析專業委員會統計,未來中國基礎性數據分析人才缺口將達到1400萬。
圖8 大数据人才规模及增速
隨著大數據、物聯網、5G等技術應用的不斷發展,社會對該職業從業人員的需求日益增長。預計2020年中國大數據行業的人才需求規模將達到210萬,2025年前大數據人才需求仍將保持30%-40%的增速,需求總量在2000萬人左右。
(二)行業發展對大數據相關崗位産生的影響
從業態變化的角度看,企業需要大量的複合型人才,即能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌握的人才。從技術變化的角度看,深度神經網絡等新興技術的發展,彌補了傳統分析挖掘技術在大數據時代的短板,這就需要大數據技能人才掌握深度學習方面的相關知識,適應大數據的分析挖掘需要。從運營方式的角度看,運營方式的變化要求運營人員提升運營前准備、運營中把握、運營後反饋、修正,提升預見能力和掌控能力。
目前企業對中高職層次的大數據人才相關崗位主要有:數據分析師、挖掘工程師、深度學習/算法/機器學習工程師、大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員、數據運營經理、數據産品經理、數據項目經理、大數據銷售工程師。可以看出,行業發展引發技術革命,相對應的崗位及要求也有所變化。
(1)技術層面逐步由“萬花筒”向“中國特色”、“中國制造”轉變,中國標准逐漸成爲業界標准,中國證書逐漸成爲業界證書。
(2)技術縱深發展和橫向拓展,引發企業對人才需求變化,既有崗位重新細分的高精尖專才需求,又有中等層次的廣博複合型人才需求。
(三)崗位職責及技能要求
根據調研情況整理,大數據工程技術人員相關崗位的職責以及對大專以上學曆人才的職業技能要求如下表。
表2 大数据相关崗位的职责以及崗位技能要求
崗位 | 崗位职责 | 崗位技能 |
數據分析師 | 負責行業數據搜集、整理、分析,並依據數據做出行業研究、評估和預測 | 數理統計基本知識,Excel,SQL,Python/R。 |
挖掘工程師 | 負責行業數據整理、挖掘,並依據數據做出行業研究、評估和預測 | 常用數據挖掘算法,SQL,Python/R/Java。 |
深度學習/算法/機器學習工程師 | 負責利用各種神經網絡模型及其算法並處理具體事務。 | 各種神經網絡模型,Python/C++/Java,TensorFlow、Caffe等深度學習系統。 |
大數據開發工程師 | 使用編程語言開發大數據相關軟件和應用系統 | Java/Python/C++/Scala,Linux/Unix系統。 |
大數據架構工程師 | 負責大數據架構的設計與實施。 | 分布式系統原理,Linux/Unix系統及其腳本shell等,Hadoop、Spark等大數據框架及其組件Yarn,HBase、Hive、Pig等。 |
大數據運維工程師 | 負責大數據系統的運行和維護 | Linux/Unix系統及其腳本shell等,Java。 |
數據可視化工程師 | 負責大數據可視化應用開發,對數據分析結果多維度生動地體現。 | 前端框架及工具如jQuery、Vue.js、Webpack等,Web前端相關技術包括HTML/CSS/Javascript,數據可視化框架如Echars、Highcahrts、D3.js等。 |
數據采集工程師 | 負責數據采集、預處理、標注等。 | Linux/Unix系統,數據庫如Mysql,redis,mongdb等,爬蟲框架如Scrapy等等,web基礎知識如HTML/JavaScript/CSS/xpath/url/Ajax/xml等,解析工具如HttpClient、jsoup、WebDriver、phantomjs等。 |
數據庫管理員 | 負責數據庫的運行和維護。 | Linux/Unix系統,MySQL、SQL等數據庫的運行機制和體系架構。 |
數據運營經理 | 負責數據的運營。 | 數理統計基本知識,运营方法,SQL。 |
數據産品經理 | 負責數據産品的銷售。 | 工具如: Axure;Visio,Mindmanager,Project,PPT等,BI,SQL,産品規劃能力,撰寫需求文檔能力。 |
數據項目經理 | 負責數據項目。 | 項目管理工具,PMP證書,梳理流程能力。 |
大數據銷售工程師 | 負責大數據業務銷售。 | 溝通能力,業務談判能力。 |
五、職業發展通道
目前,長期從事數據庫管理、挖掘、編程工作的人,包括傳統的量化分析師方面的工程師,以及需要通過數據來進行判斷決策的管理者,通過一定的培訓或自學,均可成爲大數據工程技術人員。
由于我國大數據人才數量較少、缺口較大,因此多數公司的數據部門采用扁平化層級的模式,一般分爲數據分析師、資深研究員、部門總監3個級別。規模較大的公司可能按照應用領域的維度來劃分不同團隊,規模較小的公司則需要身兼數職。大數據工程技術人員可朝著研究方向發展,成爲企業重要數據戰略人才。此外,大數據工程技術人員對商業和産品的理解較業務部門員工更加深入,也可轉向産品部或市場部,乃至高級管理層。
六、專家觀點
兩山轉化數字研究院院長、杭州數夢工場研究院執行院長念燦華:數據是這個時代最重要的生産要素,政府、城市、産業數據資源的資産化、價值化、服務化是大勢所趨,百行百業的數字化轉型迫在眉睫。培養大數據工程技術人員對于實施國家大數據戰略,構建數字中國,發展數字經濟,滿足當下各級政府和百行百業的海量人才需求,是非常充分而必要的。
工業和信息化部信息化和軟件服務業司司長謝少鋒:大數據開啓了信息化發展的新階段,數據已成爲關鍵生産要素,“軟件定義、數據驅動”對于推動制造業轉型升級發揮著重要支撐作用。工業和信息化部作爲行業主管部門,推出了一系列推動大數據産業發展的舉措,下一步將紮實推進大數據戰略的實施,大力推動大數據和實體經濟融合,打造數字經濟時代下制造業國際競爭新優勢。
中國工程院院士、中國科學院計算所研究員倪光南:把大數據作爲生産力,可能比把大數據作爲一種財富更好、更全面。大數據生産力會推動生産關系的發展、推動社會的發展,會創造無窮無盡的財富,甚至將來會對我們思維的發展造成很大的變革。
中國科學院院士陳國良:在計算信息時代的三大標志性技術則是數字計算機、集成電路、光纖通信,新一代信息技術的三大亮點則是物聯網、雲計算和大數據。現在大數據潮流浩浩蕩蕩,大數據時代已經到來,我們要順乎時代之潮流,不斷學習新知識,與時俱進,跟上時代之步伐!計算機事業永遠是年輕人的天下,大數據對年輕的一代而言,既是挑戰更是機遇,無限風光在險峰!
阿裏巴巴集團主要創始人、董事局原主席馬雲:大數據時代的出現讓人類進入了萬物互聯的時代,取得對數據進行重新處理的能力也遠遠超過過去,對世界的認識將會提升到一個新的高度,大數據讓預判和計劃都成爲了可能。
摘自國家人社部網站,原文有刪減。
新聞原鏈接:
http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/202004/t20200430_367120.html