大數(shù)據(jù)工程師

　　大數(shù)據(jù)工程師可以從事對大量數(shù)據(jù)的采集、清洗、分析、治理、挖掘，并對這些數(shù)據(jù)加以利用、管理、維護(hù)和服務(wù)的相關(guān)技術(shù)工作。

　　2020年05月15日，國家郵電通信人才交流中心印發(fā)了《關(guān)于開展大數(shù)據(jù)工程師專業(yè)技術(shù)等級考試的通知》（郵電人才【2020】15號），這標(biāo)志著我國大數(shù)據(jù)工程師專業(yè)技術(shù)等級考試制度的建立，該文件明確將推動提高大數(shù)據(jù)專業(yè)技術(shù)人員理論與技能水平。

　　大數(shù)據(jù)開發(fā)工程師是做什么的？崗位要求高嗎？大數(shù)據(jù)開發(fā)工程師要負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、ETL開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計、大數(shù)據(jù)實時計算平臺及業(yè)務(wù)開發(fā)、平臺建設(shè)及維護(hù)等工作內(nèi)容。熟練掌握數(shù)據(jù)倉庫、hadoop生態(tài)體系、計算及二次開發(fā)、大數(shù)據(jù)平臺工具的開發(fā)：開發(fā)平臺、調(diào)度系統(tǒng)、元數(shù)據(jù)平臺等工具，該崗位對于技術(shù)要求較高。

　　大數(shù)據(jù)開發(fā)工程師的崗位要求有哪些：

　　1、本科以上學(xué)歷，計算機(jī)相關(guān)專業(yè)，對數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)分析等有深刻認(rèn)識和實戰(zhàn)經(jīng)驗

　　2、熟悉HiveSQL語言，熟悉shell, python等腳本語言

　　3、有hadoop、spark、flink等大數(shù)據(jù)平臺的使用經(jīng)驗

　　4、有數(shù)據(jù)倉庫建設(shè)、商業(yè)數(shù)據(jù)分析、增長項目經(jīng)驗

　　5、java/scala至少熟練使用一種

　　6、熟練掌握Hadoop及Map-Reduce應(yīng)用開發(fā)，熟練掌握HBase、Hive、Storm、spark等大數(shù)據(jù)開發(fā)工具

　　7、熟悉至少一種實時計算引擎 Storm,SparkStreaming, Flink, 對hadoop生態(tài)其他組件有一定了解，比如 HBase， hadoop, Hive, Druid等

　　熟悉Hadoop/Spark/Hive/HBase等大數(shù)據(jù)工具，主導(dǎo)過大型數(shù)據(jù)平臺建設(shè)者優(yōu)先；

　　9、精通SQL，熟悉常用的關(guān)系型數(shù)據(jù)庫、非關(guān)系性數(shù)據(jù)庫和數(shù)據(jù)倉庫，具有SQL性能優(yōu)化經(jīng)驗；

　　9、了解微服務(wù)開發(fā)理念、實現(xiàn)技術(shù)，熟悉常見設(shè)計模式，熟練掌握SSH開發(fā)框架，熟練進(jìn)行Java、Python代碼編寫，熟悉多線程編程

　　10、有Hadoop/Hive/Spark/Storm/Zookeeper 等相關(guān)開發(fā)經(jīng)驗或從事分布式相關(guān)系統(tǒng)的開發(fā)工作

　　11、熟悉Linux/Unix系統(tǒng)和豐富的Java開發(fā)經(jīng)驗

　　12、3年以上企業(yè)級數(shù)據(jù)倉庫開發(fā)經(jīng)驗，有大規(guī)模集群應(yīng)用開發(fā)經(jīng)驗優(yōu)先

　　13、熟悉數(shù)據(jù)倉庫理論，具備復(fù)雜業(yè)務(wù)需求梳理能力

　　14、熟練SQL開發(fā)，精通Mysql等關(guān)系型數(shù)據(jù)庫

　　15、熟悉Linux系統(tǒng)，具備shell、python等腳本開發(fā)能力者優(yōu)先

　　16、學(xué)習(xí)能力強(qiáng)，喜歡研究開源新技術(shù)，有團(tuán)隊觀念，具備獨立解決問題的能力，具備扎實的計算機(jī)理論基礎(chǔ), 對數(shù)據(jù)結(jié)構(gòu)及算法有較強(qiáng)的功底