大數據開發工程師的崗位職責（精選14篇）

大數據開發工程師的崗位職責 篇1

　　職責：

　　1、從事Hadoop、Spark、Hbase、hive等分布式大數據產品的設計和開發;

　　2、針對部門大數據業務進行大數據分析、挖掘等產品應用的開發;

　　3、大數據平臺各類數據業務抽象及模型化;

　　4、參與大數據管理平臺的開發及維護;

　　5、負責大數據平臺數據及相關的應用開發，調優及維護;

　　6、為項目相關開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;

　　7、良好的團隊合作與溝通能力。

　　任職要求：

　　1、本科及以上學歷，2年以上大數據應用開發經驗;

　　2、具備Java、Python、Scala其中兩種語言的開發經驗;

　　3、了解泛Hadoop大數據生態圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術，并有實際的項目開發經驗，有相關源碼研究者優先;

　　4、具備ETL開發與運維能力，有Flume、kettle經驗優先;

　　5、熟悉大數據平臺的搭建過程，熟悉數據處理流程，有TB級以上數據處理經驗優先，有實時數據處理經驗者優先;

　　6、熟悉離線和實時數據處理流程，熟練使用Spark，Flink處理TB級數據優先;

　　7、熟悉Linux系統環境，有shell等腳本編寫經驗，熟悉Mysql、PostgreSql、Oracle等常用關系數據庫，熟練編寫SQL語句;

　　8、熟悉Yarn,Kubernetes,Azkaban等資源調度框架者優先;

　　9、熟悉Datax的二次開發，并有實際開發經驗優先。

大數據開發工程師的崗位職責 篇2

　　職責:

　　1、負責所分管團隊的團隊建設和日常管理工作;

　　2、負責核心技術問題攻關和性能優化，持續維護和引進最新的大數據技術到城市大數據平臺中，支撐城市級大數據平臺業務;

　　3、承擔城市數據標準編制和數據模型的設計;

　　4、承擔項目中數據相關方案設計及數據團隊管理;

　　5、參與城市大數據項目中數據采集、加工過程、分析挖掘模型算法的實施工作。

　　任職資格:

　　1、1年以上數據開發工作經驗，熟練使用SQL查詢引擎;

　　2、熟悉Hadoop、Mpp、Oracle等至少一種數據倉庫工具

　　3、具備良好的編程語言基礎如：java/python/scala/c++/shell等

　　4、二本以上學歷，計算機相關專業或者有相關培訓經歷者優先

　　5、 個人素質要求：目光長遠、態度誠懇、崗位有穩定性，能夠長期培養、具備很強的自學能力、承壓能力強、接受出差支援項目等工作。對數據工作具備濃厚的興趣并有明確職業規劃，優秀的學習能力和團隊溝通協作能力，對新技術有濃厚興趣并有鉆研精神。

大數據開發工程師的崗位職責 篇3

　　職責

　　1、負責基于hadoop/spark生態系統、億級別數據的全文檢索，搜索引擎的產品研發;

　　2、基于海量用戶行為數據和其他數據，分析和研究數據與實際業務的關聯關系，并與實際業務應用相結合開發;

　　3、負責大數據分析需求設計和開發，承擔數據抽取、清洗、轉化等數據處理程序開發。

　　任職要求：

　　1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態圈，具備相關項目開發經驗，有數據實時計算項目經驗優先;

　　2、有搜索引擎全文檢索開發經驗 ，如：elasticsearch、solr;

　　3、熟悉python、R任意一門開發語言;

　　4、有SAAS，PAAS企業級應用平臺或者互聯網，金融等大型應用平臺開發經驗優先考慮;

　　5、 本科及以上學歷，計算機/軟件工程/統計學/數學等相關專業，互聯網/金融等行業3年以上工作經驗;

　　6、擁有良好的代碼習慣，要求結構清晰、命名規范、邏輯性強、代碼冗余率低，代碼注釋清晰;

　　7、熟悉使用svn，禪道等項目管理工具，有良好的團隊協作開發經驗.

大數據開發工程師的崗位職責 篇4

　　職責：

　　1、負責數據分析、加工、清理，相關處理腳本和程序的開發;

　　2、負責開發大數據工具，如報表平臺、多維度分析工具、ETL平臺、調度平臺的研發;

　　3、負責分布式大數據平臺應用開發(Hadoop/Spark/Hive/HBase等);

　　4、負責大數據相關平臺的維護、優化。

　　任職要求：

　　1、本科及以上學歷，計算機相關專業，具有5年及以上的大數據ETL或數據開發經驗，熟悉大數據組件的維護以及調優;

　　2、熟練掌握Java或Python編程語言，熟悉大數據架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個，熟悉Sqoop、DataX等數據導入工具;

　　3、能熟練使用Hive、HBase、Spark等加工和處理數據，有海量數據處理經驗;

　　4、有數據倉庫開發經驗/BI系統開發經驗優先;

　　5、有電商行業數據處理與分析平臺開發經驗者優先。

大數據開發工程師的崗位職責 篇5

　　職責：

　　1、依據客戶需求完成大數據項目的數據分析及建模;

　　2、進行大數據核心算法的編寫;

　　3、參與項目的需求分析、系統設計、編碼工作;

　　4、參與開發過程中相關新技術的研究和驗證。

　　5.協助承擔架構性的體系設計和改造工作，配合制定技術實施方案，按照總體設計組織子系統的設計和開發。

　　任職要求：

　　1、精通數據建模、數據體系建設，具備數據倉庫架構設計、模型設計和處理性能調優等相關經驗;

　　2、具有豐富的基于hadoop體系的數據平臺、數據倉庫建設經驗，精通基于hadoop源碼的開發、優化改造及成功應用案例;

　　3、精通hadoop生態體系各項技術，如kafka、flume、hive、impala、hbase、spark等，具有100+節點hadoop集群的開發、運維經驗;

　　4、具有對大型hadoop集群的硬件規劃能力;

大數據開發工程師的崗位職責 篇6

　　職責：

　　1.根據產品或項目開發進度和任務分配，負責相應軟件模塊的設計開發;

　　2.根據開發規范和流程獨立完成模塊的設計、編碼及相關文檔;

　　3.服務器環境的搭建和系統的部署等。

　　4.協助編寫需求文檔，編寫概要設計文檔、詳細設計文檔、數據文檔等相關文檔。

　　5.能夠參與系統架構設計、性能優化、重構的討論及給出解決方案的建議。

　　任職要求：

　　1、計算機或相關專業背景，大專以上學歷,2年以上工作經驗。

　　2、精通一種或多種主流的關系型數據庫如Mysql、Oracle。

　　3、熟練使用java編程語言，有良好的編程風格。

　　4、熟悉java的基礎知識，如數據類型、集合、異常處理、多線程、緩存、事務等。

　　5、熟悉一種或多種nosql數據庫，如Mongodb、Redis。

　　6、熟練使用Spring、SpringMVC、Hibernate等常用后端框架。

　　7、熟悉linux等操作系統。

　　8、熟悉SpringBoot框架。

　　9、熟悉微服務架構。

　　10、熟悉數據結構、設計模式、UML等知識。

　　11、熟悉一種或多種消息隊列如RocketMQ、Kafka。

大數據開發工程師的崗位職責 篇7

　　職責：

　　1、根據業務需求，提供業務、技術、系統開發解決方案;

　　2、和團隊成員一起參與并完善項目數據分析工作的流程、規范和方法建設;

　　3、參與項目數據采集、清洗、存儲、計算等全方位設計與開發;

　　4、配合完成數據模型設計;

　　5、負責數據交工及報表開發。

　　任職要求：

　　1、計算機相關專業全日制本科及以上學歷;2年及以上項目經驗;

　　2、熟悉ORACLE數據庫架構。熟練編寫PLSQL存儲過程，能夠進行簡單的sql調優，熟練掌握oracle常用語句;

　　3、熟悉Microstrategy(MSTR)報表工具,基本了解MSTR文檔、儀表盤等功能開發流程;

　　4、熟悉數據倉庫理論，有較好的大數據應用開發能力;

　　5、具有良好的溝通、表達能力，有較強的獨立工作能力和解決問題的能力;

　　6、邏輯思維能力強，謙虛好學，工作踏實，有責任感。

大數據開發工程師的崗位職責 篇8

　　職責：

　　1、參與前端應用開發，包括Web及Mobile等產品，負責前端交互的實現;

　　2、與設計師、產品工程師緊密工作在一起，負責產出高質量的產品前端層;

　　3、能充分理解項目需求和設計需求，具有一定研發精神，能解決各種未知問題;

　　4、與團隊成員分享經驗和新技術，幫助團隊成長。

　　任職要求：

　　1、 計算機、軟件類專業，本科及以上學歷;

　　2、 具有3年以上前端開發經驗，精通HTML5、CSS3，熟練應用jQuery等框架;

　　3、對 MVC/MVMM 有一定的理解，熟練掌握 React/Redux 或者 Vue/Vuex 或者 AngularJS，有中大型H5項目開發經驗者優先;

　　4、熟悉移動端web開發，能解決各種手機平臺兼容性問題，有webapp、微信公眾號、小程序開發經驗者優先;

　　5、關注技術前沿，善于利用各種工具提升自己與團隊的開發效率;

　　6、良好的溝通表達能力，具備很好的團隊協作精神;

　　7、善于學習新的知識，熱愛技術，動手能力強，有進取心。

大數據開發工程師的崗位職責 篇9

　　職責：

　　1、根據公司的業務需要，負責業務系統的核心模塊的設計和開發工作;

　　2、web項目執行;按照項目管理流程，參與研發部門的總體設計評審;

　　3、承擔部分新技術試驗和研究，并應用到公司產品中，獨立解決開發中遇到的問題;

　　4、進行詳細設計、代碼開發，配合測試，高質量完成項目;

　　5、負責公司門戶網站、商城、微信小程序小游戲等相關項目的開發維護工作。

　　任職要求：

　　1、大專以上學歷，1-3年左右開發經驗，計算機相關專業，有PHP項目開發經驗;

　　2、熟悉WEB開發流程，熟練應用PHP+MySQL,PHP+MSSQL進行獨立開發，熟悉數據庫設計;

　　3、熟悉MVC設計模式，精通 MYSQL維護管理，MySQL索引優化、查詢優化;

　　4、熟練掌握緩存、靜態化，代碼安全開發等相關技術;熟悉大數據網站性能優化，具備規范的代碼編寫習慣以及良好的用戶體驗開發意識;

　　5、熟練使用HTML/CSS/JavaScript/Ajax/JQuery/XML等技術進行WEB應用開發，有團隊協作精神;

　　6、精通數據接口對接與開發，有商城開發經驗、微信小程序開發應用者優先。

大數據開發工程師的崗位職責 篇10

　　職責：

　　1. 負責產品研發Java后臺設計與開發工作、客戶現場相關項目的Java后臺設計與開發工作;

　　2. 對自行編制的功能代碼進行功能與性能優化，可協助H5、APP端、第三方進行接口聯調，及時修改測試、提出BUG，確保代碼質量;

　　3. 撰寫相關的技術文檔，主要包括設計文檔、接口文檔、部署文檔、使用手冊等;

　　4. 參與項目整個過程的實施工作，并具備獨立安裝部署和后期實施運維能力;

　　5. 參與到項目售前技術支持工作，能出差實施項目。

　　任職資格:

　　1. 計算機相關專業畢業，有3年以上Java工作經驗，有政府信息化或智慧城市相關項目經驗優先;

　　2. 熟練使用SQL語句與SQL優化，熟悉主流數據庫MySql、Oracle等;

　　3. 熟練J2EE主流技術框架，如Spring、SpringMVC、Mybatis、shiro等;

　　4. 精通HTTP通信協議、RESTfull API、HttpClient等接口規范與應用;

　　5. 熟練Java相關邊沿技術與工具：Eclipse、IDEA、Maven、SVN、Git、JavaScript、Poi、Log4j、freemarker、redis、Quartz、MQ等

　　6. 熟練使用Linux常用命令，可以完成Java服務運行環境的安裝、部署、監控等工作;

　　7. 具有良好的理解能力與溝通能力，能正確理解產品或項目目標與需求，有問題可以積極溝通確認，能做到及時準確的上報下達;

　　8. 具有良好的職業素質與團隊合作精神，可以嚴格遵守公司與項目組相關規定，有強烈的集體團隊意識;

　　9. 對工作態度主動積極、認真負責、且具有一定的抗壓能力;

大數據開發工程師的崗位職責 篇11

　　職責

　　1、負責提供藍鯨自動化運維開發平臺在企業落地實施過程中的技術支持;

　　2、協助項目經理完成客戶現場的需求溝通，并能與客戶就相關問題進行直接溝通，參與項目技術方案設計、編寫等工作。

　　3、負責公司產品實施工作(部署安裝調試、工具開發、對接平臺實際落地)，以及平臺應用工具開發工作，參與平臺工具腳本的編寫;

　　4、就公司產品能在技術層面向客戶進行講解和培訓;

　　5、撰寫技術支持文檔或功能使用文檔，配合公司產品測試，提供測試反饋;

　　任職資格

　　1、計算機相關專業，2年以上運維開發或運維經歷;

　　2、有運維開發經驗為佳，精通一門以上腳本語言(Shell/PowerShell/Perl/Python等)，熟悉Django Web開發框架，熟悉設計模式、開發規范，掌握常用Linux操作命令;

　　3、熱愛軟件研發工作，有強烈的創新精神并能付諸實施，能積極學習業界新技術;

　　4、有良好的邏輯思維能力和想象力，善于抽象簡化復雜問題，善于系統性思考并使用創新性思維解決問題，學習能力強;

　　5、有責任心，優秀的團隊合作精神，良好的溝通表達，積極主動，自我驅動，樂觀，誠實，勤奮，嚴謹;

　　6、有不錯的工作抗壓能力，富有激情;

　　7、熟悉HTML、CSS、JavaScript等前端開發技術者優先;

　　8、熟悉藍鯨產品軟件設計體系，掌握藍鯨SaaS開發人員優先。

大數據開發工程師的崗位職責 篇12

　　職責：

　　1、根據公司信息化發展需要和業務流程要求，對ERP系統和OA平臺進行定制化二次開發和功能擴展，制定二次開發方案、計劃并實施，分析并解決開發過程中的問題;

　　2、或能自主開發滿足公司管理需要的軟件系統，負責軟件產品的架構設計、功能模塊設計、數據庫結構設計及核心代碼開發;

　　3、對ERP系統、OA平臺或自主開發軟件系統進行維護，保障軟件系統的穩定運行;

　　4、負責其他系統與ERP接口的技術支持;

　　5、完成上級臨時交辦的其他工作。

　　任職資格：

　　1、計算機、電子信息工程相關專業，大專以上學歷;

　　2、對ERP系統和OA平臺的功能和使用比較熟悉;

　　3、熟悉軟件系統開發過程，有編寫代碼、編寫腳本的經驗，熟悉至少兩種開發語言;

　　4、有二次開發經驗，熟悉ERP二次開發和實施經驗者優先;

　　5、具有數據庫及高級應用程序開發經驗;

　　6、具有通信協議接口開發經驗;

　　7、熟悉SQL Server、Oracle等數據庫開發。

大數據開發工程師的崗位職責 篇13

　　職責：

　　1. 負責運營平臺以及移動應用服務器API開發與維護，編寫開發文檔;

　　2 .根據業務需求提出技術方案，負責系統框架的規劃、開發;

　　3. 熟悉支付業務流程，對已有模塊的調優和bug修復。

　　任職資格：

　　1. 計算機及相關專業，熟悉掌握PHP、熟悉面向對象編程;

　　2 .有成熟的項目經驗，能獨立處理開發中遇到的問題;

　　3 .熟悉Linux服務器相關知識，熟悉Nginx/Apache等服務搭建，對服務器搭建和系統性能調優有了解;

　　4 .熟悉掌握MySQL數據庫的使用，對高并發數據處理和數據優化有相應的處理方案;

　　5 .對緩存技術有了解，使用過Redis/Memcache/Mongodb等常見nosql數據庫之一。

大數據開發工程師的崗位職責 篇14

　　職責：

　　1、負責大數據ETL開發與維護;

　　2、負責大數據平臺數據庫的設計以及開發;

　　3、負責大數據計算框架的選型與計算流程的設計與開發;

　　4、負責數據服務的設計與開發。

　　任職資格：

　　1、本科及以上學歷;

　　2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式開源軟件，具備系統優化與性能調優能力者優先;

　　3、精通JAVA等面向對象編程，有分布式并行計算的開發經驗優先;

　　4、熟練掌握至少一種MySQL、SQL Server、Oracle等關系型數據庫或MongoDB、Redis等NoSQL數據庫 ,有hive等數據倉庫研發經驗優先;

　　5、熟悉大數據、云計算概念，了解Hadoop、Hive、Hbase等大數據主流技術及開源框架者優先;

　　6、自學能力強，溝通能力較好，有一定獨立分析，技術研究能力，具有良好的團隊合作精神;

　　7、數據意識強，有較好的文檔編寫能力，以及踏實的工作作風。