大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述(精選17篇)
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇1
職責(zé):
1、負(fù)責(zé)規(guī)劃大數(shù)據(jù)平臺(tái)及應(yīng)用產(chǎn)品的需求和技術(shù)方案設(shè)計(jì);
2、負(fù)責(zé)數(shù)據(jù)對(duì)接和對(duì)外服務(wù)設(shè)計(jì)、開(kāi)發(fā)和維護(hù),并能保證質(zhì)量和性能;
3、負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)的應(yīng)用設(shè)計(jì)、開(kāi)發(fā)和維護(hù);
4、能從系統(tǒng)全局和各子系統(tǒng)的角度思考可能存在的問(wèn)題,并提出改進(jìn)方案建議;
任職要求:
1、大學(xué)本科6年以上工作經(jīng)驗(yàn),計(jì)算機(jī)相關(guān)專業(yè)。
2、至少4年以上的Java開(kāi)發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)應(yīng)用系統(tǒng)的開(kāi)發(fā)和設(shè)計(jì)經(jīng)驗(yàn)。
3、熟悉Hadoop生態(tài)圈技術(shù)體系, 對(duì)離線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算均有深刻理解, 如Hadoop、Storm、Spark三個(gè)中的任意二個(gè), 能進(jìn)行平臺(tái)和組件優(yōu)化。
4、精通Hive、HBase倉(cāng)庫(kù)設(shè)計(jì),深刻理解MR運(yùn)行原理和機(jī)制,能進(jìn)行以提供高任務(wù)執(zhí)行效率的優(yōu)化。
5、精通Java開(kāi)發(fā),熟悉JVM調(diào)優(yōu), 對(duì)GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關(guān)技術(shù), 能進(jìn)行hbase可靠性診斷和維護(hù)。
7、快速研究和學(xué)習(xí)技術(shù)能力。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇2
職責(zé):
1、 基于公司大數(shù)據(jù)基礎(chǔ)和數(shù)據(jù)資產(chǎn)積累,負(fù)責(zé)大數(shù)據(jù)應(yīng)用整體技術(shù)架構(gòu)的設(shè)計(jì)、優(yōu)化,建設(shè)大數(shù)據(jù)能力開(kāi)放平臺(tái);負(fù)責(zé)大數(shù)據(jù)應(yīng)用產(chǎn)品的架構(gòu)設(shè)計(jì)、技術(shù)把控工作。
2、 負(fù)責(zé)制定大數(shù)據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)安全管控體系和數(shù)據(jù)使用規(guī)范。
3、 作為大數(shù)據(jù)技術(shù)方案到產(chǎn)品實(shí)現(xiàn)的技術(shù)負(fù)責(zé)人,負(fù)責(zé)關(guān)鍵技術(shù)點(diǎn)攻堅(jiān)工作,負(fù)責(zé)內(nèi)部技術(shù)推廣、培訓(xùn)及知識(shí)轉(zhuǎn)移工作。
4、 負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā)項(xiàng)目任務(wù)規(guī)劃、整體進(jìn)度、風(fēng)險(xiǎn)把控,有效協(xié)同團(tuán)隊(duì)成員并組織跨團(tuán)隊(duì)技術(shù)協(xié)作,保證項(xiàng)目質(zhì)量與進(jìn)度。
5、 負(fù)責(zé)提升產(chǎn)品技術(shù)團(tuán)隊(duì)的技術(shù)影響力,針對(duì)新人、普通開(kāi)發(fā)人員進(jìn)行有效輔導(dǎo),幫助其快速成長(zhǎng)。
任職資格:
1、 計(jì)算機(jī)、數(shù)學(xué)或相關(guān)專業(yè)本科以上學(xué)歷,5-20xx年工作經(jīng)驗(yàn),具有大型系統(tǒng)的技術(shù)架構(gòu)\應(yīng)用架構(gòu)\數(shù)據(jù)架構(gòu)相關(guān)的實(shí)踐工作經(jīng)驗(yàn)。
2、 有分布式系統(tǒng)分析及架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),熟悉基于計(jì)算集群的軟件系統(tǒng)架構(gòu)和實(shí)施經(jīng)驗(yàn)。
3、 掌握Hadoop/Spark/Storm生態(tài)圈的主流技術(shù)及產(chǎn)品,深入了解Hadoop/Spark/Storm生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場(chǎng)景。
4、 掌握Mysql/Oracle等常用關(guān)系型數(shù)據(jù)庫(kù),能夠?qū)QL進(jìn)行優(yōu)化。
5、 熟悉分布式系統(tǒng)基礎(chǔ)設(shè)施中常用的技術(shù),如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實(shí)踐經(jīng)驗(yàn)者優(yōu)先。
6、 熟悉Linux,Java基礎(chǔ)扎實(shí),至少3-5年以上Java應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn),熟悉常用的設(shè)計(jì)模式和開(kāi)源框架。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇3
職責(zé):
1、負(fù)責(zé)面向政府信領(lǐng)域的企業(yè)(不限于)大數(shù)據(jù)平臺(tái)、大數(shù)據(jù)應(yīng)用等系統(tǒng)的架構(gòu)設(shè)計(jì)、技術(shù)規(guī)劃、技術(shù)選型
2、跟進(jìn)業(yè)界大數(shù)據(jù)技術(shù)發(fā)展動(dòng)態(tài),匹配行業(yè)應(yīng)用訴求,制定大數(shù)據(jù)策略,提前識(shí)別關(guān)鍵技術(shù)并完成技術(shù)驗(yàn)證;
3、支撐售前完成項(xiàng)目解決方案技術(shù)架構(gòu)的設(shè)計(jì)及重要客戶的交流;
4、負(fù)責(zé)指導(dǎo)研發(fā)完成大數(shù)據(jù)產(chǎn)品的開(kāi)發(fā)
5、帶領(lǐng)團(tuán)隊(duì)進(jìn)行產(chǎn)品核心技術(shù)的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,包括報(bào)表平臺(tái),OLAP引擎和DB,ETL,數(shù)據(jù)倉(cāng)庫(kù)建模和設(shè)計(jì),海量分布式數(shù)據(jù)處理分析架構(gòu);
2、在大數(shù)據(jù)處理和分析領(lǐng)域具有3年或者以上的技術(shù)規(guī)劃、架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),并有成功的項(xiàng)目實(shí)踐;
3、4年以上Hadoop實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉Hadoop底層文件系統(tǒng)及分布式計(jì)算框架,具備傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)、MPP、Hadoop等混搭平臺(tái)架構(gòu)的設(shè)計(jì)能力和數(shù)據(jù)建模能力,對(duì)大規(guī)模數(shù)據(jù)并行計(jì)算、傳輸、處理等有豐富的經(jīng)驗(yàn);
4、有實(shí)際應(yīng)用storm、spark、flume、kafka等項(xiàng)目經(jīng)驗(yàn)優(yōu)先;
5、卓越的技術(shù)領(lǐng)導(dǎo)力,善于溝通、發(fā)現(xiàn)和解決產(chǎn)品需求階段、開(kāi)發(fā)階段和測(cè)試階段的問(wèn)題,并能提供合理解決方案,有大中型互聯(lián)網(wǎng)企業(yè)工作背景優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇4
職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)選型和技術(shù)難點(diǎn)攻關(guān)工作;
2、依據(jù)行業(yè)數(shù)據(jù)現(xiàn)狀和客戶需求,完成行業(yè)大數(shù)據(jù)的特定技術(shù)方案設(shè)計(jì)與撰寫;
3、負(fù)責(zé)研究跟進(jìn)大數(shù)據(jù)架構(gòu)領(lǐng)域新興技術(shù)并在公司內(nèi)部進(jìn)行分享;
4、參與公司大數(shù)據(jù)項(xiàng)目的技術(shù)交流、解決方案定制以及項(xiàng)目的招投標(biāo)工作;
5、參與公司大數(shù)據(jù)項(xiàng)目前期的架構(gòu)設(shè)計(jì)工作;
任職要求:
1、計(jì)算機(jī)及相關(guān)專業(yè)本科以上,5年以上數(shù)據(jù)類項(xiàng)目(數(shù)據(jù)倉(cāng)庫(kù)、商務(wù)智能)實(shí)施經(jīng)驗(yàn),至少2年以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn),至少主導(dǎo)過(guò)一個(gè)大數(shù)據(jù)平臺(tái)項(xiàng)目架構(gòu)設(shè)計(jì);
2、精通大數(shù)據(jù)生態(tài)圈的技術(shù),包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數(shù)據(jù)統(tǒng)計(jì)查詢性能優(yōu)化能力。熟悉星環(huán)大數(shù)據(jù)產(chǎn)品線及有過(guò)產(chǎn)品項(xiàng)目實(shí)施經(jīng)驗(yàn)者優(yōu)先;
3、優(yōu)秀的方案撰寫能力,思路清晰,邏輯思維強(qiáng),能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關(guān)系型數(shù)據(jù)庫(kù),熟悉數(shù)據(jù)倉(cāng)庫(kù)建設(shè)思路和數(shù)據(jù)分層架構(gòu)思想;
5. 熟練掌握java、R、python等1-2門數(shù)據(jù)挖掘開(kāi)發(fā)語(yǔ)言;
6. 熟悉云服務(wù)平臺(tái)及微服務(wù)相關(guān)架構(gòu)思想和技術(shù)路線,熟悉阿里云或騰訊云產(chǎn)品者優(yōu)先;
7、有煙草或制造行業(yè)大數(shù)據(jù)解決方案售前經(jīng)驗(yàn)者優(yōu)先;
8、能適應(yīng)售前支持和項(xiàng)目實(shí)施需要的短期出差;
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇5
職責(zé):
1、負(fù)責(zé)相關(guān)開(kāi)源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負(fù)責(zé)解決項(xiàng)目上線后生產(chǎn)環(huán)境的各種實(shí)際問(wèn)題,保障大數(shù)據(jù)平臺(tái)在生產(chǎn)上的安全、平穩(wěn)運(yùn)行;
3、推動(dòng)優(yōu)化跨部門的業(yè)務(wù)流程, 參與業(yè)務(wù)部門的技術(shù)方案設(shè)計(jì)、評(píng)審、指導(dǎo);
4、負(fù)責(zé)技術(shù)團(tuán)隊(duì)人員培訓(xùn)、人員成長(zhǎng)指導(dǎo)。
5、應(yīng)項(xiàng)目要求本月辦公地址在錦江區(qū)金石路316號(hào)新希望中鼎國(guó)際辦公,月底項(xiàng)目結(jié)束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術(shù)擔(dān)當(dāng),解決核心技術(shù)問(wèn)題;
2、3年以上大數(shù)據(jù)平臺(tái)項(xiàng)目架構(gòu)或開(kāi)發(fā)經(jīng)驗(yàn),對(duì)大數(shù)據(jù)生態(tài)技術(shù)體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實(shí)踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺(tái)開(kāi)發(fā)體系,具備微服務(wù)架構(gòu)的項(xiàng)目實(shí)施經(jīng)驗(yàn),有Dubbo/Spring cloud微服務(wù)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)優(yōu)先;
5、性格開(kāi)朗、善于溝通,有極強(qiáng)的技術(shù)敏感性和自我驅(qū)動(dòng)學(xué)習(xí)能力,注重團(tuán)隊(duì)意識(shí)。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇6
職責(zé):
1、對(duì)業(yè)務(wù)需求深入分析,從而進(jìn)行大數(shù)據(jù)平臺(tái)核心應(yīng)用的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)和技術(shù)支持;
2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺(tái)的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);
3、把握復(fù)雜系統(tǒng)的設(shè)計(jì),確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、帶領(lǐng)團(tuán)隊(duì)攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來(lái)的各種挑戰(zhàn)及技術(shù)難關(guān);
5、在大數(shù)據(jù)平臺(tái)建設(shè)路線圖指導(dǎo)下,進(jìn)行架構(gòu)實(shí)施和交付物投遞,同時(shí)確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;
6、進(jìn)行團(tuán)隊(duì)技術(shù)的培訓(xùn)和梯隊(duì)建設(shè)崗位要求;
任職條件:
1、本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)平臺(tái)相關(guān)工作經(jīng)驗(yàn);
2、精通Java開(kāi)發(fā)技術(shù),熟悉Shell、Scala語(yǔ)言和PYTHON優(yōu)先;
3、編程基礎(chǔ)扎實(shí),熟悉I/O、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機(jī)制;
4、熟悉常用設(shè)計(jì)模式,代碼評(píng)審規(guī)則,單元測(cè)試,持續(xù)集成;
5、熟悉AWS云服務(wù)或阿里云服務(wù);
6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇7
職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺(tái)、海量數(shù)據(jù)存儲(chǔ)/處理分布式平臺(tái)、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā);
2. 負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)架構(gòu)設(shè)計(jì)、部署、監(jiān)控、優(yōu)化升級(jí);
3. 制定項(xiàng)目/數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)及實(shí)現(xiàn)規(guī)范,指導(dǎo)設(shè)計(jì)研發(fā)和部署;
4. 協(xié)助策略和算法團(tuán)隊(duì)工作,保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù)。
任職要求:
1. 全日制本科及以上學(xué)歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗(yàn);
2. 精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;
3. 具備Java/C++/Scala等開(kāi)發(fā)經(jīng)驗(yàn),熟悉數(shù)據(jù)挖掘和分析的策略與算法;
4. 具備良好的系統(tǒng)分析能力、故障診斷能力;
5. 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗(yàn)優(yōu)先;
6、211/985 重點(diǎn)學(xué)校畢業(yè)優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇8
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)資源規(guī)劃、權(quán)限控制、運(yùn)維架構(gòu)設(shè)計(jì),為各產(chǎn)品業(yè)務(wù)提供穩(wěn)定、高效、安全的運(yùn)行環(huán)境;
2、負(fù)責(zé)實(shí)時(shí),離線數(shù)據(jù)分析處理及實(shí)時(shí)平臺(tái)的建設(shè)和搭建
3、熟悉 Flink 流式計(jì)算引擎的使用以及源碼原理,并且有相關(guān)的流式處理平臺(tái)的經(jīng)驗(yàn)。
4、Java基礎(chǔ)扎實(shí),熟練掌握垃圾回收,網(wǎng)絡(luò),多線程編程,了解 python 或 scala
5、負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)的分析與設(shè)計(jì);
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇9
職責(zé):
1、正確理解業(yè)務(wù)需求,對(duì)需求進(jìn)行工作量評(píng)估;
2、參與項(xiàng)目相關(guān)的需求、設(shè)計(jì)、投產(chǎn)手冊(cè)等文檔的編寫;
3、根據(jù)進(jìn)度計(jì)劃,完成所承擔(dān)功能模塊的設(shè)計(jì)、開(kāi)發(fā)、單元測(cè)試、聯(lián)調(diào)測(cè)試;
4、配合測(cè)試組修復(fù)代碼缺陷,確保功能實(shí)現(xiàn)與代碼質(zhì)量;
5、負(fù)責(zé)所承擔(dān)功能模塊投產(chǎn)、部署,及上線后的日常維護(hù);
6、完成項(xiàng)目經(jīng)理或者架構(gòu)師安排的其他工作;
任職資格:
1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),兩年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
2、熟悉Linux 環(huán)境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數(shù)據(jù)開(kāi)發(fā)組件;
4、精通 ETL,數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和開(kāi)發(fā);
5、有大數(shù)據(jù)處理實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉整個(gè)大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、存儲(chǔ);
6、較強(qiáng)的動(dòng)手能力和學(xué)習(xí)能力,良好的溝通能力、團(tuán)隊(duì)協(xié)調(diào)能力;
7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇10
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)建設(shè);
2、負(fù)責(zé)行業(yè)大數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計(jì)與研發(fā);
3、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)進(jìn)行行業(yè)大數(shù)據(jù)產(chǎn)品關(guān)鍵技術(shù)攻關(guān)。
任職要求:
1、有三年以上大數(shù)據(jù)應(yīng)用、開(kāi)發(fā)經(jīng)驗(yàn);具備海量數(shù)據(jù)加工處理(ETL)相關(guān)經(jīng)驗(yàn),對(duì)數(shù)據(jù)挖掘及機(jī)器學(xué)習(xí)有較為深刻的理解;
2、熟悉Hadoop相關(guān)技術(shù),對(duì)HDFS、MapReduce、Hive、HBase有一定的使用和開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉Linux,熟練使用Shell或Python,進(jìn)行腳本編寫;
4、對(duì)數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)統(tǒng)計(jì)分析算法有較為深刻理解;
5、掌握至少一種主流關(guān)系數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù):Oracle、SQL Server、MySQL等;
6、掌握實(shí)時(shí)流計(jì)算技術(shù),有Spark、Storm開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
7、需要具備2年以上研發(fā)團(tuán)隊(duì)管理經(jīng)驗(yàn)。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇11
職責(zé):
1、負(fù)責(zé)公司的大數(shù)據(jù)平臺(tái)的數(shù)倉(cāng)架構(gòu)、系統(tǒng)架構(gòu)設(shè)計(jì);
2、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情分析相關(guān)的挖掘方案設(shè)計(jì);
3、負(fù)責(zé)大數(shù)據(jù)研發(fā)組團(tuán)隊(duì)管理;
4、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情平臺(tái)的方案文檔撰寫、迭代開(kāi)發(fā);
5、負(fù)責(zé)研發(fā)規(guī)范制定,研究行業(yè)前沿技術(shù);
6、參與產(chǎn)品規(guī)劃及設(shè)計(jì)討論。
任職要求:
1、本科五年工作經(jīng)驗(yàn)及以上,有至少五年的大數(shù)據(jù)技術(shù)實(shí)踐經(jīng)驗(yàn),有NLP或AI相關(guān)經(jīng)驗(yàn);
2、有很強(qiáng)的架構(gòu)設(shè)計(jì)能力和良好的表達(dá)能力;
3、有一定的項(xiàng)目管理及團(tuán)隊(duì)管理能力;
4、精通Hadoop、Spark生態(tài)圈中的常用組件原理及應(yīng)用;
6、理解媒體業(yè)務(wù),精通數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃和設(shè)計(jì);
5、精通掌握J(rèn)ava或Python編程,有性能調(diào)優(yōu)能力;
4、熟悉NLP算法原理及應(yīng)用;
6、對(duì)新生事物或者新技術(shù)有濃厚興趣,學(xué)習(xí)能力強(qiáng)。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇12
職責(zé):
1.負(fù)責(zé)企業(yè)數(shù)據(jù)中心建設(shè),設(shè)計(jì)數(shù)據(jù)邏輯模型和物理模型,并完成相關(guān)開(kāi)發(fā)
2.梳理公司各業(yè)務(wù)線常用的指標(biāo)和維度,統(tǒng)一指標(biāo)定義口徑
3.根據(jù)數(shù)據(jù)應(yīng)用開(kāi)發(fā)和數(shù)據(jù)分析需求,設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)信息層模型,提高數(shù)據(jù)開(kāi)發(fā)的效率
4.負(fù)責(zé)數(shù)據(jù)模型的運(yùn)營(yíng)和優(yōu)化,及時(shí)響應(yīng)業(yè)務(wù)邏輯變更,保證模型的數(shù)據(jù)質(zhì)量和穩(wěn)定性
5.負(fù)責(zé)公司數(shù)據(jù)標(biāo)簽體系的建設(shè),并推動(dòng)標(biāo)簽體系在實(shí)際業(yè)務(wù)場(chǎng)景中落地
崗位要求:
1.5年以上DW/BI數(shù)據(jù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和性能調(diào)優(yōu)等相關(guān)經(jīng)驗(yàn)
2.有較強(qiáng)的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),熟悉Erwin或PowerDesigner建模工具
3.精通一種主流關(guān)系數(shù)據(jù)庫(kù)(如mysql等),熟悉Hive開(kāi)發(fā)
4.有電商業(yè)務(wù)經(jīng)驗(yàn),元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理或標(biāo)簽體系搭建經(jīng)驗(yàn)者優(yōu)先
5.優(yōu)秀的協(xié)調(diào)溝通與團(tuán)隊(duì)協(xié)作能力,極強(qiáng)的責(zé)任心,能承受一定的工作壓力,認(rèn)同企業(yè)文化和團(tuán)隊(duì)價(jià)值
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇13
1. 負(fù)責(zé)大數(shù)據(jù)項(xiàng)目整體架構(gòu)規(guī)劃,包括應(yīng)用架構(gòu)、技術(shù)架構(gòu)、物理架構(gòu)和數(shù)據(jù)架構(gòu)等;
2. 負(fù)責(zé)指導(dǎo)工程師進(jìn)行技術(shù)驗(yàn)證與實(shí)現(xiàn),核心技術(shù)問(wèn)題的攻關(guān),解決項(xiàng)目開(kāi)發(fā)過(guò)程中的技術(shù)難題;
3. 負(fù)責(zé)項(xiàng)目對(duì)外技術(shù)溝通,具有較強(qiáng)的溝通,表達(dá)和文檔撰寫能力;
4. 根據(jù)公司項(xiàng)目和業(yè)務(wù)發(fā)展特點(diǎn),負(fù)責(zé)研究相關(guān)大數(shù)據(jù)前沿技術(shù);
5. 推動(dòng)技術(shù)能力的沉淀。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇14
職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)架構(gòu)設(shè)計(jì),包括定義數(shù)據(jù)的存儲(chǔ)、集成(ETL)、應(yīng)用,支撐業(yè)務(wù)運(yùn)營(yíng)和數(shù)據(jù)分析類需求實(shí)現(xiàn);
2、制定數(shù)據(jù)治理領(lǐng)域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作,確保數(shù)據(jù)可信與安全;
3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務(wù)的數(shù)據(jù)挖掘需求,實(shí)現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變,根據(jù)目標(biāo)行業(yè)建立具有前瞻性的數(shù)據(jù)模型;
4、對(duì)各產(chǎn)品的數(shù)據(jù)安全負(fù)責(zé),主導(dǎo)制定和實(shí)施數(shù)據(jù)庫(kù)系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;
崗位要求
業(yè)務(wù)技能要求:
1、深入理解云化、數(shù)據(jù)倉(cāng)庫(kù),在參與過(guò)的系統(tǒng)設(shè)計(jì)中,必須涉及這兩項(xiàng)關(guān)鍵技術(shù);
n2、精通或者熟悉Hadoop體系架構(gòu),以及HDFS/HBase/Hive/MapReduce/Spark等技術(shù),了解體系架構(gòu)各組件的優(yōu)缺點(diǎn),有直接的產(chǎn)品設(shè)計(jì)與開(kāi)發(fā)、部署、調(diào)優(yōu)的經(jīng)驗(yàn);
3、精通或熟悉常見(jiàn)RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開(kāi)發(fā),了解各數(shù)據(jù)庫(kù)優(yōu)缺點(diǎn), 熟悉與架構(gòu)設(shè)計(jì)相關(guān)的數(shù)據(jù)存儲(chǔ)、性能調(diào)優(yōu)等相關(guān)領(lǐng)域知識(shí),有相關(guān)項(xiàng)目經(jīng)驗(yàn)尤佳;
4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲(chǔ)、計(jì)算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術(shù)方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關(guān)經(jīng)驗(yàn)者優(yōu)先;
n5、熟悉數(shù)據(jù)治理相關(guān)流程,包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務(wù)等。
專業(yè)知識(shí)要求:
1、具備數(shù)據(jù)治理的知識(shí)與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應(yīng)的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;
2、具備數(shù)據(jù)用例設(shè)計(jì)和開(kāi)發(fā)能力。能夠基于業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行業(yè)務(wù)需求分析和痛點(diǎn)識(shí)別,將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)的需求,完成數(shù)據(jù)用例的設(shè)計(jì)和開(kāi)發(fā);
3、精通海量數(shù)據(jù)(日增量百億)級(jí)別數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的構(gòu)建流程。熟悉公安、政務(wù)、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務(wù)者優(yōu)先。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇15
職責(zé):
1、數(shù)據(jù)分析軟件平臺(tái)架構(gòu)搭建
2、負(fù)責(zé)深度學(xué)習(xí)核心框架或高性能后臺(tái)服務(wù)系統(tǒng)的架構(gòu)設(shè)計(jì)工作,包括系統(tǒng)總體規(guī)劃、架構(gòu)設(shè)計(jì)、系統(tǒng)分析、軟件實(shí)現(xiàn)、性能優(yōu)化;
3、指導(dǎo)開(kāi)發(fā)人員開(kāi)發(fā),并解決系統(tǒng)出現(xiàn)的問(wèn)題,理解物業(yè)需求;
4、制定開(kāi)發(fā)計(jì)劃和控制開(kāi)發(fā)進(jìn)度,負(fù)責(zé)指導(dǎo)研發(fā)團(tuán)隊(duì)開(kāi)展設(shè)計(jì)工作;
任職要求:
1、碩士以上,計(jì)算機(jī)或先關(guān)專業(yè);
2、5年左右軟件開(kāi)發(fā)經(jīng)驗(yàn),含3年以上系統(tǒng)分析、設(shè)計(jì)經(jīng)驗(yàn),有大型軟件項(xiàng)目大型軟件項(xiàng)目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)及管理經(jīng)驗(yàn),
3、 具備良好的組件級(jí)建模能力,熟悉HTTP、TCP等協(xié)議
4、熟練使用UML進(jìn)行軟件架構(gòu)設(shè)計(jì),至少精通EA,RATIONAL, VISIO等一種設(shè)計(jì)工具.
5、精通至少一種編程語(yǔ)言,熟悉 Linux 相關(guān)技術(shù),能獨(dú)立在上面進(jìn)行開(kāi)發(fā)、測(cè)試和部署
6、深入理解數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)、分布式體系架構(gòu)和關(guān)鍵技術(shù)
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇16
職責(zé):
1、負(fù)責(zé)企業(yè)大數(shù)據(jù)平臺(tái)的基礎(chǔ)建設(shè)、管理及制定拓展規(guī)劃;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)相關(guān)自動(dòng)化服務(wù)工具的設(shè)計(jì)、開(kāi)發(fā);
3、參與Hadoop、Hbase、Spark等核心平臺(tái)組件的開(kāi)發(fā)、優(yōu)化;
4、對(duì)平臺(tái)特殊場(chǎng)景化的數(shù)據(jù)應(yīng)用制定相關(guān)實(shí)踐方案;
5、大數(shù)據(jù)團(tuán)隊(duì)的搭建。
任職資格:
1、統(tǒng)招本科以上學(xué)歷,計(jì)算機(jī)等相關(guān)專業(yè),5年以上工作經(jīng)驗(yàn);
2、具有Hadoop等大規(guī)模集群管理經(jīng)驗(yàn)、海量(PB)數(shù)據(jù)處理經(jīng)驗(yàn);
3、精通Hadoop、Hive、Hbase等離線平臺(tái)相關(guān)組件的原理機(jī)制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開(kāi)發(fā)等相關(guān)知識(shí),具有后端服務(wù)優(yōu)化相關(guān)經(jīng)驗(yàn);
6、熟悉爬蟲(chóng)常用框架以及反爬技術(shù);
7、具有良好的溝通能力、分析問(wèn)題與攻關(guān)問(wèn)題的能力;
8、有責(zé)任心,工作積極,對(duì)新領(lǐng)域新技術(shù)有熱情。
大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述 篇17
職責(zé):
1)負(fù)責(zé)大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì)、核心開(kāi)發(fā)工作(Hadoop&Spark技術(shù)方向),基于業(yè)務(wù)場(chǎng)景設(shè)計(jì)最優(yōu)的系統(tǒng)解決方案。
2)構(gòu)架支持大數(shù)量級(jí)的數(shù)據(jù)的大數(shù)據(jù)平臺(tái)系統(tǒng),及相關(guān)監(jiān)控,拓展系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)。
3)利用Hadoop、Spark等大數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行處理,支持BI和數(shù)據(jù)科學(xué)(建模)的應(yīng)用實(shí)現(xiàn)。
4)對(duì)現(xiàn)有系統(tǒng)的進(jìn)行架構(gòu)深入分析及系統(tǒng)優(yōu)化,進(jìn)一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
任職資格
1)統(tǒng)招本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè), 5年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)、3年以上大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)。
2)具備較豐富的大數(shù)據(jù)平臺(tái)相關(guān)構(gòu)建,維護(hù)及調(diào)優(yōu)經(jīng)驗(yàn),有大數(shù)據(jù)量級(jí)下的大數(shù)據(jù)集市相關(guān)經(jīng)驗(yàn)。
3)具備較豐富的基于Hadoop或Hive或Spark等大數(shù)據(jù)處理項(xiàng)目經(jīng)驗(yàn),具備一定的數(shù)據(jù)挖掘經(jīng)驗(yàn)。
4) 具有阿里云的EMR(emapreduce)的經(jīng)驗(yàn)者優(yōu)先考慮。
5)具有良好的業(yè)務(wù)理解、溝通和協(xié)作能力,具有較強(qiáng)的學(xué)習(xí)和總結(jié)能力。
6)優(yōu)秀的團(tuán)隊(duì)合作精神、誠(chéng)實(shí)、勤奮、嚴(yán)謹(jǐn),敢于接受挑戰(zhàn)。
7)機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘經(jīng)驗(yàn)豐富者優(yōu)先考慮。