当前位置:概念范文网>文秘>岗位职责>

大数据开发工程师的基本职责(精选13篇)

岗位职责 阅读(2.99W)

大数据开发工程师的基本职责 篇1

职责:

大数据开发工程师的基本职责(精选13篇)

1、大数据日志分析系统的设计,选型和开发;

2、配合各业务给予数据支持,对产品和运营数据总结和优化;

3、处理用户海量数据,提取、分析、归纳用户属性,行为等信息,完成分析结果;

4、发现并指出数据异常情况,分析数据合理性;

5、公司大数据基础架构平台的运维,保障数据平台服务的稳定性和可用性;

6、大数据基础架构平台的监控、资源管理、数据流管理;

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求:

1、日志分析数据系统实际经验;

2、3年以上互联网行业研发经验,有使用Hadoop/hive/spark分析海量数据的能力;

3、掌握 Hadoop、Flume,Kafka、Zookeeper、HBase、Spark 的安装与调试;

4、熟悉大数据周边相关的数据库系统,关系型数据库和 NoSQL。

5、掌握 Linux 操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;

6、有良好的沟通能力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。

大数据开发工程师的基本职责 篇2

职责:

1.参与大数据平台搭建以及项目技术架构。

2.数据分析,挖掘,模型具体的产品化;

3.根据产品需求,分析编写和制定大数据相关解决方案

岗位要求:

1、计算机相关专业本科以上学历,编程基础扎实,有2年以上大数据开发经验

2、熟悉Hadoop生态和体系架构,熟悉Flink、Spark,Hive等常用开源工具

3、熟悉Flume,kakfa,scribe等日志收集体系

4、熟悉主流数据库(Oracle、postgresql、Mysql、Sql Server)中的1种及以上,有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力;喜欢开源软件,乐于知识分享;对工作认真负责;可以独立承担较大工作压力

大数据开发工程师的基本职责 篇3

职责:

1、数字货币领域数据统计分析,负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接,制定切实可行的的策略测试计划,开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理,并对实际交易结果进行量化的绩效分析,推动交易自动化

4、上级交办的其他工作

任职要求:

1、数学/计算机/金融专业毕业,有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验,具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析,具备一定对冲策略研究经验;

4、对数字货币领域感兴趣,结果导向;

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师的基本职责 篇4

职责:

1、负责大数据平台的基础环境搭建与性能优化,完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;

2、对各种开源框架进行深入的代码剖析和优化;

3、参与大数据技术方案评审;

4、指导国中级大数据工程师工作;

岗位要求:

1、计算机相关专业全日制专科及以上学历,具有3年或以上的分布式计算平台研发工作经验;

2. 对大数据相关组件:Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解,具备相应的定制和研发能力,尤其需要精通Flink框架;

3. 具备构建稳定的大数据基础平台的能力,具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;

4. 对技术有热情,有不错的数据思维和敏感度,有一定的数据分析能力优先,对深度学习、机器学习有一定的了解优先;

5. 工作有计划性,责任心和执行能力强,具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

大数据开发工程师的基本职责 篇5

职责:

1、负责数据分析、加工、清理、处理程序的开发;

2、负责数据相关平台的搭建、维护和优化;

3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;

岗位要求:

1、本科学历须211院校以上,硕士及以上学历不限院校,计算机软件及相关专业

2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识;

3、熟练使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底层框架和实现原理;

4、使用Spark Streaming和Spark SQL进行数据处理, 并具有SPARK SQL优化经验;

5、需要有至少2年开发经验,有flink开发经验优先;

6、学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力。

大数据开发工程师的基本职责 篇6

后端开发

2.熟悉springboot+mybatis框架

3.熟悉数据库原理,熟练sql语句,有mySql数据库的经验为佳

4.有前后端分离开发,有分布式的开发经验为佳

5.熟悉linux服务器的日常操作

大数据开发工程师的基本职责 篇7

职责:

1、根据需求实现静态页面交互效果;

2、协同后台开发工程师,完成WEB系统开发任务;

3、特殊JS效果,数据处理实现;

4、高效开发,源码安全及版本实时管理;

5、负责前端界面浏览器调优。

岗位要求:

1、2年以上 Web 前端开发 经验,精通 HTML5 / CSS3 ,具备手写代码能力;对 W3C 标准有充分理解;对语义、结构与内容分离有充分理解;

2、理解 ES6 语言规范,熟悉使用 Promise、 async/await 等语言特性。

3、熟练使用 Vue, React 等常用库;

4、熟悉生态,熟练掌握npm等使用;

5、有责任心,善于与人沟通,具有良好的学习能力和团队合作意识。

6、有开源项目经验优先。

大数据开发工程师的基本职责 篇8

职责

1. 配合项目经理完成项目需求分析、功能及设计

2. 负责项目开发与测试,维护已有程序的升级和错误更正

3. 负责完成APP后台数据的接收及发送,保证数据安全

4. 负责处理线上服务器及数据库故障,及时解决问题

5. 负责服务器环境搭建及项目更新,保证项目稳定运行

6. 负责技术难点公关并带领其他成员完成技术难点的推进和落实

任职要求

1. 必须要求:参与过短视频或者视频通话APP后台开发

2. 大专及以上统招本科学历

3. 2年以上PHP实际开发经验

4. 精通PHP开发,对主流快速开发框架ThinkPHP、YII、Zend等熟悉并应用过至少其中一种

5. 必须具有对接APP的开发经验,能够独立完成数据的设计

6. 熟悉流媒体视频处理技术,在项目中应用过对短视频处理技术

7. 对主流数据库MySql,MSSQL等至少熟悉一种

大数据开发工程师的基本职责 篇9

职责:

1. 负责公司业务生产/支撑的系统类平台的建设、优化和维护工作;

2. 负责公司管理系统的维护性开发工作和自动化运维系统的开发工作;

3. 负责搭建和维护监控管理体系,并根据运行情况提出优化建议;

4. 负责系统维护过程中相关技术文档的编写;

5. 负责各应用系统的版本管理,包括部署、升级等;

任职资格:

1. 计算机、通信技术或相关专业全日制本科及以上学历,2年以上系统维护或开发经验

2. 熟悉Python语言及Django Web框架,对web前端技术有一定的了解,熟悉 RESTful 服务,深刻理解 MVC架构概念和相关的实现技术

3. 熟悉常用的开源监控系统(zabbix 、cacti 、nagios等),可根据需求自定义监控方案,并可对监控系统做二次性开发

4. 精通Linux系统及常见服务的配置、排障、优化

5. 对mysql等关系型数据库有一定的了解,掌握基本的数据库管理和SQL语句

6. 熟悉vmware/xen等虚拟化架构和技术实现

7. 能独立分析问题,善于研究业务分析产品,具备良好的沟通能力、团队协作能力

大数据开发工程师的基本职责 篇10

职责:

1. 参与项目的架构设计、架构开发工作,核心模块设计与代码编写

2. 系统性能优化,难点攻关,保证系统稳定、快速、安全运行

3. 参与代码开发规范,技术标准的制定,审核开发人员的系统设计和代码质量

4. 合理安排重构计划,不断提高产品的代码质量,为团队引入创新的技术、创新的解决方案,用创新的思路解决问题。

职位要求:

1. 计算机相关专业,本科及以上学历

2. 3年以上Java程序开发经验

3. Java语言基础扎实,精通面向对象的分析和设计技术,熟练运用设计模式

4. 精通Spring、Mybatis、Struts等常见的开源架构

5. 精通MySql,Oracle,Redis,等数据库,熟悉常用的解决数据库负载的方法

6. 熟悉Linux操作系统,熟悉Shell脚本编程及常用Linux操作命令

7. 对技术有强烈的兴趣,喜欢钻研,具有良好的学习能力

8. 具有良好的沟通能力,良好的团队协作精神

9. 有电子政务系统和互联网行业经验者优先。

大数据开发工程师的基本职责 篇11

1、使用Flutter进行移动应用研发;能够独立完成iOS、Android应用的开发工作

2、热爱前端,精通flutter等前端开发技术,熟悉常用前端框架

3、和前端、后端工程师一起研讨技术实现方案,进行应用及系统整合

4、熟悉Flutter相关API及第三方框架

5、持续对产品开发流程进行改进与优化,提高开发能力和效率,并能通过技术提升用户体验和可用性

大数据开发工程师的基本职责 篇12

l根据部门产品路线规划,与项目团队成员配合,开发适应市场应用需求的PLC灯控系统;整合供应商资源,验证开发(包括自制和外购)智能电源,智能面板,场景开关,以及其它系统配套产品。

l 在项目过程中参与制定产品技术要求;负责灯控系统各型号产品的设计、验证,完成相关技术文档的编写及归档,并参与相关技术文档的审核工作。

l 参与规划PLC智能灯控系统和其它灯控系统的技术产品路线;制定并实施灯控系统与智能家居系统融合的技术方案。

l 参与其它有线和无线智能照明系统相关的技术预研和产品开发。

跟踪行业技术趋势,制定并执行有针对性的竞品分析方案,并对市场部和采购提供技术支持。

大数据开发工程师的基本职责 篇13

职责:

1、负责产品开发中涉及到的数据库创建、维护及提供数据接口。

2、负责产品的数据库表设计与管理,完成数据库的备份、恢复与故障处理。

3、对现有数据进行分析并编写处理脚本。

4、数据库性能优化,通过分析现有逻辑及需求调整数据库参数、应用程序SQL语句等,保持数据库在状态下运行。

任职要求:

1、本科以上学历,计算机相关专业毕业;

2、至少两年以上MYSQL数据库管理开发工作背景, 熟悉数据库的结构设计,存储过程开发

3、精通数据库设计、优化、疑难问题解决。熟悉MYSQL服务器性能优化、备份、恢复等操作

4、具备良好的沟通表达能力和服务意识,较强的团队合作意识,快速处理突发事件的能力。

5、良好的抗压能力,勇于接受有挑战的工作,良好的学习接受能力。