大数据开发工程师
大数据开发工程师的分类与职责,细分职业介绍。
大数据开发工程师的分类与职责,细分职业介绍。

数据运维工程师


①协调机器资源,采购、缩减、预算等等。


②集群组件的维护、升级。


③处理集群和用户的各种问题...


④如果公司采购了阿里/网易这样的数据平台,就会很省心。


数据平台开发工程师


①开发面向数据开发使用的工具,比如元数据系统、数据质量、数据采集、数据计算平台、任务调度平等。自研或者基于开源的项目进行二次开发。


②开发面向产品和数据分析师的工具:数据报表平台、数据分析平台、数据查询平台(AdHoc)等。


③需要熟悉Web后端开发语言,比如Java/Go等,熟悉大数据开源组件,可以进行二次开发等。


数据仓库工程师


①离线数仓的开发,比如数仓建模、数据清洗。


②实时数仓:实时指标的开发,使用Spark Streaing Flink。


③主要是写SQL(离线 实时开发平台)需要理解业务,开发业务报表。


④需要业务能力,根据业务数据进行建模。


数据测试工程师


①一般公司没有这个岗位,大概率由开发工程师进行自测。


②测试数仓开发的指标逻辑、数据的准确性。


③测试业务埋点上报的准确性等。


数据分析师


不同的公司也有些不同的叫法:比如阿里的BI,美团的商分


①临时取数:比如大型活动,某一次运营活动等数据查询分析。


②日报、周报、月报、季报、年报、报表等等。


③专题分析,比如用户画像分析、ROI分析、风控分析、指标体系的搭建等


④市场分析,比如要做竞品分析、渠道分析、行业分析等等。


⑤编写数据分析报告。


数据挖掘师


①用户基础研究,用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等。


②个性化推荐算法:基于协同过滤(USERBASE/ITE MBASE)的推荐,基于内容推荐,基于关联规则Apri ot算法推荐,基于热门地区、季节、商品、人群的推荐等。


③风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型;电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型);金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)。


④ 文本挖掘、语义识别、图像识别,等等。


算法工程师


①语音、图像、自然语言处理、深度学习等机器学习算法开发及优化。


②挖掘并推进算法在业务中应用:比如美团外卖的配送算法、滴滴打车的派单算法。


③ 推荐系统、用户画像。


数据产品经理


①协助公司各业务方向大数据应用产品调研、规划、执行。


②数据产品的开发项目管理工作,确保项目按照需求如期完成。