数据科学家与数据工程师|面向IT护照考试梳理角色差异
面向IT护照考试,梳理数据科学家、数据工程师、数据分析师的角色差异、所需技能以及数据活用人才的职业发展路径。
与数据活用相关的职位
近年来,数据的数量和复杂性急剧增加。因此,专门处理数据的人才不可或缺。主要职位包括数据科学家、数据工程师和数据分析师这三类。这些角色虽有重叠之处,但其职责范围存在明显差异。
三类职位的角色对比
| 职位 | 主要角色 | 所需技能 |
|---|---|---|
| 数据科学家 | 构建机器学习模型、从数据中挖掘价值 | 统计学、机器学习、商业理解 |
| 数据工程师 | 数据平台的设计、构建与维护 | SQL、ETL、云计算、分布式处理 |
| 数据分析师 | 数据分析与报告制作 | SQL、可视化、商业分析 |
数据科学家
数据科学家运用统计学和机器学习方法解决商业课题。具体工作包括构建流失预测、需求预测以及推荐系统等。所需技能包括Python或R等编程语言、机器学习、统计学以及领域知识。需要均衡掌握“商业×统计×工程”这三个要素。
数据工程师
数据工程师负责设计、构建和维护用于数据收集、加工和存储的平台。例如,构建数据湖、数据仓库以及ETL管道是其主要工作。必备技能包括SQL、Spark、Hadoop、AWS/GCP、Airflow等。数据工程师承担着整理数据的角色,以便数据科学家能够专注于“易于使用”状态下的分析。
数据分析师
数据分析师利用数据进行业务改进、措施评估和KPI分析。具体例子包括营销效果测量和A/B测试分析。所需技能包括SQL、BI工具、可视化和统计学基础。作为业务方与技术方之间的桥梁,能够清晰易懂地传达分析结果的能力也至关重要。
共通技能:SQL
这三类职位共通且必备的基础技能是SQL。SQL是与数据库对话的语言,在所有处理数据的现场都会用到。详情可学习关系型数据库与SQL基础。
在DX背景下的定位
数据科学家和数据工程师是大数据和AI应用中的核心人才(参见什么是DX)。在经济产业省制定的“DX推进指标”中,人才保障也被定位为必需要素。然而,日本正面临严重的人才短缺,据经济产业省估算,到2030年预计将短缺最多79万人。
职业发展路径
职业发展的一个例子是从数据分析师晋升为数据科学家。在这种情况下,需要新学习机器学习。此外,也有从数据分析师转型为数据工程师,走向平台构建方向的道路。但需要注意的是,这些角色并非泾渭分明,根据组织不同,兼任的情况很多。
IT护照考试的出题要点
考试中会考察三类职位的角色差异、数据科学家的主要业务,以及所需技能与职位的对应关系。尤其要能够准确区分各职位所负责的业务范围。
历年真题的典型模式
- “从数据中挖掘价值的职位是哪一个”型 → 数据科学家
- “构建数据平台的职位是哪一个”型 → 数据工程师
相关术语
学习技巧
这三类职位可以用“分析(分析师)・模型(科学家)・平台(工程师)”这些关键词来整理,这样更容易记忆。此外,无论哪个职位,SQL都是必备技能,因此务必扎实掌握SQL基础。同时理解DX推进与人才短缺这一组合,在考试中也会有所帮助。
总结
在与数据人才相关的问题中,正确把握三类职位的角色和所需技能是得分的关键。希望全面练习技术类的考生请参考技术类汇总,想要进行实战模拟的考生请使用模拟考试。
関連記事
5G是什么?|面向IT护照考试整理的4G差异与活用案例
针对IT护照考试,整理了5G(第5代移动通信)的三大特征(高速、低延迟、多设备同时连接)、与4G的差异,以及在自动驾驶、远程医疗中的应用。
AI・机器学习基础|IT护照考试高频关键词整理
整理AI、机器学习、深度学习的关系,监督学习/无监督学习/强化学习的区别,以及生成式AI、LLM等IT护照考试中涉及的AI相关术语。
算法与计算量|面向IT护照的O记法及搜索·排序基础
整理面向IT护照考试的算法基础、线性搜索·二分搜索、冒泡排序·快速排序、计算量的O记法。