MLOps是什么|面向IT护照考试整理的机器学习模型运维自动化
MLOps(机器学习运维)的概念、与DevOps的区别、数据与模型管理、A/B测试等,面向IT护照考试进行整理。
MLOps是什么
MLOps(Machine Learning Operations)是指将机器学习模型从开发到运维进行自动化和高效化的方法。作为DevOps的机器学习版本,它从2018年左右开始普及。为了解决机器学习研究虽有进展但实际运维困难的问题而诞生。
为什么需要MLOps
机器学习特有的课题
机器学习存在特有的课题。随着时间推移数据趋势发生变化,导致模型精度下降的数据漂移成为问题。此外,还需要定期对模型进行重新训练。为了重现相同的结果,必须记录数据、代码和环境的所有信息。新旧模型的比较通常采用A/B测试。
MLOps的主要构成要素
数据管理
在数据管理中,使用DVC等工具进行数据版本管理,以及自动收集和预处理数据的管道非常重要(参考NoSQL与大数据)。
模型管理
在模型管理中,使用存储和管理已训练模型的模型注册表,以及记录精度、训练条件和数据集的模型元数据。
部署与运维
在部署与运维中,进行将模型作为API公开的模型服务、在生产环境中比较新旧模型的A/B测试,以及检测精度劣化(漂移)的监控。
重新训练
重新训练会按照定期计划或在检测到漂移时自动执行。
DevOps与MLOps的区别
| 视角 | DevOps | MLOps |
|---|---|---|
| 对象 | 应用程序代码 | 数据、模型、代码 |
| 版本管理 | 仅代码 | 代码 + 数据 + 模型 |
| 测试 | 单元测试、集成测试 | + 数据质量、模型精度 |
| 可重现性 | 相对容易 | 受数据和随机数影响较难 |
| 监控 | 运行率、错误 | + 模型精度、数据漂移 |
代表性工具
代表性工具包括:用于实验管理和模型注册表的MLflow、Kubernetes上的ML管道的Kubeflow、用于实验追踪的Weights & Biases,以及云端ML平台的Vertex AI和Amazon SageMaker等。这些工具支持MLOps的各个阶段。
IT护照考试的出题要点
在IT护照考试中,MLOps的目的(ML运维的自动化)、与DevOps的区别、数据漂移与模型重新训练、A/B测试等是高频考点。请重点学习这些要点。
历年真题的典型模式
- “实现机器学习模型运维自动化的方法是哪一个”型 → MLOps
- “导致模型精度下降的数据趋势变化是哪一个”型 → 数据漂移
相关术语
学习技巧
请将MLOps简洁地记忆为“DevOps + 数据与模型管理”。理解数据漂移的概念,并掌握主要构成要素(数据管理、模型管理、部署、重新训练)这四点,效果会更佳。
总结
掌握MLOps的目的、与DevOps的区别以及主要构成要素,就能在相关题目中稳定得分。若要全面练习技术类内容,请前往技术类汇总;若要体验正式考试形式,请进入模拟考试。
関連記事
AI・机器学习基础|IT护照考试高频关键词整理
整理AI、机器学习、深度学习的关系,监督学习/无监督学习/强化学习的区别,以及生成式AI、LLM等IT护照考试中涉及的AI相关术语。
5G是什么?|面向IT护照考试整理的4G差异与活用案例
针对IT护照考试,整理了5G(第5代移动通信)的三大特征(高速、低延迟、多设备同时连接)、与4G的差异,以及在自动驾驶、远程医疗中的应用。
算法与计算量|面向IT护照的O记法及搜索·排序基础
整理面向IT护照考试的算法基础、线性搜索·二分搜索、冒泡排序·快速排序、计算量的O记法。