每家公司和高管都在谈论通过AI/ML加速他们的成功步伐。但现实与愿望之间有着巨大的差距。对于大型科技公司,他们正通过大量的投资来填补这个鸿沟:招聘数据科学家、ML工程师、MLOps从业人员以及其他一系列非常高薪的职位和角色,并将他们安置在新的部门或AI卓越中心(AI CoE,人工智能卓越中心)里。
这个新的 CoE 看起来和它旁边的那个软件工程组织很相似。这其实并不令人惊讶,因为许多困扰 AI/ML 开发的问题都是几年前软件开发中遇到的问题:如何有效协作,如何在不同团队和环境下重现实验,如何确保项目的安全,如何知道知识产权的来源等等。
认为公司需要从零开始组建全新的团队来解决AI/ML方面的问题……这真是有点奇怪。为什么我们不能利用多年来在软件开发中积累的经验和解决方案呢?
咱们可以……也应当。
关键是分辨现有基础设施、工具和流程中哪些部分可以适应AI/ML的需求,哪些部分确实需要全新的方法。
AI/ML项目打包和版本管理在重现一个AI/ML项目时,对于所需的各类工件的打包及版本控制,目前没有统一的标准。
这太疯狂了——在技术的其他领域,都有基本的标准,使团队能够用不同的工具合作:容器、PDF、TAR,还有很多其他例子。
没有这,管理AI项目生命周期的工作变得更难,失败的风险也更高。
我们创建了KitOps来解决这个问题,它是一个专为AI/ML项目设计的开源、标准打包和版本控制系统。KitOps利用现有的软件标准和规范,因此,您的DevOps/SRE团队可以利用他们在容器化应用程序上的工具和流程,同样适用于AI/ML项目。
KitOps 让 AI 团队可以将 AI/ML 模型、数据集、代码和元数据打包成所谓的 ModelKit。这个 ModelKit 是一个带有版本控制的捆绑包,可以发送到预发布环境、用户验收测试 (UAT) 或生产环境。对于 DevOps 和 SRE 团队来说,这意味着他们可以像管理任何其他生产组件(如容器或微服务)一样管理 AI 模型。
对于使用容器和企业注册表的公司而言,KitOps 是一个无缝的契合。KitOps ModelKits 使用 OCI 标准——因为当已有标准适用时,没有必要创造一个新的标准。通过 KitOps,DevOps 和 SRE 团队可以在同一个注册中心管理 AI 资产,如模型、数据集、代码和元数据,就像管理其他制品一样。
让我们来看看KitOps如何优化AI/ML流程并解决公司在采用机器学习时遇到的一些独特挑战。
将KitOps集成到您的CI/CD管道中后,您可以自动部署AI模型。这既可以由模型开发团队手动触发,也可以在模型或其相关工件发生变化时自动触发。这里就是为什么这很重要:
对于正在尝试AI/ML的公司而言,这是使用KitOps的第一步,但许多人希望能进一步扩大其应用范围。
安全性是首要关注点,尤其是在处理敏感数据或符合GDPR或HIPAA等合规要求时。结合开源的ModelScan工具,KitOps能够允许您的团队在模型从开发阶段推广出去之前扫描模型中的潜在漏洞,并将它们打包成一个不可篡改的ModelKit。
安全意识强的团队可以创建精选的ModelKit,通过从像Hugging Face这样的公共库中提取经过验证的模型,扫描这些模型并将其存储在企业注册表中的ModelKit下。这确保组织内部仅使用经过验证和不可篡改的模型。这种级别的安全性不仅能让人安心,而且在受严格监管的行业中也越来越重要。
一旦该模型通过扫描验证,它会被打包并签名成为ModelKit,确保其在传输过程中不会被篡改。
对于希望让其人工智能运营成熟或符合严格合规要求(例如欧盟的要求)的公司来说,KitOps 可以贯穿整个 AI 项目生命周期。您不必等到生产阶段,而可以在开发阶段就开始使用 ModelKits。
这种方法能搞定很多常见难题:
最好的一点是,此过程可以通过KitOps CLI自动化,这意味着你们的团队不需要手动跟踪每个更新或模型变更。
我们来看看一个典型公司是如何在从开发到生产的过程中使用KitOps的。
kit -t registry.gitlab.com/chatbot/legalchat:tuned
运行这个命令,推送容器镜像至GitLab仓库: kit push registry.gitlab.com/chatbot/legalchat:tuned
这确保了所有模型、数据集和代码都被版本化,并安全地存储在集中位置。
kit pull registry.gitlab.com/chatbot/legalchat:tuned
他们测试服务的集成情况,重点关注性能和不同模型版本间的任何变化。
解包 registry.gitlab.com/chatbot/legalchat:tuned 并加载模型和数据集
challenger
并推送到CI/CD管道中。标签 registry.gitlab.com/chatbot/legalchat:tuned registry.gitlab.com/chatbot/legalchat:challenger
运行工具包推送 registry.gitlab.com/chatbot/legalchat:challenger
部署团队监控新challenger
模型在生产环境中的运行情况,如果表现良好,他们就会将其标记为champion
。如遇问题,可轻松回滚到之前的模型。
采用 AI/ML 并不一定要增加新的团队和基础设施。KitOps 提供了一个结构化、安全且可扩展的解决方案,用于管理整个 AI 项目的生命周期,从始至终。它能与现有的容器基础架构无缝结合,采用开放标准,并提供了关键的安全和审计功能,帮助您的团队保持合规和高效。