KitOps:人工智能/机器学习模型与DevOps之间的桥梁
昨天,Jozu 的首席执行官兼KitOps维护者 Brad Micklea 做客了 Sean Falconer 主持的 Partially Redacted 播客节目。这段 45 分钟的对话(点击此处收听)内容丰富。他们重点讨论了KitOps 项目的现状、未来发展方向,以及我们关于 Jozu 产品化和发布的一些早期想法——Jozu 正是基于 KitOps 构建的。
在这篇文章中,我想更深入地探讨一下其中的一些话题。
我们开发 KitOps 的初衷是,将 AI/ML 模型部署到生产环境是一项复杂且充满挑战的工作,需要针对 AI 运维需求而定制的工具和基础设施。然而,这其中存在一个平衡点。企业并不希望为 AI/ML 模型的开发、部署和维护建立一套完全独立且并行的工具链。他们已经在现有的 DevOps 工具中完善了安全性和合规性保障措施。遗憾的是,这些工具并非为处理 AI 项目的大型文件和动态(且会衰减)特性而设计的。几年前这还不是问题,但随着 AI 和机器学习的不断发展和应用范围的不断扩大,我们意识到需要一些工具来连接 AI 的数据科学和实验领域与软件工程和 DevOps 的生产领域。KitOps 的 ModelKits 和 CLI 正是为此而设计的,它们提供了一种高效、可扩展且用户友好的方式来打包、共享和部署 AI 模型。这朝着正确的方向迈出了一步,但这仅仅是第一步,我们还有很长的路要走。
人工智能/机器学习的工具和基础设施挑战
部署 AI/ML 模型不仅仅是编写和测试模型代码。它需要一个能够支持模型整个生命周期(训练、打包、验证、部署、运行和重新训练)的技术栈。在这个过程中,模型会在多个团队之间多次传递。ModelKits 和 Kit CLI 通过生成与 OCI 兼容的软件包来简化这一过程,该软件包可与您现有的工具配合使用,无需将模型重新打包成多个供应商特定的格式。
这样做的好处显而易见。ModelKit 将所有必要的组件(包括数据、配置和依赖项)打包在一起,确保部署在所有环境中保持一致且可复现。它还简化了模型协作。此外,模型的每个方面,从代码到数据集,都受到版本控制。ModelKit 一旦创建,便不可更改且防篡改,从而确保任何未经授权的更改都不会影响部署。
Jozu是什么?它在这一切中扮演什么角色?
我们还没怎么谈到Jozu。一直关注我们故事的朋友都知道,Kit的概念源于我们创建Jozu(V1)这家初创公司时部署模型的亲身经历。说来话长,但最终Jozu(V1)转型,专注于Kit的发布和产品化(从现在开始,我们将讨论Jozu V2)。
如今,Jozu公司让我们能够全身心投入到 Kit 的研发工作中。
展望未来,我们对 Jozu 有着宏伟的计划。自 KitOps 发布以来,我们收到了来自设计合作伙伴的大量宝贵反馈,其中许多已被纳入 KitOps 的产品路线图,部分反馈则属于企业级应用场景。Jozu 的最终目标是构建企业大规模部署 KitOps 并使其与他们精心完善的流程无缝衔接所需的基础设施。
Jozu的下一个重要举措是推出一个公共平台,用于共享和访问模型套件(ModelKits)。用户可以免费使用并存储自己的模型套件。该平台将促进社区协作,使开发者和公司能够分享他们的解决方案和改进,从而推动整个行业的创新,而无需担心彼此使用的工具。
对于企业用户,我们计划提供私有存储库,供他们存储其专有的 ModelKit 和自定义安装程序,使企业能够在防火墙后安装和运行 Jozu 的基础架构,从而确保他们能够维持最高级别的数据隐私和安全。
除此之外,我们还在探索其他途径,围绕溯源、安全、监控和平台集成等方面为企业创造价值。我们将持续关注这些功能的进展,并及时向您汇报。
目前,我们很高兴看到 KitOps 持续获得支持,并感谢每一位抽出时间向我们提供产品反馈的用户。您可能难以置信,我们会讨论并记录与 KitOps 用户的所有对话,这也导致我们收到大量新的工单。如果您有兴趣了解我们的进展,我们诚邀您加入我们的 Discord 服务器,参与 KitOps 项目。
此致,
jw