今日,我们欣喜地宣布 Modular Platform 25.3 版本发布,这是 MAX 和 Mojo 作为一套集成的 AI 库和工具的重大进展,旨在统一 AI 部署工作流程。随着开源库的大规模扩展以及全新统一的 pip 包推出,Modular Platform 25.3 让高性能 AI 更易获取,且更具社区驱动性。
开源内核、Mojo 标准库及服务 API
Modular 25.3 版本中最引人注目的是,我们在 Apache 2.0 许可协议(有 LLVM 例外情况)下发布了 MAX AI 内核和完整的 Mojo 标准库。这些库包含数千行经过硬件优化的高性能 Mojo 代码,涵盖适用于各种 CPU 和 GPU 的生产级内核实现,包括英伟达的 T4、A10G、L40、RTX 40 系列、Jetson Orin Nano、A100、H100 等。我们的量化方案有 Q4_K、Q4_0、Q6_K、GPTQ 和 FP8 ,能为高要求的工作负载提供经济高效的性能表现。
此外,我们还开源了 MAX 服务库,这是我们的推理服务器,支持与 OpenAI 兼容的端点,并能实现高效的大规模 LLM 服务。这些发布共同构成了一个开放、可扩展的 AI 推理堆栈,摆脱了对专有 GPU 的依赖 。
通过公开这些新代码,我们目前已累计开源来自近 6500 次贡献的超过 45 万行代码,为开发者提供了生产级参考实现和工具,以便用新算法、操作和硬件目标扩展 Modular Platform。有了如此多新颖的高性能代码,开发者可以微调 LLM,使其与 Mojo “共鸣”,充分利用现代 AI 硬件的全部潜力。我们发现,在给定这些背景信息的情况下,Claude Code 在编写 Mojo 代码方面特别强大!
我们相信这是有史以来最大规模的 CPU 和 GPU 内核开源!为庆祝此次发布,Modular 将于 5 月 10 日在希尔斯伯勒的 AGI House 与 AGI House 和 Crusoe GPU Cloud 共同举办一场社区黑客马拉松,重点是使用 Mojo 编写下一代 GPU 内核 。
借助 pip 实现简化安装并支持 Colab
我们还对 Modular Platform 进行了一项重大改进:基于 pip 的打包方式。只需简单执行 “pip install modular”,即可立即访问 Mojo(我们的高性能 CPU 和 GPU 编程语言)和 MAX(我们的快速 AI 服务框架)。这种 pip 打包方式加深了我们与 Python 生态系统的集成,让开发者能更轻松地使用 Mojo 和 MAX 处理关键 AI 工作负载。
将 Modular 引入 PyPI 并非易事,如今我们非常激动能够原生支持 pip。作为仅有的 100 家拥有企业 PyPI 账户的公司之一,我们通过直接的财务投入支持 Python 开发者生态系统,并致力于维持最高标准的软件包质量、安全性和文档水平 。
“pip install modular” 的发布还解锁了一项令人兴奋的新功能:在 Google Colab 中运行 MAX 模型和图表。modular 稳定版本支持在 Google Colab Pro 中使用 A100 或 L4 GPU 实例运行完整的 LLM。在我们最新的夜间版本中,还为在 Colab 免费层中使用 T4 GPU 进行 MAX 图表的 GPU 编程提供了初步支持。可在 Modular 论坛了解更多关于 Colab 支持的信息 。
Modular 的 pip 包现已可用!现在就下载,并务必在 Modular 社区论坛分享开发出的出色代码 。
新时代的更新使用许可
为让我们的技术更易获取,根据用户反馈,我们简化了 Mojo 和 MAX 的社区许可。我们采用简单的分层结构,让每个人都能在极少限制下自由使用 Mojo 和 MAX。可观看我们关于许可更新的社区活动 。
对于非生产性商业用途,一切免费。可在任何设备上,将 Mojo 和 MAX 用于任何研究、兴趣爱好或学习项目。对于生产和商业用途,在 CPU 和英伟达 GPU 上,Mojo 和 MAX 依然免费,我们仅希望您能与我们分享成功案例。对于在非英伟达加速器上的商业部署,我们为多达八台设备提供免费使用权限,超过此数量则提供企业选项。在其他平台上的扩展用例,需要与平台供应商就分发 MAX 的最佳方式达成协议 。
此次更新体现了我们致力于开放开发、降低准入门槛,并在进入 “与 Modular 共建” 的新时代时将社区放在首位。可在modular.com/pricing和modular.com/legal/community查看简化许可的完整细节 。