导读:开源 Python 库 any-llm 发布,允许开发人员在云端和本地模型提供商之间切换,而无需重写代码。
由 Mozilla 基金会支持的 Mozilla.ai (https://mozilla-ai.github.io/any-llm/providers)公司发布了 any-llm v1.0,这是一个开源的Python库,它提供了一个统一的接口,用于与不同的大语言模型(LLM) 提供商进行通信。
any-llm 1.0 于11 月 4 日发布,可在 GitHub 上获取。借助 any-llm,开发者可以使用任何模型,无论是在云端还是本地,而无需每次都重写技术栈。Mozilla.ai 的机器学习工程师 Nathan Brake 在一篇博文中写道,这意味着更少的样板代码、更少的集成难题,以及更大的灵活性,让开发者能够选择最适合自己的方案。“我们希望让开发者能够轻松使用 任何 大型语言模型,而无需局限于单一的供应商,”Brake 写道。
Mozilla.ai 于7 月 24 日首次推出了 any-llm。Brake写道,1.0 版本拥有稳定一致的 API 接口、异步优先的 API 以及可重用的客户端连接,适用于高吞吐量和流式传输场景。此外,还提供了清晰的弃用和实验性功能通知,以避免 API 变更时出现意外情况。
any-llm v1.0 版本新增了以下功能:
未来的计划包括支持原生批量完成、支持新的提供商,以及与公司其他“any-suite”库(包括 any-guardrail、 any-agent和 mcpd)进行更深入的集成。
相关地址:
https://github.com/mozilla-ai/any-llm
https://github.com/mozilla-ai/any-guardrail
https://github.com/mozilla-ai/any-agent
https://github.com/mozilla-ai/mcpd
祝大家顺利。
作者:场长
本篇文章为 @ 场长 创作并授权 21CTO 发布,未经许可,请勿转载。
内容授权事宜请您联系 webmaster@21cto.com或关注 21CTO 公众号。
该文观点仅代表作者本人,21CTO 平台仅提供信息存储空间服务。
请扫描二维码,使用微信支付哦。