+8613426109659
webmaster@21cto.com

Mozilla.ai 发布了 LLM 的通用接口

资讯 1 144 1周前
图片

导读:开源 Python 库 any-llm 发布,允许开发人员在云端和本地模型提供商之间切换,而无需重写代码。

由 Mozilla 基金会支持的 Mozilla.ai (https://mozilla-ai.github.io/any-llm/providers)公司发布了 any-llm v1.0,这是一个开源的Python库,它提供了一个统一的接口,用于与不同的大语言模型(LLM) 提供商进行通信。

any-llm 1.0 于11 月 4 日发布,可在 GitHub 上获取。借助 any-llm,开发者可以使用任何模型,无论是在云端还是本地,而无需每次都重写技术栈。Mozilla.ai 的机器学习工程师 Nathan Brake 在一篇博文中写道,这意味着更少的样板代码、更少的集成难题,以及更大的灵活性,让开发者能够选择最适合自己的方案。“我们希望让开发者能够轻松使用 任何 大型语言模型,而无需局限于单一的供应商,”Brake 写道。

Mozilla.ai 于7 月 24 日首次推出了 any-llm。Brake写道,1.0 版本拥有稳定一致的 API 接口、异步优先的 API 以及可重用的客户端连接,适用于高吞吐量和流式传输场景。此外,还提供了清晰的弃用和实验性功能通知,以避免 API 变更时出现意外情况。

图片

any-llm v1.0 版本新增了以下功能:

  • 提高稳定性和可靠性的测试覆盖率
  • 响应 API 支持 
  • 一个用于以编程方式查询每个提供商支持的模型的列表模型 API。
  • 可重用的客户端连接可提高性能
  • 所有模型均采用标准化的推理输出,使用户无论选择哪个提供商,都能访问 LLM 推理结果。
  • 自动更新提供商兼容性矩阵,该矩阵显示哪些提供商支持哪些功能。


未来的计划包括支持原生批量完成、支持新的提供商,以及与公司其他“any-suite”库(包括 any-guardrail、  any-agent和 mcpd)进行更深入的集成。

相关地址:

https://github.com/mozilla-ai/any-llm

https://github.com/mozilla-ai/any-guardrail

https://github.com/mozilla-ai/any-agent

https://github.com/mozilla-ai/mcpd

祝大家顺利。

作者:场长

评论

我要赞赏作者

请扫描二维码,使用微信支付哦。