17611538698
webmaster@21cto.com

英伟达、Palantir、Hugging Face 等 30 家公司成立安全联盟,共同保护开源人工智能免受网络威胁

安全 0 14 1小时前
图片

21CTO导读:NVIDIA 与 Palantir、SpaceX 和 Hugging Face 等超过 35 家科技公司开始合作,共同成立了“开放安全 AI联盟(Open Secure AI Alliance)”。该联盟旨在提高开放源代码 AI 的安全性,防止由 AI 驱动的潜在攻击,并确保 AI 技术的稳定发展与应用繁荣,旨在使开放权重模型成为网络安全资产,而不是负担。

目前业界围绕开源软件开源人工智能模型的使用,正在展开激烈的讨论,大家好像在合法开放与可能构成盗窃并造成新的网络安全漏洞的行为之间产生了分歧

为了直接解决这些普遍关注的问题,33 个科技或互联网公司于周一宣布成立新的开放安全人工智能联盟,并阐述了该新成立的机构将如何开发技术和工具,通过快速识别和修补漏洞来保护软件。

开放安全人工智能联盟的创始合作伙伴 


我们将开放安全人工智能联盟的首批合作伙伴名单罗列如下:

Nvidia、Adobe、Cadence、Capital One、Cisco、Cloudera、Cloudflare、Cognition、CrowdStrike、Databricks、Dell Technologies、DoorDash、Elastic、HPE、Hugging Face、IBM、LangChain、Linux 基金会、Microsoft、NetApp、Nous Research、OpenClaw、Palantir、Palo Alto Networks、Salesforce、ServiceNow、Snowflake、Synopsys、Thinking Machines Lab、TrendAI、Red Hat、Reflection AI 和SpaceXAI。

大家可以看到,这份名单汇集了科技界一些最具影响力的公司。

但是,也包括两个值得注意的例外:OpenAI 和 Anthropic,这两家公司其实都是封闭的专有人工智能实验室,但它们也加入了。按正常逻辑,它们在此联盟上缺席可以理解,因为其运营的是封闭式实验室,开源人工智能模型实际上是它们的竞争对手,这倒是一件奇特的事情。

此次联盟的成立源于OpenAI的一个智能体失控,并对Hugging Face发起网络攻击的事件。而OpenAI直到威胁已经被控制、FBI接到警报后才发现此次黑客攻击。

英伟达表示,由于封闭式AI工具无法区分攻击者和防御者,阻碍了Hugging Face的取证工作,该公司转而使用自托管的开源中国模型GLM 5.2来分析超过17000个动作,从而控制了入侵行为。

多个联盟成员已经贡献出各自的工具。微软的 MDASH 工具集利用多个 AI 代理来查找并验证可利用的软件漏洞。SpaceXAI 已将其 Grok Build 编码代理开源,并表示计划开源其 Grok 模型系列的权重。HPE 正在为 AI 代理构建零信任身份框架,而 Hugging Face 已将其 Safetensors 模型权重格式提供给了 PyTorch 基金会。

英伟达企业平台副总裁贾斯汀·博伊塔诺如此解释说,开放权重模型是美国人工智能领导地位与网络安全的基础。 

博伊塔诺还表示道:“为了保持美国在人工智能产业革命中的领先地位,支撑我们经济运行的基础设施,需要安全可靠地访问封闭模型和开放模型。对于网络安全而言,开放模型和开放框架至关重要,因为它们可以扩展防御能力,提高防御者的透明度,并以可定制的本地化控制措施来补充前沿的封闭模型。”

随着监管机构正在努力应对人工智能安全问题,博伊塔诺还预测道,“将开放模型和开放工具视为防御性资产”将非常重要——从而实现透明度、独立评估和共同补救。

任何人都不能获取下载的权重文件


技术与咨询公司The Enterprise Edge的创始人兼首席执行官马克·维戈罗索(Mark Vigoroso )说,人工智能监管机构传统上“围绕对少数封闭实验室的审计构建了整个人工智能安全机制”。

而现在,这种方法已然过时了。

维戈罗索表示:“开放式权重模型几个月前就超越了封闭式模型。此次联盟的建立表明,真正的安全工作现在必须在基础设施层进行:补丁周期、溯源、部署者身份识别,因为没有人可以去获取下载的权重文件。”

“安全联盟承认,现在真正的安全工作必须在基础设施层进行:补丁周期、溯源、部署者身份识别,因为没有人可以获取下载的权重文件。”

维戈罗索还认为,人工智能安全辩论“陷入了模型层面的控制”,而真正的监管缺口在于基础设施和身份的来源,即需要了解模型的来源、部署模型的人以及模型接触过什么,而不仅仅是模型本身是否安全。

欧盟人工智能办公室、美国国家标准与技术研究院人工智能标准与创新中心(CAISI)以及英国人工智能安全研究所(AISI)等机构几乎完全专注于前沿的封闭模型。开放权重模型(如 Mistral、DeepSeek 等)则处于监管盲区:一旦权重发布,就无法强制执行下游的安全义务。”

当前的人工智能模型监管框架假定只有一个负责的部署方;而开源软件则没有这样的假设。维戈罗索指出,这是当前问题的症结所在:监管机构制定的规则是针对中心化体系的,而生态系统却在走向去中心化。

目前还没有详细的操作信息来解释该联盟的预期行动。

英伟达强调,它正在为开放安全人工智能联盟贡献扎实的研究,以加速开发新的网络安全工具与相关技术,以使测试工具与模型集成,使代理更容易进行测试。

英伟达实验室面向对象代理 (NOOA) 开源项目现已在 GitHub 上发布,旨在让代理框架更容易地使用高级 AI 安全功能。该研究框架使框架能够与模型集成,从而简化代理行为的测试、追踪、审计和管理。

GitHub:https://github.com/NVIDIA-NeMo/labs-OO-Agents

身份验证和端到端加密公司Atsign的首席执行官Aparna Rayasam这样表示说
:“人工智能闪电战的讨论已经到了一个关键的转折点。” 

此时此刻,我们不能再在 Rayasam 所说的“漏洞百出的传统基础设施”之上构建下一代开放式认知创新。

“人工智能闪电战的讨论已经到了一个关键的转折点。”

“开放安全人工智能联盟的成立证明,人工智能安全不仅仅是一个算法数学问题,更是一个基础性的网络问题,”Rayasam说,“训练和运行现代人工智能所需的大规模分布式管道,需要一种全新的信任范式。真正的安全意味着确保为这些模型提供数据的数据管道本质上是不可见的、不可攻击的,并且完全没有开放的网络边界。”

这里的关键概念是,我们正在从一个保护静态数据的世界,过渡到一个人工智能的连接组织必须从设计上就保证安全的世界。 

一家人工智能供应商就能保障所有安全?


代理身份和权限安全公司Reco 的创始人兼首席产品官Gal Nakash这样回答道开放安全人工智能联盟的成立是一个“重要信号”,它强调了为什么人工智能安全不能由一个供应商或一个封闭的框架来解决。 

“黄仁勋提出的‘所有SaaS公司最终都会转型为GaaS公司’的观点,恰恰说明了为什么这个问题现在如此重要:软件正在从用户被动登录的工具,转变为能够访问数据、执行操作和工作流程的AI代理,”Nakash说,“开源工具和共享标准可以帮助行业更快地发展,但它们必须立足于真实的企业环境,涵盖身份、权限、数据访问和行为等方面。”

自动化身份驱动型微隔离公司Zero Networks的首席技术官Chris Boehm,开放安全人工智能联盟的消息让他感觉似曾相识。

“这看起来就像微软可信平台模块(TPM)的故事在重演,”Boehm说道。“行业组织定义了可信硬件的含义,平台供应商采纳了这一定义,几年之内,它就从建议变成了采购要求。”

他解释说,“Windows 11 通过 TPM 2.0 和安全启动做到了这一点”,Linux 和苹果也都进行了相应的调整。“我预计人工智能基础设施也会如此,经过认证的芯片将成为受监管工作负载的最低标准,供应商名单将缩小到能够满足这一标准的厂商,”Boehm 如此预测道。

“这看起来像是一个行业组织定义了可信硬件的含义,平台供应商采纳了这一定义,几年之内就变成了采购要求,而不是建议。”

需要采取更具全球性和地域包容性的方法。 


开放技术机构OpenUK的首席执行官Amanda Brock如此表示道:开放人工智能联盟是一个很好的起点,尤其是在OpenAI公司上周披露了其安全问题之后。 

“但是,就像那封关于美国在公开重量级比赛中领导地位的公开信一样,这是美国对自身挑战的回应,”Brock说。“关于总统即将签署行政命令关闭公开重量级比赛的传言已经流传了好几周。而中国的Kimi K3事件让政府陷入混乱,更加剧了这种传言。” 

Brock坚持认为,要让这一联盟取得成功,就需要采取更加“全球化和地域包容性的方法”,而不仅仅局限于以美国为中心的创始机构成员。

“它须与构建人工智能基础设施、智能体功能和开发者工具的个人和创新者组成的开源生态系统进行互动。重要的是要认识到,开放的人工智能基础设施开发将创新权转移到了大众手中,这与少数企业创造前沿模型的局面截然相反,”Brock补充道。

英伟达的Boitano 也同意此观点。他在一篇博文中写道:“开放式模型能将更多人工智能用户转化为人工智能构建者”,从而扩大机遇、加速创新,并防止技术进步集中在少数组织或地区。

Boitano总结,开放模型还能促进对人工智能系统行为的独立科学研究,使研究人员能够理解、评估和改进它们。这一切都是为了实现他所说的广泛、持续的防御。
结语

展望未来,下一波人工智能安全机构、运动或联盟似乎不仅仅是模型审计机构,它们还将成为信任基础设施标准机构(涵盖身份验证、内容溯源、可信度等),并借鉴现有的治理和合规方法。

最终,这或许是唯一能在开源软件泛滥的情况下幸存下来的执法层。

作者:洛逸

评论

我要赞赏作者

请扫描二维码,使用微信支付哦。

分享到微信