17611538698
webmaster@21cto.com

马斯克开源 X 平台的排名算法,以提高透明度与代码质量

开源 0 12 1小时前
图片

21CTO导读:X平台的个性化推荐和相关代码现已上传至 GitHub,大概30万行源代码。

伊隆·马斯克(Elon Musk)曾于7月份宣布,X将在近期开源完整的推荐算法。实际开源发布日期为7月末。该源代码库取代了2023年基于Scala写的旧版本的部分开源,取而代之的是一个完全用Rust和Python重新构建的版本。

本周四(8月13日),社交网络平台 X 再次大张旗鼓地宣布,其继续扩大开源代码库,其中包括该应用程序的“为你推荐”算法及其核心排名引擎,并增加了一项新功能,使用户能够查看他们的帐户或帖子是否受到其任何排名系统的影响。

该公司现已经在GitHub上以Apache v2许可证开源“为你推荐”时间线(即用户打开X应用时看到的默认信息流)的源代码,共30万余行。

图片

GitHub:https://github.com/xai-org/x-algorithm

此外,该公司还在扩大其此前开源部分代码库的措拖,并添加更多细节,包括模型配置、过滤器和核心排名系统等。这意味着它包含了用于对不同信号进行加权的参数——这对于理解实际显示哪些帖子至关重要。这也使得代码库的规模比以前大约扩大了10到15倍。

该存储库在昨天新增的功能是,配置参数公开和一个名为“幕后揭秘”(Under the Hood)的全新透明度工具,该工具可以显示帖子标签的统计信息。用户可以通过该工具了解特定内容被显示或隐藏的原因。

“你将能够获得核心排名代码。这些代码如何抓取帖子,为任何给定用户进行排名,并生成信息流,”X 平台的产品副总裁Keith Coleman在开源发布前表示。

“你可以看到过滤掉潜在问题内容和违规内容的系统……而且其中一些系统,例如排名器和评分系统,你甚至可以在公司外部自行运行。”

“我认为人们会对我们即将发布的内容感到非常震惊,”他这样补充。

图片

马斯克也确定式的跟贴,重申此次开源的目标。

图片

除了代码库之外,X 还提供了一些工具,让用户可以自行查看 X 的排名系统是否以及如何影响他们的帐户或帖子。一项新的透明度工具正在应用设置的“底层分析”页面中推出,该工具允许过去一个月内发帖 10 次或以上的用户下载其汇总统计数据的 JSON 文件。该文件将显示过去一个月内他们的帐户或帖子是否被应用了任何标签。

非技术用户可以将此信息导入他们选择的 LLM,将 AI 指向 X 的 GitHub 代码库,并请求解释,从而利用此信息。

该公司指出,该工具最初将作为试点项目提供给至少注册一年的测试账户组,然后再更广泛地推广。

图片

在正式发布前,该公司先向熟悉推荐系统的外部研究人员预览了其开源代码库,这些研究人员能够使用开源代码训练和运行 X 的 Phoenix 评分系统。科尔曼表示,这对于 X 的透明度工作而言是一个重要的里程碑。

开发者可以通过 GitHub 代码库提交更新(称为拉取请求),X 的工程师还会考虑将这些更新纳入其算法。虽然并非所有新增内容都会被采纳,但科尔曼对这个想法充满了热情。

“如果能有人提交代码来改进算法,那就太棒了……我的意思是,如果 X 算法不仅对公众可见,而且还能被公众使用,那该有多酷啊!”他说道。

算法如何决定你看到什么

该系统通过多阶段流程运行。首先,它从平台各处检索候选帖子,包括用户关注的账号、热门话题以及与用户之前互动过的内容相似的帖子。然后,排名模型预测用户与每个帖子互动的可能性,并据此进行排序。

排名模型优先考虑分享、评论和其他形式的积极互动。获得回复和转发的帖子会获得推广。而那些被举报、被静音或无法吸引眼球的帖子则会受到惩罚。

该算法的底层采用了先进的Transformer模型,特别是名为Phoenix的模型,该模型融合了xAI的Grok技术中的元素。

该管道还包括可见性过滤器、安全模块和分类层,旨在处理内容审核信号。2026 年 5 月 15 日的一次提交更新了 187 个文件中的 18000 多行代码。

透明还是作秀

然而,部分系统仍未包含在本次开源发布中,例如使用 Grok 预测帖子是否违反规则的系统。这样做是为了保护 X 免受恶意行为者的侵害,防止他们利用这些信息绕过公司规则,向互联网发送大量垃圾邮件。

这些改变旨在解决人们持续关注的关于 X 的算法如何影响政治、选举、虚假信息的传播等方面的问题。

多年来,该平台一直是政界人士和知名人士的聚集地。在被马斯克收购之前,Twitter 曾因缺乏透明度而饱受诟病。早些年,国会共和党人指责这家总部位于加州的社交网络过于左倾,并声称该平台对他们的帖子进行了“影子禁言” ——即在用户不知情的情况下,他们的帖子被隐藏或无法被找到。Twitter 一直否认存在这种情况。

Coleman 说:“我们的梦想是,任何公众都能评估帖子在平台上的分布情况,审查平台是否公平,如果他们认为不公平,可以提出批评,以便我们不断改进和解决问题。”

“这就是我们最终的目标:(代码)可以被审核,可以被批评。我们会听取意见,我们希望建立一个人们喜欢、信任且认为公平的系统,”他说。

尽管X可能正努力提高其代码和其他功能(例如众包事实核查系统“社区笔记”)的透明度,但可以说,在马斯克领导下,X在重新私有化后整体透明度反而降低了。由于不再需要向美国证券交易委员会(SEC)提交报告,X在其他方面,例如用户指标、增长、收入或政府下架请求等方面,也变得不那么公开透明,这些信息现在也很少被披露

结语

此次开源使 X 成为首批公开分享推荐系统源代码的主流社交平台之一。Meta、TikTok 和 YouTube 也都曾发表过研究论文和算法的概要描述,但没有一家在 GitHub 上发布过可供公众查看的可运行代码库。

作者:场长

评论

我要赞赏作者

请扫描二维码,使用微信支付哦。

分享到微信