导读：Anthropic内部95%业务分析交给给Claude，秘诀并不在更强的大模型。

该报告详细指出道，人工智能分析的可靠性取决于底层数据平台的质量，因此数据建模、测试、元数据管理和质量检查对于确保准确性至关重要。

Chang Chen、Clement Peng、Justin Leder、Johanne Jiao和Josh Cherry 共同撰写了以下报告：

在 Anthropic，95% 的业务分析查询都通过 Claude 实现自动化，总体准确率约为 95%。通过将这些通常繁琐重复的工作交给 Claude，我们的数据科学团队可以专注于更具战略意义的工作，例如因果建模、预测与机器学习。

Anthropic 指出说，人工智能分析更多地依赖于一套受监管的、规范的、标准明确的数据集、集中式的数据工件以及维护良好的元数据，而非模型本身。

这些因素可以减少歧义，防止指标漂移，并帮助人工智能系统找到正确的数据和定义。

作者在报告中称，Claude 在不具备相关技能的情况下，仅正确回答了21%的分析问题。在将分析工作流程和业务背景编码为技能后，总体准确率提升至95%以上，在某些领域甚至接近99%。

Anthropic 的方法旨在解决一个常见的分析难题：自助式访问可能导致数据集重叠和指标定义冲突，而范围狭窄的报告环境往往无法支持长尾业务问题，并导致仪表盘泛滥。数据科学和数据工程团队的五名成员写道：

如果说数据基础是数据仓库本身，那么数据源就是代理用来浏览数据的参考界面。这一层减少了概念与实体之间的歧义，并将利益相关者问题中的“每周活跃用户”转化为数据模型中一个具体的、受控的实体。

分析设置由四层构成：数据基础（受管模型、指标和元数据）、知识层（语义定义、血缘关系和业务背景）、编码可重复分析工作流的技能，以及验证输出正确性和一致性的验证系统。

该公司这样总结道，成功的AI分析取决于三个原则：维护单一的指标数据源、确保用户能够轻松找到正确的数据，以及持续检测过时的定义。数据界的反应不一，一些人强调开放性，而另一些人则认为分析结果应该具有确定性和幂等性。Untitled Data Company的所有者兼BI/数据架构师Francesco Mucio写道：

我看到很多人对 Anthropologie 那篇关于他们如何进行自助式分析的文章持不太好的看法。我想把事情解释清楚。他们是怎么做到的？通过语义层。他们的数据基础是一个维度模型，但他们并不直接查询表，而是运用分析技能，首先利用语义层来确定维度、指标定义和连接关系。

Anthropic 认为语义指标、溯源、查询模式和业务上下文是分析代理的关键信息来源。结构化定义比原始查询历史记录更重要，而人工编写的文档仍然至关重要。自动化质量保证工程师 Arsenii Antonenko评论道：

有趣的是，越来越多的实际部署都指向同一个结论：人工智能的性能往往较少受到模型能力的限制，而更多地受到上下文定义的限制。

Anthropic 的文章附录提供了一个经过删减的技能文件模板，用于指导分析代理。

作者：场长