导读:新的研究表明,AI能够帮助成熟的开发者提高效率,但对于学习者来说,不论是初学者还是有经验人士,并不是很有利。
一项由人类学协会赞助的研究实验发现,开发者需要具备编程技能才能从人工智能工具中受益,但使用人工智能辅助的初级开发人员掌握技能的速度比不使用人工智能辅助的初级开发人员要慢。
该项研究由“人类学研究员计划”资助,旨在调查人工智能安全问题,它为人们解决了一个关键型问题:
“如果人类的能力越来越弱,那么监督越来越强大的人工智能系统的问题就会变得越来越困难。”
在实验中,52名主要分为初级软件工程师以及拥有超过一年Python经验的两类人员,使用Trio(https://trio.readthedocs.io/)库完成了两项编码任务。
Trio库用于异步和并发编程,所有参与者此前均未使用过。其中一半参与者可以使用人工智能辅助,另一半则不能。完成这些任务后,参与者需要完成一份包含14道题的测试,旨在评估他们的编码技能,包括调试、代码阅读和理解、代码编写以及对Trio库的概念理解。两组参与者在完成测试时均不允许使用人工智能辅助。
在进行主要研究之前,研究人员对不同的参与者进行了四项试点研究,以便了解如何避免不遵守规定(尽管被要求不要使用人工智能)以及与研究无关的问题,例如 Python 语法方面的困难。
这项研究的结果给人工智能辅助开发的支持者们提出了棘手问题。
研究人员指出,第一个问题是:“与以往研究发现人工智能辅助编码能够显著提升效率或速度不同,如果我们只考虑总完成时间,结果并没有显示生产力有显著提高。” 原因在于思考要让人工智能做什么以及编写查询语句所花费的时间。
第二个问题是,使用人工智能的参与者在测验中的得分明显低于未使用人工智能的参与者,平均“得分相差17%,相当于2个绩点”。研究人员表示,最大的差异出现在调试题上。
该研究探讨了赋予人工智能更多自主权来完成任务的智能体,以及人工智能是否能够提高生产力。研究人员认为智能体人工智能或许能够提高生产力,但“在无需编写查询语句的智能体或自动完成环境中,知识的损失会更大”。
所有这些都让研究人员得出了一个“令人沮丧”的结论:“随着公司逐渐过渡到更多地使用人工监督的 AI 代码编写,如果人类的技能形成一开始就因使用 AI 而受到抑制,那么人类可能就不具备验证与调试 AI 编写代码所需之技能。”
开发编码智能体Claude Code的Anthropic已就这项研究发布了相关信息,并因为其愿意报道这些负面结果而值得称赞。该公司也以超级补充说,这项研究只是第一步,样本量较小,“确实仍有许多问题尚未解答”。
关于生产力没有提高的问题,Anthropic 指出其之前的研究表明,完成任务所需的时间减少了高达 80%,并认为造成这种差异的原因是,在这些早期的研究中,“参与者已经具备了相关的技能”。
据 Anthropic 称,这项研究将有助于其设计人工智能助手,从而提高生产力并促进新技能的发展。但是,从这项研究来看,这一目标好像未能实现。
作者:场长
本篇文章为 @ 场长 创作并授权 21CTO 发布,未经许可,请勿转载。
内容授权事宜请您联系 webmaster@21cto.com或关注 21CTO 公众号。
该文观点仅代表作者本人,21CTO 平台仅提供信息存储空间服务。
请扫描二维码,使用微信支付哦。