作者：谭梓馨，头部科技

图片来源：由无界AI生成

大型语言模型 (LLM)正在改变软件开发方式，AI现在能不能大规模替代人类程序员成为一个备受行业关注的话题。

在短短两年时间里，AI大模型已经从解决基础计算机科学问题，发展到在国际编程竞赛中与人类高手一较高下的程度，例如OpenAI o1曾在与人类参赛者相同的条件下参加2024国际信息学奥林匹克竞赛（IOI）并成功获得金牌，展现了强大的编程潜力。

同时，AI迭代速率也在加快。在代码生成评估基准SWE-Bench Verified上，2024年8月GPT-4o的得分是33%，但到了新一代o3模型得分已翻倍为72%。

为了更好衡量AI模型在现实世界中的软件工程能力，今天，OpenAI开源推出了一个全新的评估基准SWE-Lancer，首次将模型性能与货币价值挂上了钩。

SWE-Lancer是一个包含1400多个来自Upwork平台自由软件工程任务的基准测试，这些任务在现实世界中的总报酬价值约100万美元，让AI去编程能挣到多少钱？

新基准的“特色”

SWE-Lancer基准任务价格反映真实的市场价值情况，任务越难，报酬越高。

其中既包括独立工程任务，也包括管理任务，可在技术实施方案之间进行选择，该基准不仅针对程序员，也针对整个开发团队，包括架构师和管理人员。

相较于此前的软件工程测试基准，SWE-Lancer具有多项优势，例如：

1、全部1488个任务代表了雇主向自由工程师支付的真实报酬，提供了自然的、由市场决定的难度梯度，报酬从250美元到3.2万美元不等，可谓相当可观。

其中35%的任务价值超过1000美元，34%的任务价值在500美元到1000美元之间。个体贡献者（IC）软件工程（SWE）任务这一组包含了764个任务，总价值41.4775万美元；SWE管理任务这一组包含724个任务，总价值58.5225万美元。

2、现实世界中的大规模软件工程，不仅需要具体敲代码可开发，还需要有能力的技术统筹管理，该基准测试使用真实世界的数据评估模型充当SWE“技术主管的”角色。

3、具备高级全栈工程评测能力。SWE-Lancer代表现实世界的软件工程，因为其任务来自拥有数百万真实用户的平台。

其中的任务涉及移动和网页端的工程开发、与API、浏览器和外部应用程序的交互，以及复杂问题的验证和复现。#p#分页标题#e#

例如，有的任务是花费250美元提高可靠性（修复双触发的API调用问题）、1000美元修复漏洞（解决权限差异问题）和1.6万美元实现新功能（在网页、iOS、安卓和桌面端添加应用内视频播放支持等）。

4、领域多样性。74%的IC SWE任务和76%的SWE管理任务都涉及应用逻辑，而17%的IC SWE任务和18%的SWE管理任务涉及UI/UX开发。

就任务难度而言，SWE-Lancer选取的任务非常具有挑战性，开源数据集中的任务平均需要26天才能在Github上解决。

此外，OpenAI表示无偏数据收集情况，它们从Upwork上选择了具有代表性的任务样本，并聘请了100名专业软件工程师为所有任务编写和验证了端到端测试。

AI编码赚钱能力PK

尽管很多科技大佬不断在宣传中声称AI模型可以取代“低级”工程师，但企业是否完全能用LLM取代人类软件工程师仍然要打个大大的问号。

首批评测结果显示，在完整的SWE-Lancer数据集上，目前被测试的AI金牌选手模型收益都远低于100万美元的潜在总报酬。

整体来看，所有模型在SWE管理任务上的表现都会优于IC SWE任务，而IC SWE任务在很大程度上仍未被AI模型充分攻克，目前受测模型表现最好是OpenAI竞争对手Anthropic开发的Claude 3.5 Sonnet。

在IC SWE任务上，所有模型单次通过率和收益率均低于30%，在SWE管理任务上，表现最佳的模型Claude 3.5 Sonnet得分是45%。

Claude 3.5 Sonnet在IC SWE和SWE管理任务上均表现出强