01
谁在用
WhoAnswer.AI 团队。
02
遇到什么问题
Challenge想评估 AI 软件工程师能否胜任真实开发任务。
03
怎么用 AI 解决
Solution- Devin 通过 Slack 接收任务,在自带浏览器、编辑器和终端的 Docker 环境中工作。
- 约 20 项真实任务:生成合成数据上传 Braintrust、把 Python 项目迁移到 nbdev、审查不到 700 行代码仓库的安全问题等。
- 由人检查输出,常常接手。
04
结果如何
Results据原作者自述- Braintrust 集成被放弃,改在 Cursor 中重做;nbdev 迁移在基础设置上就失败
- 安全审查找到部分真实问题,但也有误报和幻觉;总计 14 次失败、3 次成功;它会在不可能的任务上坚持数天
以上内容均由原作者自行报告,未经独立核实,也不代表造物云产品的效果。
05
提示词
Prompt参考提示词(由 agentusecases.ai 整理为模板,非原帖原文)
中文
在我的仓库【仓库名】中完成三项任务:集成【可观测性工具】、把【模块或工具】迁移到【目标工具或版本】、审查代码安全漏洞。每项说明你如何验证结果,并明确标出未经验证的发现。
ENGLISH
Take on three tasks in my repo [repo name]: add an integration with [observability tool], migrate [a module or tool] to [target tool or version], and review the code for security vulnerabilities. For each one, tell me how you verified your results, and clearly mark any finding you could not confirm. Open separate pull requests for the work and do not merge anything.