实验评估显示多数测试技术提示未提升编码智能体性能

OmniTools 9月8日消息，一项针对26种测试/验证技术提示条件的实验评估近日公开。研究在编码智能体提示中嵌入测试驱动开发、属性基测试、形式化方法等指令，要求其实现Zstd压缩算法，并检验输出正确性。

结果显示，未添加任何额外测试指令的基线智能体表现优于平均水平；绝大多数指定测试技术或库的提示并未带来显著性能提升。

研究指出，当前编码智能体普遍缺乏对各类测试工具和技术的准确理解与应用能力，提示工程尚难有效引导其完成系统性验证任务。