软件所提出智能体迁移测试新方法

近日,由中国科学院软件研究所天基综合信息系统全国重点实验室与智能博弈重点实验室完成的研究成果Demo2Test: Transfer Testing of Agent in Competitive Environment with Failure Demonstrations被ACM Transactions on Software Engineering and Methodology接收。该研究关注竞争性博弈智能体的测试问题,提出了对抗环境中智能体的迁移测试方法——Demo2Test。

在对抗环境中,双方智能体通过激烈竞争以争夺博弈的胜利。智能体博弈策略失效可能带来损失,因而对其进行有效测试显得尤为重要。当前方法主要是通过构建测试智能体,与目标智能体展开竞争,以诱发其故障。然而,此类方法往往局限于单一任务,进行多任务测试则需耗费更多时间,且难以保证测试的全面性和有效性。因此,亟需提出高效而通用的智能体测试方法。

该团队提出了新的迁移测试方法——Demo2Test。该方法利用源任务的演示数据,结合强化学习和生成对抗模仿学习,对测试智能体进行迁移训练,以探索目标任务中的失效场景。同时,该方法包含一个关键状态下的动作扰动模块,应用进化算法对关键状态下的行动进行扰动,可进一步丰富失效场景的多样性。

为验证Demo2Test框架的有效性,该团队在MuJoCo仿真机器人竞争环境中进行了严格实验。实验结果表明,Demo2Test在发现失效场景的数量和多样性方面均表现出色,相较于最佳基线分别提升了36.99%至87.98%和18.79%至60.98%。进而,该团队利用Demo2Test发现的失效场景对目标智能体进行了重新训练。研究显示,与基线方法相比,Demo2Test性能提升范围为4.76%到80%。这验证了Demo2Test在智能体测试与优化方面的有效性,为智能体测试领域带来了新的思路与方法。

论文链接

Demo2Test框架图