在这个游戏中，KL散度的作用并不是很大。游戏的行动相对简单，不像LM游戏中的行动是一个庞大的向量，可以直接使用surr1来最大化surr1。实验测试结果也证实了这一点。此外，KL散度的系数不能设置得太大，否则惩罚力度会过大。实际上，行动模型和参考模型产生的行动的分布并没有太大差异。

效果：