清华联手上海AI实验室破解AI推理熵难题，引领强化学习新纪元-喜好网-记录每日喜好的科技时尚娱乐生活

标题：清华联手上海AI实验室破解AI推理熵难题，引领强化学习新纪元

随着人工智能技术的飞速发展，大型语言模型（LLMs）在推理能力上的突破，强化学习（RL）的应用范围也从单一任务扩展到更广泛的场景。然而，强化学习中的策略熵问题，成为了训练中的关键难题。为了解决这一问题，上海人工智能实验室联合清华大学、伊利诺伊大学香槟分校等学府，组建国际团队研发新方法，通过Clip-Cov和KL-Cov技术有效应对策略熵崩溃问题。

一、强化学习中的熵值问题

强化学习中，策略熵是反映了模型在利用已知策略和探索新策略之间的平衡。当策略熵过低时，模型可能会过度依赖已有策略，丧失探索能力。这一探索-利用权衡是强化学习的基础，如何控制策略熵成为训练中的关键难题。

二、新方法的提出与实验结果

为了解决策略熵崩溃问题，研究团队提出了一个经验公式：R = −a exp H + b，其中H代表策略熵，R为下游任务表现，a和b为拟合系数。这一公式揭示了策略性能与熵值之间的权衡关系，并指出熵耗尽是性能瓶颈。

研究进一步分析了熵动态变化，发现其受动作概率与logits变化协方差的驱动。为此，团队创新性地提出了Clip-Cov和KL-Cov两种技术，分别通过裁剪高协方差token和施加KL惩罚来维持熵水平。

实验基于Qwen2.5模型和DAPOMATH数据集，覆盖数学任务。结果显示新方法在7B和32B模型上分别提升了2.0%和6.4%的性能，尤其在AIE24和AIE25等高难度基准测试中，32B模型性能提升高达15.0%。这一结果证明了新方法的有效性和优越性。

三、开源模型与算法优化

研究团队在包括Qwen2.5、Mistral、LLaMA和DeepSeek在内的11个开源模型上进行了测试，涵盖数学和编程任务的8个公开基准测试。训练采用veRL框架和零样本设置，结合GRPO、REINFORCE++等算法优化策略性能。这些测试结果进一步验证了新方法的有效性和通用性。

四、未来发展方向

新方法的提出不仅解决了策略熵崩溃问题，也为强化学习在语言模型中的扩展提供了理论支持。未来，我们应进一步探索熵管理策略，以推动更智能语言模型的发展。此外，我们还应关注强化学习在其他领域的广泛应用，如自动驾驶、医疗诊断等，这些领域需要更高效、更智能的优化算法。

五、结语

清华联手上海AI实验室破解AI推理熵难题，这一突破性的研究成果将引领强化学习进入新纪元。我们期待更多类似的研究出现，推动人工智能技术的不断发展，为人类社会带来更多的便利和进步。