强化学习 博采衆长

　　图：人工智能发展一日千里。强图为2016年3月9日至15日，化学人工智能程序“阿尔法围棋”在韩国首尔进行的习博五番棋比赛中，以4比1的采衆长总比分击败韩国九段棋手李世石。\新华社

　　大公报：我们现在知道，强DeepSeek的化学香港惊艳版水浒传高性能根本上来自于新算法，即强化学习方法，习博这似乎和当年Alpha Zero与人类棋手博弈相似，采衆长是强吗？

　　高飞：是的。DeepSeek的化学强化学习，不是习博新理论。大家最耳熟能详的采衆长强化学习模型，应该是强秘密入口3秒自动进入高清谷歌DeepMind的围棋模型Alpha Zero。它之所以叫Zero，化学是习博指模型是从零数据开始，通过与自身进行数百万次对弈，积累数据，提升性能。

　　DeepSeek R1也是这样，通俗地说，它就是人工智能界的“Alpha Zero棋手”，用AI和AI对弈的强化学习方式（而不是学习人类知识行为数据），提高性能。需要说明的是，DeepSeek R1并非单一地运用强化学习方法，而是新老方法并用，博采众长。例如，DeepSeek团队发现模型出现中英文双语混用、答案不易被人理解的现象，所以也使用了传统的监督式学习（SFT），即人类数据辅助优化，让内容输出更友好。

　　大公报：但谷歌DeepMind八年前就已推出围棋模型Alpha Zero，强化学习法早已有之。在这方面，DeepSeek是否算抄袭了谷歌的技术呢？

　　高飞：这就是科学、技术、工程的区别了。强化学习技术早有公开论文，大家都可学习借鉴。但科学原理如何在技术和工程上实现，是另一回事。

　　此外，属于封闭性问题（即有标准答案、可判断胜负）的围棋问题，与处理开放性问题的语言大模型是不同的。这种强化学习技术，并不容易在大语言模型的训练中使用，从去年开始涌现的千百个大模型，都没能取得这方面突破，没能走通这条技术路径。