新智元报说念 小表妹

裁剪：LRS

【新智元导读】只需几十个样本即可西席各人模子，强化微调RLF能掀翻强化学习高潮吗？具体手艺杀青尚不明晰，AI2此前开源的RLVR未必在手艺想路上存在相同之处。

在2016年的NeurIPS会议上，图灵奖得主Yann LeCun初次忽视闻名的「蛋糕比方」：

要是智能是一块蛋糕，那么蛋糕中的大部分齐是无监督学习，蛋糕上的糖霜（寻行数墨）是有监督学习，蛋糕上的樱桃则是强化学习。 If intelligence is a cake， the bulk of the cake is unsupervised learning， the icing on the cake is supervised learning， and the cherry on the cake is reinforcement learning (RL).

从大型说话模子的发展门道来看，这种比方果然是好意思满议论：从计较量FLOP上的支出来看，对互联网上的海量数据进行自监督学习占据了大部分西席时代；之后是用指示监督微调（SFT）数据进行后西席，支出比拟自监督西席来说大大缩短；临了的强化学习则是让大模子走向末端用户的必备阶段，不错提高模子的安全性，但模子仅仅从部分西席样本中学习一丝信息。

在中，文告行将通达「强化微调」（RFT）的API，开拓者只需提供最低「几十个」高质料样本，就能杀青范围各人模子的定制，还能字据提供的参考谜底对模子的恢复进行评分，再次印证了强化学习的进击性！

强化微调的要点是「匹配谜底」（matching answer），给定查询和正确谜底，RFT不错匡助模子「学习」奈何获取正确谜底。

比拟尺度的指示调优（instruction tuning）仅仅对数据进行1-2个epoch的亏本算较，并更新模子权重，强化微调则是通过对交流的几个数据点进行成百上千个epochs来让模子有时代学习新行径。

叠加数据在基础模子西席的时候作用不大，但却不错擢升RFT的踏实性。

强化学习的发展可能照旧向上了Yann LeCun的议论，不再仅仅一颗蛋糕上的樱桃，夙昔未必「有监督微调」不再那么进击，只需要在互联网数据上进行自监督，然后进行自我强化学习，而不需要明确的东说念主工想象。

大模子手艺门道再次颠覆

「强化微调」的出世，也记号着说话模子和强化学习的发展门道再次发生变化：

1. 强化学习的踏实性是不错不竭的

开拓东说念主员在筹商是否接纳强化学习时，其踏实性一直是中枢要素，主要体咫尺两方面：强化学习自己可能会发生剧烈变化小表妹，最新伦理片不一定踏实有用；其次，强化学习的西席自己比尺度说话模子西席更脆弱，更容易出现亏本峰值、崩溃等情况。

如今OpenAI能发布强化学习的API，诚然咫尺仍然处于测试阶段，但也代表着他们对这项手艺的踏实性有了冲突，岂论用户的数据是什么样，齐能踏实、有用地西席。

以往，商量东说念主员要运行强化学习算法时，不时齐会一次性运行多个随即种子，然后聘请那些莫得崩溃的模子连续运行；而咫尺就不错依赖强化学习模子的踏实运行，并在模子查验点上与启动政策计较KL距离，以确保恶果不会下落。

2. 开源版块未必照旧「存在」

强化微调与AI2最近发布的「具有可考证奖励的强化学习(RLVR)」职责额外相同，中枢组件，如数据体式和优化器类型是交流的，唯一开源社区连续配合来加多强化学习数据，对不同的模子、不同类型的数据等进行实践。

3. 高等推理模子的潜在数据飞轮

之前有推测以为，OpenAI的o1模子使用了某种搜索政策，主要通过大范围RL数据进行西席，并具有可考证的输出，和这个API很访佛。

按照预期来说，用户通过API上传数据，OpenAI就不错积蓄海量数据集来连续西席o1模子的下一个版块，o1咫尺的主要弃世仍然是适用范围短少各样性，要是有用户的飞轮数据参与进来，o1例必会愈加庞大。

4. 强化学习说话模子西席的范围赓续扩大

在基础科学层面上，o1的最大的孝敬是，让咱们有了更多的设施来西席说话模子，以杀青潜在的高价值行径；向商量东说念主员和工程师通达的大门越多，咱们对东说念主工智能的总体发展轨迹就应该越乐不雅。

梗概一年前，OpenAI的一位商量东说念主员就曾提到过，他们对RLHF及关联设施额外有信心，因为亏本函数比自回来议论更通用，最近的发展也正如大部分东说念主期待的，强化学习中的东说念主类反映（human feedback）也并不是止境必要。

强化微调杀青的推测

由于OpenAI莫得公布任何手艺细节，是以对具体的杀青仍然只可靠猜。

分类模子/成就（Grader models/configs act as reward shaping for generalized answer checking）

强化学习能见效杀青的中枢是「正确界定环境范围」，其中环境由滚动函数（transition function）和奖励函数构成；

说话模子的滚动函数是东说念主为想象的，也即是说话模子政策自己；奖励函数是从情状和动作（即领导和模子恢复）到奖励标量值的映射。

对说话模子的输出谜底进行评分并不崭新，比如Llama 3.1同期使用「Python代码」和「其他大模子」动作判断器来查验数学谜底是否正确；谜底的演叨或正确对应0或1的二进制分数。

12月7日，OpenAI微调团队的John Allard此前发布过一份对于评分器背后想路的证据，以及关联成就的屏幕截图，基本想路是把待评分的恢复领悟成一个结构化的对象，然后对每一项的数值进行比较，得到精准率、调回率等地点。

比如想西席一个信息抽取器模子，评分器会字据预界说的结构，比如就读的大学、已知的编程说话、面前居住城市等项辩认进行评分，临了获取一个汇总评分。

{\n\"university\": \"University of California Berkeley\"，\n\"programming_languages\": [\"python\"， \"c++\"， \"java\"]，\n\"city\": \"Los Angeles\"，\n\"state\": \"California\"\n}

推文相接：https://x.com/john__allard/status/1865520756559614090?s=46

数据效用优化

在直播中，OpenAI提到用户只需要「几十个」RFT样本就不错在新范围进行学习；对于每个领导，强化学习（RL）不错字据超参数建造在一批中生成多个评分恢复，在学习体式和数据的屡次迭代中「叠加西席」，因此模子能够尝试不同的「政策」来找到正确的谜底。

比如用几千个领导在数据集上运行数十万条强化学习西席数据，模子不错屡次看到交流的领导而不会过度拟合。

踏实的基础说话模子

事实诠释，强化学习更相宜微调而不是重新动手西席，基础强化学习职责照旧在限制和有盘算方面诠释了这个论断；凭借额外踏实的基础，强化学习微调不错温文地搜索更好的行径抒发，而不会显着改革模子性能。

比如某个RFT范围对于模子来说曲直常新的，可能只需要10个样本即可获取总体性能擢升。

对于OpenAI来说，o1模子流程大范围西席，应该照旧极其踏实了，不错动作强化学习微调的基础， 其微调平台团队成员John Allard就曾暗意：任何东说念主齐不错应用交流的西席算法和基础设施在新范围微调出一个各人o1模子。

参考而已：

https://www.interconnects.ai/p/openais-reinforcement-finetuning