一项新咨议发掘，直接举办加强研习（RL）的众模态推理上限更高，而监视微调（SFT）恐怕会劝止研习。

　　2.咨议者修建了首个赞成SFT与RL的全方位高质料图文推理数据集VLAA-Thinking，以考虑众模态推理中的感化机制。

　　3.测验结果显示，SFT对本原模子的功能有提拔感化，但正在巩固庞杂推理方面本事有所缺乏。

　　4.另一方面，直接运用GRPO锻练的模子正在视觉措辞推理职责中明显优于其本原模子。

　　5.该咨议揭示了SFT与RL正在众模态推理中的特别感化，为来日视觉措辞模子的开垦供给了开采。

　　「尽量进程 SFT 的模子恐怕看起来正在举办推理，但它们的举止更挨近于形式模拟 —— 一种缺乏泛化推理本事的伪推理阵势。」

　　跟着 OpenAI 的 o1/o3 和 Deepseek-R1 等具备强健推理本事的大措辞模子接踵问世，学界广大采用「监视微调 + 加强研习」的两阶段锻练范式：先通过推理数据举办监视微调（SFT），再通过加强研习（RL）进一步提拔功能。这种告捷形式启迪了咨议职员将其上风从纯文本规模拓展到视觉 - 措辞大模子（LVLM）规模。

　　但即日的一项咨议成绩却给出了一个惊人的发掘：「SFT 恐怕会劝止研习 —— 时时导致闪现伪推理途径，而 RL 则是正在推进真正的众模态推理！」

　　这个发掘来自加州大学圣克鲁兹分校和德克萨斯大学达拉斯分校等机构的一个咨议团队，他们深化考虑了「SFT+RL」这曾经模范式正在视觉措辞模子开垦中的合用性，个中重心闭切了两个主题题目：1）SFT 与 RL 正在众模态推理平分别出现何种特别感化？2）这种两阶段锻练对 LVLM 的推理本事是否确有须要？

　　为编制性地咨议这些题目，咨议者修建了首个赞成 SFT 与 RL 的全方位高质料图文推理数据集 VLAA-Thinking。下外给出了该数据集的统计数据。

　　与现稀有据集分歧，该数据集蕴涵基于 R1 模子「先研究后解答」范式天生的完美推理链条，个中 SFT 分支蕴涵适合视觉指令调优的众模态思想链（CoT）样本，加强研习分支则从同源数据中筛选更具离间性的样本以激勉深度推理举止。

　　为有用转移纯文本模子的推理本事，咨议者计划了六阶段数据经管流程：元数据征采→图像刻画天生→基于 R1 的学问蒸馏→谜底重写→人工验证→数据划分。

　　全体而言，他们将图像刻画和视觉题目输入 DeepSeek-R1 天生初始推理轨迹，经改写优化流利度后，再由 GPT 验证器举办质料把闭，最终酿成高质料的 SFT 与 RL 锻练数据。

　　基于 VLAA-Thinking 数据集，咨议者编制领会了 SFT 与 RL 正在众模态推理中的感化机制。为探究 SFT 的影响，他们具体侦察了数据类型（如是否蕴涵反思性顿悟时期，即 aha moment）、数据周围和模子本事等身分。

　　针对视觉语境下的 RL 优化，他们正在 GRPO 框架中更始性地计划了协调感知与认知赞美的搀杂赞美函数，蕴涵 2 大类 5 种子函数：章程类题目采用数字识别、众项拔取题、数学运算和范围框检测函数，绽放类题目则采用称职的赞美模子 XComposer-2.5-RM，以及基于参考的赞美手法来对谜底举办评分。

　　咨议者对 SFT 和 RL 举办了普遍的测验比力，发掘了几个值得预防的题目：

　　最先，他们探究了 SFT 和 RL 正在众模态推理中的孝敬：与本原模子比拟，SFT 升高了模子正在模范职责中的功能，但正在巩固庞杂推理方面本事却有所缺乏。如图 1 所示，仅仅通过 SFT 来模拟专家的思想往往会诱发「伪推理途径」，这是一种浅近的推理形式，个中恐怕蕴涵「伪 aha moment」（浅近的自我反思线索）。

　　这项咨议证明，这些模拟的推理形式会劝止线B 模子上相对功能低重 47%。这一窥探结果也与迩来的咨议结果相仿，即必要反应和探求信号来驱动高级推理举止。另外，溶解领会证明，看待基于章程的赞美，数学和众选题比其他赞美更有益，而基于章程和绽放式赞美的联络则能获得最佳功能。

　　现有咨议以为 LVLM 应先通过 SFT 研习推理花式，再通过 RL 反应举办优化，但咨议者发掘：倘若对已对齐的模子运用 SFT+GRPO，会导致均匀 12.7% 的功能低重，且模子周围不同影响甚微 ——7B 模子与更小模子发现似乎的功能衰减。

　　锻练历程领会证明，反响长度、赞美分数与功能阐扬无明显闭联性：经 SFT 的模子虽能取得更高初始赞美和更长反响，但实质阐扬逊于纯 RL 锻练模子，这与「更优模子平时出现更长反响」的既有结论相悖。

　　咨议证明：SFT 虽可助助未对齐模子遵命指令，但其发起的模拟式推理会范围 RL 阶段的探求空间；比拟之下，直接从赞美信号研习能出现更有用的适合性思想。实证咨议证明纯 RL 计划更具上风 —— 该团队锻练获得的 VLAA-Thinker-Qwen2.5VL-3B 模子正在 Open LMM 推理榜单 4B 量级模子中位列第一，以 1.8% 上风改革记录。案例领会证明，该模子天生的推理轨迹更简短有用。

　　上面的结果证明 SFT 亏空以将 R1 的本事转移到 LVLM。于是，咨议者提出了我方的计划。

　　因为加强研习正在巩固推理本事方面阐扬生色，且 GRPO 正在文本数学推理职责中被注明比其他手法（如 PPO）更有用、更高效，这促使他们将 GRPO 锻练利用于视觉措辞推理职责。

　　为了更好地将 GRPO 利用于众模态推理，除了采用雷同文本 GRPO 锻练中的基于章程的赞美机制外，还必要研讨视觉模态引入的非常特质。受众模态大型措辞模子归纳评议基准 MME 的启迪（MME 通过感知和认知（推理）来对视觉措辞模子举办基准测试），咨议者提出了一个用于 GRPO 锻练的搀杂赞美框架，如图 4 所示。该赞美编制蕴涵五种可验证的赞美类型，采用两种花式，涵盖了视觉感知和视觉推理职责。

　　SFT 与众模态推理中的 GRPO 不兼容。 尽量论文中揭示了寡少运用 SFT 会导致众模态推理功能低重，但目前仍不分明 SFT 是否像 DeepSeekR1 中的「金钥匙」一律对 GRPO 锻练起到要害感化。咨议者运用分歧的模子架构举办 GRPO 锻练测验。全体来说，他们采用了 Qwen2VL-7B-Base 和 Qwen2VL-7B-Inst，并正在它们上运用 25K 样本举办 SFT，随后举办 GRPO 锻练。

　　从外 3 中可能窥探到，正在 GRPO 锻练之进展行 SFT 的模子，其功能比仅运用 GRPO 锻练的模子更差，均匀而言，Qwen2VL-Base 和 Qwen2VL-Inst 正在进程 SFT 后比未进程 SFT 的模子功能低重了 8.9%。咨议者还发掘，SFT 对指令模子的功能损害比对没有指令伴随本事的本原模子更大。比如，进程 SFT 后，Qwen2VL-Inst 的功能比 Qwen2VL-Base 低重了 7.7%，这证明 SFT 恐怕会衰弱对有用 GRPO 锻练至闭紧张的指令伴随本事。

　　归纳这些结果，可能得出结论：正在众模态推理的后台下，SFT 目前与 GRPO 不兼容，会损害本原模子和进程指令调优的 LVLM 的功能。

　　另外，咨议者还发掘，较小的 SFT 数据集如故会影响 GRPO 的功能，如图 5 所示。

　　回应长度、赞美与模子功能并非肯定闭联。先前的加强研习咨议平时以为，更长的回应往往与更好的推理本事以及更高的 RL 赞美闭联。然而，图 6 中的发掘证明，正在 GRPO 中，回应长度和赞美并不是推理本事的牢靠目标。

　　风趣的是，进程 SFT 的模子正在锻练初期的赞美更高。这恐怕是因为它们正在早期通过监视研习取得了经历，由于 SFT 和 GRPO 数据共享一样的散布。然而，这些进程 SFT 的模子正在锻练历程中赞美提拔有限，而仅运用 GRPO 的模子则连忙逾越了它们。

　　这些趋向进一步揭示，SFT 仅供给了 RL 锻练的一个更高的「下限」，但它恐怕会下降「上限」，由于推理闭联的 SFT 数据范围了模子的探求途径。是以，推理是一种内生的、更恐怕通过加强研习而非 SFT 发扬起来的本事。尽量进程 SFT 的模子恐怕看起来正在举办推理，但它们的举止更挨近于形式模拟 —— 一种缺乏泛化推理本事的伪推理阵势。

　　进程更好指令调优的模子正在 GRPO 锻练后阐扬更佳，申明高质料的指令调优可以巩固模子正在加强研习后的推理本事。

　　GRPO 锻练可以诱导模子出现的确的自我反思举止，但「aha」时期的数目与全体推理功能并不直接闭联。（睹图 7）