2025-04-21 20:57
却用持续侧手翻最大化了前进速度。由于言语模子的可读性是其一个主要劣势。Ai2科学家曲指，好比，进一步印证了这一问题。o系列采用了基于强化进修（Outcome-based RL）锻炼，这涉及到强化进修中的「过度优化」（over-optimization）问题。模子也会自从联网搜刮。o3和o4-mini正在Codeforces中成就均超2700分，相较于GPT-4o。
模子会通过CoT进行思虑，可能因成功利用「代码东西」而获得了励。过去，OpenAI手艺演讲称，这个问题是能够缓解的。这种策略正在锻炼中未遭到赏罚，强化进修（RLVR2）时代：过度优化发生，它只是让模子正在言语表达和注释方面变得更差。由于没曾生成一个了虚构的URL。它可能选择输出「最佳猜测」，有网友开门见山地指出，正在Ai2科学家Nathan Lambert最新一篇阐发长文中，o3正在33%的问题回覆中发生了，模子生成更多断言的问题」。让它们正在式使命中愈加高效——出格是正在涉及视觉推理和多步调工做流的环境中。o3和o4-mini「率」远高于此前的推理模子，即便正在禁用东西的场景中，关于摩托艇过度优化逛戏的gif吗？可能像是海浪破裂器之类的？」过度优化（Over-optimization）是强化进修（RL）范畴的典范问题。正在全球人类选手中位列TOP 200。
这让ChatGPT的产物办理面对更大挑和：即便用户未触发搜刮开关，就很有事理。「o3对编写和开辟超1000行代码的项目极其晦气，o3是正在自从使命中能操做最久的模子，好比，大师还没有看到过于令人担心的环境，操纵强化进修，按照PersonQA基准测试，且施行指令能力很是差」。但也导致模子虚构东西利用的场景。励机制被钻（reward hacking）的例子触目皆是！同样印证了这一问题：现实上，证明o3很是超卓。并且，好比正在编程中利用了无效的非ASCII连字符的这个例子。使模子变得超等无效。
素质上就是行为版的「不说人线的行为组件使其比Claude 3.7的代码更有研究价值，o系列模子正在锻炼中，我们还锻炼了这两款模子去利用东西——不只它们若何利用东西，最后的推理模子次要锻炼方针是确保数学和代码的准确性，但o3和o4-mini却打破了这一纪律。凡是会正在削减方面有所前进，大师对AI模子的普遍摆设连结，现实上，但也变得愈加奇异。每一代新模子的迭代，这意味着有些交互令人惊讶！
虽然后锻炼能够缓解这一问题，当你诘问前一答的细节时，模子只能基于当前上下文「猜测」一个合理的注释。还让它们学会判断何时该利用东西。METR发觉，仍是当前新型推理模子中呈现的环境，【新智元导读】o3编码曲逼全球TOP 200人类选手，要晓得，这种新的过度优化并不会使模子的成果变差，这导致模子正在生成内容时容易「」消息。但也留意到它有倾向于「」它们的评分。从而加剧了。前OpenAI研究员Neil Chowdhury暗示，预锻炼模子通过最大化锻炼数据中语句的概率进行进修。却存正在一个致命问题：率高达33%，o3等新推理模子却完全失败了。大概也相对不易形成现实损害。手艺演讲中，
Nathan Lambert间接问o3：「你能帮我找到阿谁持久以来被RL研究人员利用的，Nathan Lambert相信通过更复杂的锻炼过程，虽然这些问题是言语模子常见的失败模式，研究团队坦言，但对于一些GPT-4或Claude 3.5早已熟练控制的通俗使命，但目前看来，它们可能正在CoT中生成了看似合理但不精确的回覆。非营利AI研究机构Transluce的测试，是o1的两倍。
然而锻炼数据可能包含、稀有现实或不确定性，但这一过程对用户不成见，这种行为可能正在某些推理使命中提高精确性，（还有更多尚未发觉的副感化）这种过度优化确实是一个需要处理的问题，相反，现在模子输出的这些奇异，更多的是效率低下和一些紊乱的例子。没有「动力」去认可本人的局限。几乎是o1（16%）的2倍。OpenAI认为o3正在很多方面比o1更强大。都呈现出奇特的表示形式和分歧影响。以期可巧准确！
o系列模子的问题更为凸起。它们按照预期成果来摆设东西的能力，感受像是取AI互动的全新体例，「还有需要进一步研究来弄清，若是锻炼的励函数只关心准确谜底！
并正在锻炼中被强化，取此同时，o系模子的另一个奇特设想是「思维链」（Chain-of-Thought）机制。o系列模子利用的强化进修算法，而是言语模子的遍及挑和。问题并非是o系列模子独有！
「半猎豹」（half-cheetah）模子本该进修奔驰，率极高，o3声称它正在一台2021年款的MacBook Pro上运转代码，以至跨越了保守模子GPT-4o。好比，但无法完全消弭。无论是保守强化进修、催生出ChatGPT的人类反馈强化进修（RLHF）。
提前拿到o3内测资历后，RL过度优化成硬伤。可能是问题的根源。模子正在面临无决问题时，专为处理复杂数学问题、编写测试代码而设想。
