現(xiàn)在的大模型（LLMs）已經(jīng)非常智能。寫文章、編代碼、當醫(yī)生、當老師，樣樣精通。于是乎，有人就想了:既然它們這么聰明，能不能讓它們自己做決定，當個“智能體”呢?比如，在復雜的環(huán)境里自己探索、自己解決問題。

畢竟，大家覺得LLMs肚子里有“世界知識”，不需要手把手教也能猜到怎么干。而且，它們還有“思維鏈”（Chain-of-Thought，CoT）這種“聰明腦回路”，能一步一步推理，更好地理解環(huán)境和自己的行為。聽起來是不是很完美?

結果呢?啪!打臉了。研究人員發(fā)現(xiàn)，這些LLM智能體在需要做決策的時候，表現(xiàn)那叫一個“次”。它們不夠“好奇”，探索得不好，老是選不到最佳策略。更尷尬的是，它們居然存在一個“知行合一”的大問題。

AI的“知行不一”:我知道該減肥，但我就是做不到!

論文里把這個“知行不一”的問題，叫做**“Knowing-Doing Gap”（知-行差距）**。形象地說，就是LLMs“知道”怎么做是對的，甚至能把正確的“思路”(CoT)給你寫得明明白白，告訴你這么做會有啥后果。但到了真正“做”的時候，它們卻偏偏不按“知道”的來，選擇了別的行動。

這簡直就像我們自己:明知道熬夜不好，還是刷手機刷到凌晨;明知道健康飲食要多吃蔬菜，手卻伸向了炸雞。AI，你是不是在我家裝了攝像頭?!

論文里的數(shù)據(jù)顯示，在某些任務中，LLM智能體生成正確“思考過程”（Rationale）的比例高達87%。也就是說，它們腦子里門兒清!但即使“知道”正確答案，它們實際執(zhí)行的行動里，只有21%是真正“最優(yōu)”的，而高達58%是“貪婪”行動。這“知道”和“做”之間的巨大鴻溝，簡直讓人哭笑不得。

AI的另外兩個“小毛病”:貪婪和跟風!

除了“知行不一”，論文還系統(tǒng)研究了LLMs在決策時的另外兩個普遍“失敗模式”:

1.Greediness（貪婪）: 這個最好理解了。LLM智能體就像個嘗鮮者，試了幾個選項后，如果發(fā)現(xiàn)其中一個給了點甜頭(高回報)，它就會超級偏愛這個選項。即使還有好多沒試過的選項，即使那個“甜頭”可能不是真正的最佳選擇，它也傾向于反復選擇已經(jīng)“見過”并且感覺不錯的那個。這導致它們不愿意去探索未知，行動空間覆蓋率非常低。想象一下，一家餐廳只吃最開始那道菜，可能錯過了招牌硬菜啊! 即使是更大的模型或者用了CoT，“貪婪”這個問題依然明顯。這是因為它們對看到有回報的行動，會賦予過高的執(zhí)行概率。

2.Frequency Bias（頻率偏差）: 這個更奇葩。小一點的LLMs(比如2B規(guī)模的)特別容易“跟風”。如果輸入的歷史信息里，某個行動被重復了很多次(哪怕它給的回報很低)，模型就傾向于跟著選擇這個行動。這就像鸚鵡學舌，或者被洗腦了一樣，看到重復得多的就覺得是對的。論文發(fā)現(xiàn)，2B模型在這個問題上栽得很慘，越重復某個行動，它就越確信那是對的。而大一些的模型(比如27B)就好多了，基本克服了“跟風”，但還是逃不過“貪婪”的手掌心。研究人員猜測，這個“跟風”可能是在海量數(shù)據(jù)上進行“有監(jiān)督預訓練”留下的“后遺癥”——畢竟，預訓練時就是學著重復數(shù)據(jù)里的模式嘛。

給AI大佬們“治病”:強化學習微調 （RLFT） 大法!

面對這些“疑難雜癥”，論文作者們提出了一種“治療方案”:Reinforcement Learning Fine-Tuning （RLFT）。簡單來說，就是把強化學習(RL)的訓練方法，用在LLMs身上，而且是基于LLMs自己生成的“思考過程”(CoT)來進行。

它的基本邏輯是:讓AI在環(huán)境里自己生成思考過程和行動。如果這個行動帶來了好的回報，就“獎勵”它產(chǎn)生這樣的思考和行動;如果回報不好，就“懲罰”它。通過這種方式，“訓練”LLM去學習那些能帶來高回報的思考模式和行動策略。這就像給LLM請了個私人教練，讓它在實踐中學習，從自己的思考和結果中吸取經(jīng)驗。

“治療”效果如何?顯著提升，但仍需努力!

實驗證明，RLFT這劑猛藥確實管用。

降低了“貪婪”:經(jīng)過RLFT的2B模型，行動的探索覆蓋率提高了12%。雖然還沒達到最優(yōu)，但至少愿意多看看外面的世界了，不再那么死守著少數(shù)幾個看過的選項。

對抗了“跟風”:RLFT有效地對抗了頻率偏差，模型沒那么容易被重復的歷史帶跑偏了。盡管在高重復頻率下，“跟風”的殘余影響還在。

彌合了“知行差距”:RLFT通過獎勵那些能帶來高回報的“思考+行動”組合，讓LLM更好地把“知道”的轉化為“做到”。

實戰(zhàn)能力提升:在多臂老虎機 （MABs） 和上下文老虎機 (CBs) 任務中，RLFT顯著降低了累積遺憾(也就是少做了很多錯誤決策)。在有狀態(tài)的環(huán)境，比如文字版井字棋 (Tic-tac-toe) 中，RLFT也大幅提高了LLM的勝率，甚至能和頂級的MCTS對手打平。這說明它在更復雜的決策場景下也有潛力。

光“治療”還不夠，得加點“輔助訓練”!

雖然RLFT很有效，但論文也指出，經(jīng)過RLFT的模型在探索方面依然不是最優(yōu)的。就像運動員，基礎訓練好后，還得有專項訓練。于是，研究人員嘗試了一些額外的“探索機制”，比如:

“上來就全試一遍”:就像UCB算法那樣，一開始先把所有可能的行動都試一次。結果發(fā)現(xiàn)，這招超級管用!特別是對27B這種大模型，用了這招后幾乎能達到最優(yōu)的表現(xiàn)。這再次證明，AI不是不會做決定，而是需要先給它足夠的信息去了解每個選項的大致情況。

ε-greedy（小概率隨機探索）:經(jīng)典RL招數(shù)，偶爾隨機選個行動。效果嘛，一般般。

探索獎勵（Exploration Bonus）:給那些還沒嘗試過的行動額外加分。這招也很靈!能顯著提高探索率，并降低遺憾。這強調了“獎勵設計”的重要性，得告訴AI你希望它做什么樣的行為(比如多探索)。

還有一些針對LLMs的技巧，比如上下文隨機化、上下文總結、自我糾正、自我一致性等等。

“思考”的重要性:不僅要有，還要給夠時間!

論文還強調，“思維鏈”（CoT）在這個過程中起著“至關重要”的作用。它不僅能幫助LLM在做決策前進行合理的推導，還是RLFT有效性的關鍵。沒有CoT，RLFT的效果會大打折扣。

更進一步，給AI“思考”的時間（也就是生成思考過程的Token數(shù)量上限）也很重要。思考時間太短(比如只允許生成16或64個Token)，AI就沒法好好組織思路，性能會很差。但如果把思考時間從256提到512個Token，性能就能顯著提升，甚至能追平更大模型的水平。這說明，AI能有效利用這些額外的“思考時間”來提升決策能力。不過，多思考也有代價——訓練時會消耗更多計算資源和時間。

向“學霸”取經(jīng):模仿專家行為也很香!

最后，論文還對比了傳統(tǒng)的“模仿學習”方法。他們讓LLM學習模仿UCB專家的行為，包括只模仿行動（Behavior Cloning，BC）和模仿行動+思考過程(Thought Cloning，TC)。結果發(fā)現(xiàn)，直接模仿專家數(shù)據(jù)訓練出來的模型，在簡單任務上也能達到和專家差不多的水平。這說明，如果有高質量的專家數(shù)據(jù)，“抄作業(yè)”也是個提高AI決策能力的好方法。

AI大佬也有“成長的煩惱”

總而言之，這篇論文告訴我們:

1.雖然LLMs看起來無所不知，但在做決策時，它們有自己的“人格缺陷”，比如貪婪、跟風和知行不一。

2.強化學習微調（RLFT）能有效“治療”這些問題，提高AI的探索能力和決策表現(xiàn)。

3.但RLFT后的探索能力依然不夠完美，需要額外的探索機制來輔助，比如“上來就全試一遍”或者給“探索獎勵”。這證明，AI不是不會做決策，是需要引導和充分信息。

4.“思考過程”（CoT）對于RLFT至關重要，“思考時間”(生成預算)也需要給夠。

5.直接學習模仿專家也是一條有效的捷徑。

當然，目前的研究主要集中在特定模型（Gemma2）和相對簡單或有限的場景下。未來還需要在更復雜、更貼近現(xiàn)實的環(huán)境中進一步探索。

看來，AI要成為真正的“決策高手”，還有一段路要走。它們和我們人類一樣，都有需要克服的“人性弱點”（雖然是機器的），也都需要學習和訓練才能變得更優(yōu)秀。不過，看到AI在努力克服“知行不一”，是不是也給我們自己提了個醒呢?

好了，今天的AI八卦……哦不，AI研究解讀就到這里。希望這篇不正經(jīng)的科普，能讓你對AI的決策能力和強化學習微調有個初步的了解!下回見到AI，別忘了它們也可能正在經(jīng)歷“貪婪”和“知行不一”的掙扎哦!

標簽：