
即將離職的 Meta 首席 AI 科學家在接受英國金融時報採訪時承認該公司在發布 Llama 4 時篡改基準測試結果以獲得更好的成績,具體做法是針對不同的基準測試項目使用不同的微調模型。這種作弊行為也引起祖克柏的不滿,隨後整個 GenAI 團隊都被邊緣化,現在祖克柏似乎要轉向閉源商業模式。
社群媒體集團 Meta 旗下推出的開放人工智慧模式 Llama 知名度非常高,在人工智慧社群中 Llama 1~3 系列口碑和評價也都非常不錯,不過在 2025 年 4 月該公司推出 Llama 4 時卻遭遇滑鐵盧。
當時 Llama 4 的基準測試表現看起來也非常不錯,問題是該系列模型本身就是開放的因此在模型發布後立即就有大量開發者進行測試,測試結果是模型實際表現遠不如 Meta 宣傳的那麼出色。
彼時就有消息稱 Meta 可能為了提高模型基準測試評分而進行作弊,不過後來 Meta 也出面回應稱沒有這種事情,但後來 Llama 系列模型的發展似乎就陷入了停滯,早前也有消息稱 Meta 將重點轉向閉源商業模型。
現在即將離任的 Meta 首席人工智慧科學家、現代人工智慧奠基人之一的 Yann LeCun 承認,Meta 在 2025 年 4 月發布 Llama 4 模型前曾篡改過基準測試結果以獲得更好的分數。
這名人工智慧科學家在接受《金融時報》採訪時透露,基準測試結果確實被稍微修改過,團隊針對不同的基準測試計畫使用不同的模型以獲得更好的結果。
但這種作弊帶來的後果也是很可怕的:在模型發布後 Llama 4 被外界認為是個失敗的模型,Meta 也面臨被指控操縱基準測試結果,這導致 Meta 創始人馬克扎克伯格非常不滿並且對所有參與發布的人都失去了信心。
Yann LeCun 稱,最終扎克伯格直接將整個 GenAI 團隊邊緣化,目前很多人已經離開該團隊以及還有更多人即將離開,像是 Yann LeCun 這樣已經在 Meta 工作十年的老員工也同樣要離開了。