- 克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
Claude Fable 5才剛剛回歸,就差點被網友的口水淹死。
A社官方賬號發推慶祝回歸,開發者Thariq也跟著喊「excited for guys to get access back」。
![]()
結果香檳剛打開,風向就全變了。
網友們開始控訴,“回歸版”Fable 5的賬單暗藏貓膩、跑分也縮水,連「raspberry里有幾個r」這種問題都被攔截了。
一場幾乎是自發組織的吐槽大會,在Fable5回歸沒多久就宣告開場,熱鬧程度不亞于當初等它回來的那份期待。
“我太強了,你不配用”
開發者Om Patel給Fable 5出了一道競賽編程難題,一道要求處理圖連通性和區間覆蓋的硬核算法題。
結果,界面意外泄露了一段模型沒打磨過的思考過程,他把這段過程截圖發了出來。
那段文字不像正常的句子,倒像是簡寫感嘆詞堆出來的碎碎念。截圖里密密麻麻兩大屏,全是active、committed、window這類變量名夾雜著推理片段,中間偶爾炸出幾個大寫單詞。
例如,「DATA DATA DATA. GO.」出現在它埋頭處理數據的時候,「GRRR」出現在某個約束條件怎么都對不上的時候,「GAAAH」出現在它差點想放棄的瞬間,「PHEW」出現在它終于繞過一個死胡同的時候。
![]()
Om Patel的解讀是,這些片段其實是模型自己壓出來的一套私有語言,一套只有它自己看得懂的簡寫體系,寫起來比完整句子更省token,也更快。
他表示,用戶平時看到的那種流暢、干凈、邏輯清楚的回答,只是模型對外呈現的拋光成品,脫了這層拋光,模型自己好像也在連滾帶爬地罵罵咧咧。
![]()
更好笑的是,系統后臺同樣沒憋住一句真心話。
開發者dax翻自己的調用日志時發現,一部分被降級的請求背后,掛著一個內部標簽,寫著「TOO_DUMB_TO_NEED_FABLE」。
他把這條發出來的時候只附了一句疑惑,問這條標簽背后到底發生了什么。
![]()
翻譯過來,這個標簽的字面意思是這條請求太簡單,用不上Fable 5,于是系統順手把它轉給了Opus 4.8處理,而且是在用戶完全不知情的情況下自動完成的。
模型在后臺連滾帶爬地罵罵咧咧,系統同時給用戶的問題扣上一頂你不配用的帽子。
raspberry有幾個r?這可不興說!
如果說內心戲那兩條還帶點獵奇和看熱鬧的意味,接下來這兩個例子,笑點就直白多了。
生物醫藥工程師Derya Unutmaz試著讓Fable 5解釋一下人類這個詞,只打了兩個字,「Explain human」。
模型思考了幾秒,界面直接彈出一張卡片,標題是「Switched to Opus 4.8」,下面一行小字解釋說Fable 5的安全機制判定這條消息里有需要攔截的內容,并且說明這種情況有時候也會發生在正常安全的對話里。
Derya Unutmaz的吐槽很直接,一家名字帶著關乎人類意思的公司,做出來的模型連解釋人類這個詞都要繞道走,這操作本身就是對這家公司最好的諷刺。
![]()
更滑稽的是,半導體分析師Dylan Patel問了一個更簡單的問題,raspberry這個單詞里有幾個字母r。
這條請求同樣被攔截,界面彈出的卡片標題是「Chat paused」,說明文字寫著Fable 5的安全機制會攔截大多數網絡安全或生物學話題,有時候連安全正常的內容也會被誤傷。
Dylan Patel配的文案帶著調侃,「I love Fable 5 and Anthropic」。
![]()
評論區里,另一位用戶Zander貼出了自己的對話截圖打臉,同樣的問題,他那邊順利跑通,模型老老實實數出了三個r,還細心標注了每個r出現的位置,一個在開頭,兩個在中間。
![]()
同一個問題,有的人被攔,有的人沒事,模型能不能回答,就跟抽獎差不多。
截然相反的結果放在一起,說明Fable 5安全限制的判定標準,可能連A÷自己都說不清楚卡在哪里。
模型貨不對板,網友:被A社詐騙了
真正把吐槽大會推向高潮的,是一張賬單截圖。
編程測評機構BridgeMind發了一條推文,說自己剛為一次編程session付了321美元,而Fable 5在這次session里拒絕干活。
截圖里貼出了完整的用量統計,總費用321.53美元,總耗時按API計算超過5個小時,實際掛鐘時間2小時38分鐘,這次session一共改動了11976行新增代碼和2119行刪除代碼。
賬單里按模型拆分了用量,Fable 5那部分只花了78.38美元,Opus 4.8那部分花了242.24美元。
換算成占比,這次session里四分之三的工作量,被轉給了BridgeMind壓根兒沒有主動選擇的Opus 4.8。
![]()
Opus 4.8本身單價比Fable 5更便宜,這次降級嚴格來說沒讓BridgeMind多付一分錢的單價。
但讓人不滿的不是價格,是貨不對板。
BridgeMind選的是Fable 5,付的是Fable 5那個價位的期待,最后拿到手的東西,四分之三出自Opus 4.8的手筆。
他在推文里把這句話說得很重,模型沒干活,活是替補干的,只是賬單上寫的還是主力的名字。
用戶Lex轉發了這條賬單,飆起了F word,直言這就是純純詐騙。
![]()
花Fable 5的錢,辦Opus 4.8的事,這中間的落差,才是這條吐槽真正戳中的地方。
現在的Fable,不是以前的Fable了
下來這組數據,把這些零散的吐槽釘成了一個能復現的結論。
評測機構BridgeMind用自家的BridgeBench跑分體系,拿同一套題目分別測了Fable 5回歸前后兩個版本。
結果,三項核心指標全線下跌。
- Debugging從86.2跌到25.9,跌幅超過六成,排名也從第9名跌到第41名;
- Refactoring從73.6跌到38.4,接近腰斬,排名跌到倒數區;
- Hallucination從75.9跌到61.7,跌幅相對最小,是三項里唯一沒有腰斬的。
對此,BridgeMind表示,這不是之前的那個Fable,A÷欠所有人一個解釋。
![]()
跌得最狠的debugging這一項,BridgeMind給出了更細的拆解。
12個debugging任務里,只有3個是在沒有觸發降級的情況下完整跑完的,剩下9個全部在中途被系統判定不安全,轉給了Opus 4.8處理。
這些被轉走的任務,在打分體系里全部記為零分。
![]()
所以,跑分暴跌的真相不是模型突然變笨了,是一大半任務壓根沒跑到終點就被攔了下來。
另一位AI從業者Hesamation把這組前后對比做成了一張柱狀圖廣泛轉發,圖注寫得很直接,Fable 5不是被削弱了,是被宰了,問題根本不在模型本身,在Anthropic設下的這套硬性護欄。
![]()
有人甚至覺得,所謂的Fable或者Mythos,實際上壓根兒就不存在。
![]()
BridgeMind的測評給前面幾段的吐槽提供了數據背書,賬單里那75%的轉移、raspberry問題的隨機攔截、內心獨白里的連滾帶爬,實際上說的都是同一件事,那就是Fable 5的護欄收得太緊了。
總之,模型能力的問題和產品體驗的問題,這幾天被攪成了一鍋粥。
Fable 5這一版到底強不強,討論到最后好像已經不是重點,大家真正在乎的,是自己選擇的模型,有沒有老老實實地在給自己干活。
[1]https://x.com/om_patel5/status/2072559663636205824
[2]https://x.com/kimmonismus/status/2072721044159287361
[3]https://x.com/dylan522p/status/2072741962214707311
[4]https://x.com/xw33bttv/status/2072464948551373049
[5]https://x.com/DeryaTR_/status/2072751750453301741
[6]https://x.com/bridgemindai/status/2072662214704533888
[7]https://x.com/thdxr/status/2072193338271301844
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.