OpenAI的新語音模型，先把用戶煩到了

在昨夜凌晨的直播中，OpenAI發布了新一代語音模型GPT-Live，并宣布它將開始驅動ChatGPT Voice。

上次ChatGPT Voice的代際更新，還是2024年5月GPT-4o發布時展示的Advanced Voice；同年7月，它開始向部分Plus用戶小范圍推出。到GPT-Live發布，已經過去了兩年。

這一次，OpenAI把full-duplex，也就是全雙工架構，帶進了ChatGPT Voice。

過去的AI語音助手，大多像一臺反應很快的對講機：用戶說完一句，模型再回一句；模型說話時，用戶可以打斷，但系統往往要重新判斷、重新組織回答。

它已經像對話，卻還不夠自然，不像真正的聊天。

GPT-Live要解決的，正是這層微妙的差別。

該功能今天將在ChatGPT上正式啟用。但……反響似乎并不算很好？

對ChatGPT Voice的一次補課

在真實聊天里，除了打辯論，人和人很少是一句接一句、整整齊齊地輪流發言。我們會停頓，會猶豫，會突然改口，也會在對方說話時補一句“等等，不是這個意思”。

有時候，一聲“嗯嗯”“我懂”，比一段完整回答更重要；有時候，最好的回應反而是先不要說話，讓對方繼續往下說。

過去的AI語音助手，最難處理的正是這些細節。

無論是ChatGPT、Gemini還是我們最熟悉的豆包，它們在“聊天”上都很干澀，很有人機感。

它們可以回答問題，可以讀出文字，也可以在用戶打斷時停止。但它們通常仍然依賴一個前提：先判斷用戶是不是已經說完了，再決定模型該不該說話。判斷一旦出錯，對話就會變得別扭。

用戶只是停頓了一秒，它可能以為問題結束了，急著接話；用戶說到一半改了主意，它可能還在沿著上一句話往下答；背景里有人說話，它也可能把不屬于用戶的聲音當成輸入。

GPT-Live要改善的，就是這些很難被包裝成“大功能”、但會直接決定體驗的小問題。

要理解現在的GPT-Live，先要看OpenAI此前的語音系統是怎么工作的。

最早的ChatGPT Voice，采用的是級聯語音系統（cascaded voice system）。

簡單說，它不是一個模型從頭到尾處理語音，而是由多個模型接力完成：先把用戶的語音轉成文字，再讓大語言模型根據文字生成回答，最后再把文字轉換成語音。

這套方案的好處是容易搭建，也能很快把大語言模型接進語音交互里。但它的問題也很明顯：語音里的大量信息，會在“語音轉文字”的第一步就丟失。

模型生成回答時，它看到的往往只是一段被整理過的文字，而不是完整的對話現場。用戶的語氣、停頓、情緒變化，并不會進入后面的語言模型。再加上多個模型串聯，延遲也會被一層層疊加，語音助手就很容易變成“聽一句、想一下、再念一句”。

GPT-4o之后，OpenAI推出了Advanced Voice，開始用原生音頻模型直接處理和生成聲音。

相比級聯系統，這是一次明顯的進步：模型不用先把所有語音轉成文字，再繞一圈生成語音；它能保留更多音頻細節，延遲也更低，用戶可以更自然地打斷。

但Advanced Voice仍然沒有完全擺脫回合制。

OpenAI在介紹GPT-Live時，把此前的Advanced Voice稱為回合制語音模型（turn-based voice model）。它已經比傳統語音助手更自然，但仍然要先判斷用戶是否說完，再決定模型是否應該開始回答。

這個機制在文本聊天里沒有問題，用戶按下發送鍵，就等于明確告訴模型這一輪輸入結束了——但語音聊天并不會有那個按鈕，什么時候應該回答，需要由模型自己判斷。

用戶停頓一秒，可能是說完了，也可能只是還在想；用戶拖長音，可能是在組織語言，也可能是醞釀情緒；背景里傳來別人的聲音，可能被誤判成新的輸入。

回合制語音模型最難處理的，就是這個邊界。

GPT-Live通過兩項架構上的改進，去解決這個問題。

第一項改進，是把語音對話從“輪流發言”推進到full-duplex。

它可以持續聽、持續判斷、持續生成語音，而不只是在用戶結束發言后才進入回答狀態。

或者說，模型在參與一場仍在發生的對話，而不只是回答一個已經結束的問題。

根據官方介紹，GPT-Live每秒可以做出多次交互決策：是繼續說話、繼續傾聽、暫停、打斷對方的話語，還是調用某個工具。這讓它能夠進行更自然的互動交流、更好地把握時間順序，甚至可以實時翻譯。

可以看到，在用戶說話的過程中，GPT-Live會給出一些情緒上的回應。就像你和你朋友煲電話粥，總會夾雜著一些“嗯”“哦”的聲音。

事實上，GPT-Live并不是第一個嘗試全雙工架構的語音模型。此前Kyutai的Moshi、英偉達的PersonaPlex，以及一批學術模型，已經在探索讓AI同時聽和說，處理停頓、插話和短反饋；谷歌的Gemini Live雖然沒有強調全雙工，但也已經在做實時語音對話和原生音頻模型，方向上非常接近。

GPT-Live的不同之處，是把“邊聽邊說”的能力帶進了ChatGPT這個主流入口，并且能和OpenAI的其它模型一起配合。

這就要說到第二項改進：語音交互層和后臺智能之間的分工。

GPT-Live并不只是一個“更會說話的模型”，它更像ChatGPT的實時語音交互層：負責聽、說、等待、打斷、判斷何時回應，也負責維持對話節奏。

遇到需要搜索、推理或復雜任務的問題時，它可以把任務交給背后的更強模型處理。

語音模型不必在每一句話里都承擔全部智能壓力。簡單問題可以快速回答，復雜問題可以調用更高強度的推理；對話層負責保持流暢，后臺模型負責完成真正的思考和任務處理。

這個架構同樣不是很新，但不新，并不代表不好用。

我更愿意理解為這是OpenAI對ChatGPT Voice的一次補課：把過去已經在行業里出現的實時語音交互能力，和full-duplex語音結合起來，然后塞到ChatGPT里。

評測與評價

GPT-Live的實際效果，現在還不適合下太滿的結論。

每次發布新模型，OpenAI都很擅長圍繞新能力重新定義一套評估標準。模型會推理，就強調推理；模型會寫代碼，就強調代碼。

這次它同樣給出了一套自己的評估結果，包括對中斷、等待、短反饋、背景噪音、語音理解等能力的測試。

根據這套新建的評估標準，在5到10分鐘的匹配語音對話中，評測者明顯更偏好GPT-Live-1和GPT-Live-1 mini。

除此之外，還有一些別的榜單，或許值得一看。

OpenAI稱，GPT-Live-1在GPQA、BrowseComp和內部版本的τ3-Voice Telecom上都超過Advanced Voice Mode，分別對應科學推理、網頁搜索和多輪電信客服任務。

但這部分也不能簡單理解成“GPT-Live這個語音模型本身變聰明了”。因為GPT-Live在遇到搜索、推理和復雜任務時，會把任務交給背后的GPT-5.5。

換句話說，官方評估更像是在證明新的ChatGPT Voice系統更強，而不是單獨證明語音交互層本身已經完成了質變。

而且你們可能已經注意到了，它只做了縱向比較（和自己以前的模型作對比），橫向是一點也沒提。

我們無從得知，GPT-Live放到整個語音AI行業里，到底處在什么位置。

網友對此的評價比較兩極分化。

一部分人認為，這次更新具有非常大的潛力，如果能用在編程上，或許會改變很多人的習慣。

但也有很多網友認為，GPT-Live這種頻頻回應的方式有些令人生厭。

還有人指出了它現在的問題，比如在實時模式下無法查詢到ChatGPT的記憶，又比如明明是語音功能，卻在攝像頭模式和屏幕共享模式下無法使用。

對，是的，無法使用。

根據官方文檔，GPT-Live現已在全球范圍內向所有使用iOS、Android系統的ChatGPT用戶以及ChatGPT.com的用戶開放。對于Go、Plus和Pro版用戶來說，GPT-Live-1將成為驅動ChatGPT Voice功能的默認模型；而對于免費用戶而言，GPT-Live-1 mini則將成為默認模型。

在推出時，GPT-Live不支持在ChatGPT中進行語音通話、視頻通話或屏幕共享功能。官方正在努力盡快添加這些功能，用戶仍然可以使用ChatGPT Voice的舊版本，包括標準語音模式和高級語音模式，這些版本中包含上述功能。

語音助手，先要變得不煩人

OpenAI披露，每周已經有超過1.5億人通過Voice和Dictation與ChatGPT說話。用戶拿它做的事情很日常：騰不出手時問點日常問題，練外語，講睡前故事，通勤路上聊天。

這些事情算不上很炫酷，卻是語音功能最真實的使用場景。

根據官方文檔，OpenAI這次把升級拆成了四個方向：更自然的對話、更聰明的回答、更好的聆聽，以及可視化回答。

更自然的對話，對應的是用戶可以中途插話，可以停下來想一想，也可以要求ChatGPT放慢語速。模型會用“嗯嗯”“明白”這類短反饋表示自己在聽，而不是永遠等到用戶說完才突然開始輸出一大段回答。

OpenAI還重新處理了ChatGPT里的九種聲音，讓它們更適配GPT-Live。

更聰明的回答，對應的是語音模式和最新前沿模型的連接。用戶可以選擇不同推理強度：Instant用來快速回答，Medium和High則給需要更多思考的問題使用。

這個設計其實挺現實的，因為語音場景對延遲非常敏感。問一個簡單問題時，你可能希望它立刻回答；討論一個復雜問題時，又需要它真的多想一會兒。

更好的聆聽，則是這次升級里最接近日常體驗的一點。用戶停頓時，ChatGPT Voice應該等待，而不是急著插話；用戶要求它先安靜聽，它就應該保持安靜；背景里有車聲、旁邊人說話時，它也要更專注于用戶本人的聲音。

對語音助手來說，這些能力聽起來不如“推理更強”響亮，但往往決定用戶愿不愿意繼續用。

當然，從首批反饋看，GPT-Live還沒有完全解決這個問題。有用戶認為它的短反饋過多，甚至會變成另一種打擾。但我覺得可以給它一點時間。

最后是可視化回答。OpenAI 提到，用戶說話時，ChatGPT可以展示天氣、股票、體育等視覺卡片；Voice也繼續支持搜索、記憶、圖片和文件上傳。

這說明OpenAI在把語音和屏幕信息重新組合起來：適合聽的，用聲音說；適合看的，就直接展示。

過去，語音更多是文本框的替代品。用戶不想打字，就對著手機說一句；模型生成回答，再把文字念出來。它本質上還是文本交互的延伸，只是把鍵盤換成了麥克風，把屏幕上的文字換成了聲音。

但包括GPT-Live在內的、當下的語音助手指向了另一種產品形態：語音不再只是輸入輸出通道，而是AI參與現實任務的實時入口。

GPT-Live的重點并不是要把ChatGPT從文本框里徹底解放出來。更準確地說，它是在補ChatGPT Voice的日常使用感。

不過，這件事要成立有一個前提：它會不會少打擾用戶。

語音助手和文字助手最大的不同是，文字可以被忽略，可以慢慢讀，也可以隨時關掉；但聲音會直接闖進人的注意力里。它接話太急、短反饋太多、判斷錯停頓，用戶感受到的就不是智能，而是煩人。

GPT-Live的真正考驗也在這里。

這次更新無疑是有價值的，它讓AI語音助手變得更順，也暴露出了變順之后，它可能碰上什么問題。GPT-Live現在暴露出的問題，可能也會是其它AI語音助手未來（或者已經存在）的問題。

我想，我們需要一點耐心。（作者/袁心玥）