OpenAI的新語音模型，先把用戶煩到了

本文來自微信公眾號：字母AI，作者：袁心玥，題圖來自：AI生成

在昨夜凌晨的直播中，OpenAI發(fā)布了新一代語音模型GPT-Live，并宣布它將開始驅(qū)動ChatGPT Voice。

上次ChatGPT Voice的代際更新，還是2024年5月GPT-4o發(fā)布時展示的Advanced Voice；同年7月，它開始向部分Plus用戶小范圍推出。到GPT-Live發(fā)布，已經(jīng)過去了兩年。

這一次，OpenAI把full-duplex，也就是全雙工架構(gòu)，帶進了ChatGPT Voice。

過去的AI語音助手，大多像一臺反應(yīng)很快的對講機：用戶說完一句，模型再回一句；模型說話時，用戶可以打斷，但系統(tǒng)往往要重新判斷、重新組織回答。

它已經(jīng)像對話，卻還不夠自然，不像真正的聊天。

GPT-Live要解決的，正是這層微妙的差別。

該功能今天將在ChatGPT上正式啟用。但……反響似乎并不算很好？

對ChatGPT Voice的一次補課

在真實聊天里，除了打辯論，人和人很少是一句接一句、整整齊齊地輪流發(fā)言。我們會停頓，會猶豫，會突然改口，也會在對方說話時補一句“等等，不是這個意思”。

有時候，一聲“嗯嗯”“我懂”，比一段完整回答更重要；有時候，最好的回應(yīng)反而是先不要說話，讓對方繼續(xù)往下說。

過去的AI語音助手，最難處理的正是這些細節(jié)。

無論是ChatGPT、Gemini還是我們最熟悉的豆包，它們在“聊天”上都很干澀，很有人機感。

它們可以回答問題，可以讀出文字，也可以在用戶打斷時停止。但它們通常仍然依賴一個前提：先判斷用戶是不是已經(jīng)說完了，再決定模型該不該說話。判斷一旦出錯，對話就會變得別扭。

用戶只是停頓了一秒，它可能以為問題結(jié)束了，急著接話；用戶說到一半改了主意，它可能還在沿著上一句話往下答；背景里有人說話，它也可能把不屬于用戶的聲音當成輸入。

GPT-Live要改善的，就是這些很難被包裝成“大功能”、但會直接決定體驗的小問題。

要理解現(xiàn)在的GPT-Live，先要看OpenAI此前的語音系統(tǒng)是怎么工作的。

最早的ChatGPT Voice，采用的是級聯(lián)語音系統(tǒng)（cascaded voice system）。

簡單說，它不是一個模型從頭到尾處理語音，而是由多個模型接力完成：先把用戶的語音轉(zhuǎn)成文字，再讓大語言模型根據(jù)文字生成回答，最后再把文字轉(zhuǎn)換成語音。

這套方案的好處是容易搭建，也能很快把大語言模型接進語音交互里。但它的問題也很明顯：語音里的大量信息，會在“語音轉(zhuǎn)文字”的第一步就丟失。

模型生成回答時，它看到的往往只是一段被整理過的文字，而不是完整的對話現(xiàn)場。用戶的語氣、停頓、情緒變化，并不會進入后面的語言模型。再加上多個模型串聯(lián)，延遲也會被一層層疊加，語音助手就很容易變成“聽一句、想一下、再念一句”。

GPT-4o之后，OpenAI推出了Advanced Voice，開始用原生音頻模型直接處理和生成聲音。

相比級聯(lián)系統(tǒng)，這是一次明顯的進步：模型不用先把所有語音轉(zhuǎn)成文字，再繞一圈生成語音；它能保留更多音頻細節(jié)，延遲也更低，用戶可以更自然地打斷。

但Advanced Voice仍然沒有完全擺脫回合制。

OpenAI在介紹GPT-Live時，把此前的Advanced Voice稱為回合制語音模型（turn-based voice model）。它已經(jīng)比傳統(tǒng)語音助手更自然，但仍然要先判斷用戶是否說完，再決定模型是否應(yīng)該開始回答。

這個機制在文本聊天里沒有問題，用戶按下發(fā)送鍵，就等于明確告訴模型這一輪輸入結(jié)束了——但語音聊天并不會有那個按鈕，什么時候應(yīng)該回答，需要由模型自己判斷。

用戶停頓一秒，可能是說完了，也可能只是還在想；用戶拖長音，可能是在組織語言，也可能是醞釀情緒；背景里傳來別人的聲音，可能被誤判成新的輸入。

回合制語音模型最難處理的，就是這個邊界。

GPT-Live通過兩項架構(gòu)上的改進，去解決這個問題。

第一項改進，是把語音對話從“輪流發(fā)言”推進到full-duplex。

它可以持續(xù)聽、持續(xù)判斷、持續(xù)生成語音，而不只是在用戶結(jié)束發(fā)言后才進入回答狀態(tài)。

或者說，模型在參與一場仍在發(fā)生的對話，而不只是回答一個已經(jīng)結(jié)束的問題。

根據(jù)官方介紹，GPT-Live每秒可以做出多次交互決策：是繼續(xù)說話、繼續(xù)傾聽、暫停、打斷對方的話語，還是調(diào)用某個工具。這讓它能夠進行更自然的互動交流、更好地把握時間順序，甚至可以實時翻譯。

可以看到，在用戶說話的過程中，GPT-Live會給出一些情緒上的回應(yīng)。就像你和你朋友煲電話粥，總會夾雜著一些“嗯”“哦”的聲音。

事實上，GPT-Live并不是第一個嘗試全雙工架構(gòu)的語音模型。此前Kyutai的Moshi、英偉達的PersonaPlex，以及一批學(xué)術(shù)模型，已經(jīng)在探索讓AI同時聽和說，處理停頓、插話和短反饋；谷歌的Gemini Live雖然沒有強調(diào)全雙工，但也已經(jīng)在做實時語音對話和原生音頻模型，方向上非常接近。

GPT-Live的不同之處，是把“邊聽邊說”的能力帶進了ChatGPT這個主流入口，并且能和OpenAI的其它模型一起配合。

這就要說到第二項改進：語音交互層和后臺智能之間的分工。

GPT-Live并不只是一個“更會說話的模型”，它更像ChatGPT的實時語音交互層：負責聽、說、等待、打斷、判斷何時回應(yīng)，也負責維持對話節(jié)奏。

遇到需要搜索、推理或復(fù)雜任務(wù)的問題時，它可以把任務(wù)交給背后的更強模型處理。

語音模型不必在每一句話里都承擔全部智能壓力。簡單問題可以快速回答，復(fù)雜問題可以調(diào)用更高強度的推理；對話層負責保持流暢，后臺模型負責完成真正的思考和任務(wù)處理。

這個架構(gòu)同樣不是很新，但不新，并不代表不好用。

我更愿意理解為這是OpenAI對ChatGPT Voice的一次補課：把過去已經(jīng)在行業(yè)里出現(xiàn)的實時語音交互能力，和full-duplex語音結(jié)合起來，然后塞到ChatGPT里。

評測與評價

GPT-Live的實際效果，現(xiàn)在還不適合下太滿的結(jié)論。

每次發(fā)布新模型，OpenAI都很擅長圍繞新能力重新定義一套評估標準。模型會推理，就強調(diào)推理；模型會寫代碼，就強調(diào)代碼。

這次它同樣給出了一套自己的評估結(jié)果，包括對中斷、等待、短反饋、背景噪音、語音理解等能力的測試。

根據(jù)這套新建的評估標準，在5到10分鐘的匹配語音對話中，評測者明顯更偏好GPT-Live-1和GPT-Live-1 mini。

除此之外，還有一些別的榜單，或許值得一看。

OpenAI稱，GPT-Live-1在GPQA、BrowseComp和內(nèi)部版本的τ3-Voice Telecom上都超過Advanced Voice Mode，分別對應(yīng)科學(xué)推理、網(wǎng)頁搜索和多輪電信客服任務(wù)。

但這部分也不能簡單理解成“GPT-Live這個語音模型本身變聰明了”。因為GPT-Live在遇到搜索、推理和復(fù)雜任務(wù)時，會把任務(wù)交給背后的GPT-5.5。

換句話說，官方評估更像是在證明新的ChatGPT Voice系統(tǒng)更強，而不是單獨證明語音交互層本身已經(jīng)完成了質(zhì)變。

而且你們可能已經(jīng)注意到了，它只做了縱向比較（和自己以前的模型作對比），橫向是一點也沒提。

我們無從得知，GPT-Live放到整個語音AI行業(yè)里，到底處在什么位置。

網(wǎng)友對此的評價比較兩極分化。

一部分人認為，這次更新具有非常大的潛力，如果能用在編程上，或許會改變很多人的習(xí)慣。

但也有很多網(wǎng)友認為，GPT-Live這種頻頻回應(yīng)的方式有些令人生厭。

還有人指出了它現(xiàn)在的問題，比如在實時模式下無法查詢到ChatGPT的記憶，又比如明明是語音功能，卻在攝像頭模式和屏幕共享模式下無法使用。

對，是的，無法使用。

根據(jù)官方文檔，GPT-Live現(xiàn)已在全球范圍內(nèi)向所有使用iOS、Android系統(tǒng)的ChatGPT用戶以及ChatGPT.com的用戶開放。對于Go、Plus和Pro版用戶來說，GPT-Live-1將成為驅(qū)動ChatGPT Voice功能的默認模型；而對于免費用戶而言，GPT-Live-1 mini則將成為默認模型。

在推出時，GPT-Live不支持在ChatGPT中進行語音通話、視頻通話或屏幕共享功能。官方正在努力盡快添加這些功能，用戶仍然可以使用ChatGPT Voice的舊版本，包括標準語音模式和高級語音模式，這些版本中包含上述功能。

語音助手，先要變得不煩人

OpenAI披露，每周已經(jīng)有超過1.5億人通過Voice和Dictation與ChatGPT說話。用戶拿它做的事情很日常：騰不出手時問點日常問題，練外語，講睡前故事，通勤路上聊天。

這些事情算不上很炫酷，卻是語音功能最真實的使用場景。

根據(jù)官方文檔，OpenAI這次把升級拆成了四個方向：更自然的對話、更聰明的回答、更好的聆聽，以及可視化回答。

更自然的對話，對應(yīng)的是用戶可以中途插話，可以停下來想一想，也可以要求ChatGPT放慢語速。模型會用“嗯嗯”“明白”這類短反饋表示自己在聽，而不是永遠等到用戶說完才突然開始輸出一大段回答。

OpenAI還重新處理了ChatGPT里的九種聲音，讓它們更適配GPT-Live。

更聰明的回答，對應(yīng)的是語音模式和最新前沿模型的連接。用戶可以選擇不同推理強度：Instant用來快速回答，Medium和High則給需要更多思考的問題使用。

這個設(shè)計其實挺現(xiàn)實的，因為語音場景對延遲非常敏感。問一個簡單問題時，你可能希望它立刻回答；討論一個復(fù)雜問題時，又需要它真的多想一會兒。

更好的聆聽，則是這次升級里最接近日常體驗的一點。用戶停頓時，ChatGPT Voice應(yīng)該等待，而不是急著插話；用戶要求它先安靜聽，它就應(yīng)該保持安靜；背景里有車聲、旁邊人說話時，它也要更專注于用戶本人的聲音。

對語音助手來說，這些能力聽起來不如“推理更強”響亮，但往往決定用戶愿不愿意繼續(xù)用。

當然，從首批反饋看，GPT-Live還沒有完全解決這個問題。有用戶認為它的短反饋過多，甚至?xí)兂闪硪环N打擾。但我覺得可以給它一點時間。

最后是可視化回答。OpenAI 提到，用戶說話時，ChatGPT可以展示天氣、股票、體育等視覺卡片；Voice也繼續(xù)支持搜索、記憶、圖片和文件上傳。

這說明OpenAI在把語音和屏幕信息重新組合起來：適合聽的，用聲音說；適合看的，就直接展示。

過去，語音更多是文本框的替代品。用戶不想打字，就對著手機說一句；模型生成回答，再把文字念出來。它本質(zhì)上還是文本交互的延伸，只是把鍵盤換成了麥克風，把屏幕上的文字換成了聲音。

但包括GPT-Live在內(nèi)的、當下的語音助手指向了另一種產(chǎn)品形態(tài)：語音不再只是輸入輸出通道，而是AI參與現(xiàn)實任務(wù)的實時入口。

GPT-Live的重點并不是要把ChatGPT從文本框里徹底解放出來。更準確地說，它是在補ChatGPT Voice的日常使用感。

不過，這件事要成立有一個前提：它會不會少打擾用戶。

語音助手和文字助手最大的不同是，文字可以被忽略，可以慢慢讀，也可以隨時關(guān)掉；但聲音會直接闖進人的注意力里。它接話太急、短反饋太多、判斷錯停頓，用戶感受到的就不是智能，而是煩人。

GPT-Live的真正考驗也在這里。

這次更新無疑是有價值的，它讓AI語音助手變得更順，也暴露出了變順之后，它可能碰上什么問題。GPT-Live現(xiàn)在暴露出的問題，可能也會是其它AI語音助手未來（或者已經(jīng)存在）的問題。

我想，我們需要一點耐心。

本文來自微信公眾號：字母AI，作者：袁心玥

本內(nèi)容由作者授權(quán)發(fā)布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯(lián)系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4873751.html?f=wyxwapp