Google強(qiáng)化學(xué)習(xí)首次實(shí)現(xiàn)實(shí)時(shí)容錯(cuò)優(yōu)化，邏輯穩(wěn)定性提升3.5倍

編輯丨^…^

量子計(jì)算機(jī)的本質(zhì)其實(shí)是一種模擬機(jī)器，在其中，量子比特始終在與環(huán)境進(jìn)行著一場(chǎng)無聲的較量。溫度的細(xì)微變化、電子器件的老化、控制線路的漂移，都會(huì)讓量子門操作逐漸偏離最佳狀態(tài)。哪怕只有極小的誤差積累，也足以讓原本正確的計(jì)算結(jié)果失去意義。

如今的超導(dǎo)量子計(jì)算機(jī)需要頻繁停下任務(wù)進(jìn)行校準(zhǔn)，工程師不斷測(cè)量系統(tǒng)狀態(tài)、調(diào)整數(shù)千個(gè)控制參數(shù)，再重新開始計(jì)算。這套流程在今天的小規(guī)模設(shè)備上尚且能夠維持，但隨著容錯(cuò)量子計(jì)算逐漸走向數(shù)百甚至數(shù)千個(gè)邏輯量子比特，依賴人工或固定規(guī)則的校準(zhǔn)方式開始暴露出越來越明顯的瓶頸。

如果量子計(jì)算機(jī)能夠像自動(dòng)駕駛汽車一樣，在運(yùn)行過程中持續(xù)感知自身狀態(tài)，并實(shí)時(shí)修正控制參數(shù)，會(huì)發(fā)生什么？

2026 年 7 月 8 日，Google 量子 AI 團(tuán)隊(duì)在《Nature》上發(fā)表了「Reinforcement learning control of quantum error correction」。他們訓(xùn)練了一個(gè)強(qiáng)化學(xué)習(xí)智能體來穩(wěn)定邏輯量子比特，能夠從失敗中持續(xù)不斷地學(xué)習(xí)。

論文鏈接：https://www.nature.com/articles/s41586-026-10759-2

當(dāng)校準(zhǔn)成為挑戰(zhàn)

對(duì)于經(jīng)典計(jì)算機(jī)來說，一次程序運(yùn)行結(jié)束后，只要硬件沒有損壞，下一次運(yùn)行通常不會(huì)有太大差別。

量子計(jì)算卻完全不同。

現(xiàn)代容錯(cuò)量子計(jì)算系統(tǒng)因此需要維護(hù)數(shù)量龐大的控制參數(shù)。從單量子比特旋轉(zhuǎn)角度、雙量子比特耦合強(qiáng)度，到讀出校準(zhǔn)和脈沖補(bǔ)償，每一種參數(shù)都會(huì)隨著環(huán)境變化不斷偏離最優(yōu)值。隨著編碼距離不斷增加，需要維護(hù)的參數(shù)數(shù)量也呈指數(shù)式增長(zhǎng)，傳統(tǒng)依賴人工經(jīng)驗(yàn)或逐項(xiàng)掃描的校準(zhǔn)流程開始變得難以為繼。

更棘手的是，真正決定計(jì)算質(zhì)量的邏輯錯(cuò)誤率（Logical Error Rate，LER）本身十分稀有。這也是過去很長(zhǎng)時(shí)間里，強(qiáng)化學(xué)習(xí)始終難以真正應(yīng)用于容錯(cuò)量子計(jì)算的重要原因。

研究團(tuán)隊(duì)沒有直接優(yōu)化最終邏輯錯(cuò)誤率，而是提出一種代理目標(biāo)（Surrogate Objective）。

圖 1：強(qiáng)化學(xué)習(xí)概述。

在表面碼（Surface Code）等量子糾錯(cuò)方案中，每完成一次糾錯(cuò)循環(huán)，系統(tǒng)都會(huì)產(chǎn)生大量錯(cuò)誤檢測(cè)事件。這些檢測(cè)器能夠告訴研究人員：哪些局部區(qū)域出現(xiàn)了異常，哪些量子門可能正在發(fā)生漂移。

傾聽每一個(gè)錯(cuò)誤

雖然單個(gè)檢測(cè)事件并不能直接代表最終計(jì)算是否失敗，但它們卻像汽車儀表盤上的各種傳感器一樣，持續(xù)反映著系統(tǒng)健康狀態(tài)。

于是，研究人員把這些原本用于量子糾錯(cuò)的數(shù)據(jù)，直接轉(zhuǎn)化成強(qiáng)化學(xué)習(xí)能夠理解的即時(shí)獎(jiǎng)勵(lì)。

圖 2：從錯(cuò)誤中學(xué)習(xí)。

團(tuán)隊(duì)進(jìn)一步利用檢測(cè)器之間天然形成的因子圖（Factor Graph），把整個(gè)量子芯片劃分成大量局部子區(qū)域。每個(gè)控制參數(shù)只需要關(guān)注與自己相關(guān)的檢測(cè)事件，每一次動(dòng)作獲得的獎(jiǎng)勵(lì)也來自附近區(qū)域，而不是整個(gè)系統(tǒng)最終是否出錯(cuò)。這樣一來，原本極其稀疏、延遲嚴(yán)重的獎(jiǎng)勵(lì)，被拆解成連續(xù)、局部且高頻的學(xué)習(xí)信號(hào)。

在此基礎(chǔ)上，強(qiáng)化學(xué)習(xí)代理采用策略梯度（Policy Gradient）方法持續(xù)調(diào)整控制參數(shù)。當(dāng)檢測(cè)事件減少時(shí)，相應(yīng)策略獲得正向獎(jiǎng)勵(lì)；當(dāng)局部錯(cuò)誤增加時(shí)，AI 則自動(dòng)修正控制策略。整個(gè)學(xué)習(xí)過程無需人工標(biāo)注，也不依賴預(yù)設(shè)漂移模型，而是完全依據(jù)量子計(jì)算機(jī)運(yùn)行過程中產(chǎn)生的數(shù)據(jù)不斷更新自身策略。

為了驗(yàn)證這一思路，研究團(tuán)隊(duì)首先人為向系統(tǒng)注入持續(xù)變化的控制漂移，模擬真實(shí)設(shè)備長(zhǎng)期運(yùn)行過程中不可避免的參數(shù)偏移。

結(jié)果顯示，在沒有強(qiáng)化學(xué)習(xí)介入時(shí)，隨著漂移不斷累積，邏輯錯(cuò)誤率迅速惡化；而 RL 代理能夠持續(xù)根據(jù)檢測(cè)事件調(diào)整控制參數(shù)，使系統(tǒng)始終保持接近最佳工作狀態(tài)。整個(gè)實(shí)驗(yàn)過程中，邏輯計(jì)算穩(wěn)定性提升約3.5 倍，AI 幾乎始終追著漂移變化完成實(shí)時(shí)補(bǔ)償，而不是像傳統(tǒng)校準(zhǔn)那樣等誤差累積到一定程度后再統(tǒng)一修復(fù)。

圖 3：QEC 性能的強(qiáng)化學(xué)習(xí)微調(diào)。

邁向真正的大規(guī)模量子控制

對(duì)于未來的大規(guī)模容錯(cuò)量子計(jì)算而言，更重要的問題是：隨著量子比特不斷增加，這套方法還能否繼續(xù)工作？

為此，研究團(tuán)隊(duì)進(jìn)一步將強(qiáng)化學(xué)習(xí)應(yīng)用到不同規(guī)模的量子糾錯(cuò)編碼中。

在實(shí)驗(yàn)平臺(tái)上，研究人員首先以經(jīng)過人工專家優(yōu)化后的系統(tǒng)作為基線，再讓強(qiáng)化學(xué)習(xí)繼續(xù)接管校準(zhǔn)過程。結(jié)果發(fā)現(xiàn)，即便是在已經(jīng)高度優(yōu)化的基礎(chǔ)上，RL 仍然能夠持續(xù)發(fā)現(xiàn)新的改進(jìn)空間，使 LER 進(jìn)一步下降約20%。

圖 4：RL 轉(zhuǎn)向演示。

這一結(jié)果意味著，強(qiáng)化學(xué)習(xí)并不是簡(jiǎn)單替代傳統(tǒng)校準(zhǔn)，而是在專家經(jīng)驗(yàn)之外繼續(xù)進(jìn)行精細(xì)優(yōu)化，不斷逼近系統(tǒng)能夠達(dá)到的最佳狀態(tài)。

最后，團(tuán)隊(duì)演示了 RL 控制的可擴(kuò)展性，此時(shí)，需要同時(shí)優(yōu)化的控制參數(shù)數(shù)量已經(jīng)接近4 萬個(gè)，遠(yuǎn)遠(yuǎn)超過人工能夠維護(hù)的范圍。然而，得益于局部獎(jiǎng)勵(lì)機(jī)制和因子圖帶來的天然并行性，系統(tǒng)訓(xùn)練效率并沒有隨著規(guī)模擴(kuò)大而明顯惡化，不同區(qū)域依舊能夠獨(dú)立學(xué)習(xí)、協(xié)同優(yōu)化，展現(xiàn)出良好的可擴(kuò)展能力。

量子的前景

過去，量子計(jì)算的控制策略大多遵循「發(fā)現(xiàn)問題—暫停計(jì)算—重新校準(zhǔn)—恢復(fù)運(yùn)行」的模式。隨著設(shè)備規(guī)模不斷擴(kuò)大，這種停機(jī)維護(hù)不僅會(huì)帶來巨大的時(shí)間成本，也會(huì)讓整個(gè)系統(tǒng)越來越難以管理。而強(qiáng)化學(xué)習(xí)提供了一種全新的思路：讓校準(zhǔn)從一項(xiàng)獨(dú)立任務(wù)，變成量子計(jì)算持續(xù)運(yùn)行過程中自然發(fā)生的一部分。

AI不再只是分析實(shí)驗(yàn)數(shù)據(jù)，也不只是幫助優(yōu)化算法，而是開始直接參與底層控制系統(tǒng)，在每一次量子糾錯(cuò)循環(huán)中持續(xù)學(xué)習(xí)、持續(xù)修正、持續(xù)優(yōu)化。

對(duì)于真正的大規(guī)模容錯(cuò)量子計(jì)算而言，這種變化意味著控制方式正在發(fā)生根本轉(zhuǎn)變——未來的量子計(jì)算機(jī)或許不會(huì)等到出現(xiàn)問題再去校準(zhǔn)，而是在每一個(gè)計(jì)算周期里主動(dòng)修正自身狀態(tài)，讓系統(tǒng)始終保持最佳工作點(diǎn)。未來的容錯(cuò)量子計(jì)算，或許將第一次真正擁有持續(xù)「自我維護(hù)」的能力。