面向綜合監督領域的大模型智能問答技術——以管網智能監督系統為例

一、引言

國資監管智能化已成為新時代國企改革的重要命題，國務院國資委要求“加快提升國資監管智能化水平”，這一政策導向在管網集團的綜合監督領域尤為迫切。在數字化轉型背景下，開發大模型智能問答系統能夠為管網系統的綜合監督職能提供有力的數智技術支撐。從咨詢服務角度，業務人員在開展業務過程中，往往不了解合規風險點、關鍵控制點，也不清楚如何合規開展業務以規避風險；在業務系統開發設計時，未能將風險管控手段嵌入系統，事前、事中未有效管控。借助大模型AI技術，監督系統能夠通過智能問答等手段提升合規認知，自動獲取在業務系統智能風險管控方面的有關建議。從監督履職角度，監督人員如果不能全面了解監督業務有關政策、文件、知識、流程、工作方法等，不了解業務有關上級要求、政策規定、領導講話、工作要點、會議紀要等信息，將影響監督工作有效開展。大模型智能問答技術的快速幫助，能夠大幅提升監督質量和效率。

但現有的智能問答大模型技術，在面對管網監督場景時仍面臨以下挑戰。

1.知識碎片化與更新滯后。監督與審計知識分散在合同、財務、招投標、項目管理等多個業務系統中，制度更新頻繁，條款交叉復雜，人工檢索難以保證完整性與時效性。

2.智能問答幻覺與結果不可驗證。現有通用大模型雖然具備語言理解能力，但在缺乏領域知識支撐時容易生成事實錯誤或無法引用來源的內容，難以滿足審計“可追溯、可驗證”的剛性要求。

3.計算邏輯復雜與數值不可信。在預算執行率、資金撥付差異率、投資回報率等核心計算場景中，通用模型往往出現邏輯幻覺或估算式回答，削弱了審計結果的可信度。

針對上述問題，本文提出構建一套面向管網智能審計與監督融合場景的大模型智能問答系統，通過生成式人工智能技術實現知識自動聚合、語義理解與結果驗證。

二、構建綜合監督

大模型智能問答系統

綜合監督大模型智能問答系統的基本流程如圖1所示。這一模型將致力于提供更加精準、高效的智能化知識輔助，幫助用戶迅速獲取所需要的信息，從而顯著提高工作效率和決策質量。具體而言，該系統的建設任務主要包括以下幾個方面。

首先，要進行知識庫的構建與檢索增強工作。通過整合來自多個來源的監督數據，打造一個覆蓋全面且內容豐富的領域知識庫。同時，設計出一種高效而靈活的檢索增強機制，以便更好地滿足各種復雜多樣的問答需求。這不僅要求系統能夠快速準確地從海量信息中找到相關答案，還應具備一定的擴展性，以應對未來可能出現的新問題類型。

其次，在結果引用與語義匹配方面，需要進一步提高模型對提問者意圖和上下文環境的理解程度，確保其能夠依據實際情況生成高質量的回復。為此，需要運用自然語言處理技術，增強模型對文本深層含義的捕捉能力，并結合實際案例進行訓練優化，使最終輸出的答案既合乎邏輯，又貼合真實應用場景。

再次，針對監督領域中頻繁出現的財務計算、統計比率等問題，系統需要學習如何在回答中生成計算指令而非直接“編造”結果，從而保證輸出的數值結果具有可驗證的準確性。

最后，還需明確不同使用場景下的智能問答功能需求。例如，支持語音輸入或文字輸入等多種交互方式，針對特定業務關注點如“最近發生了哪些故障？”“目前的風險等級如何？”等問題給予及時有效的回復。為了使信息呈現更加直觀易懂，可將分析結果以圖表、地圖等形式進行可視化展示，以便非專業人士也能輕松理解其中蘊含的關鍵信息。

三、綜合監督大模型

智能問答系統的關鍵技術

大模型用于監督智能問答場景的主要任務是與綜合監督知識相關的問答。由于大模型在實際應用中存在幻覺問題，即使大模型具備了綜合監督領域的知識和分析能力，也可能輸出錯誤的答案。為滿足綜合監督領域對智能問答和文本生成的相關需求，本文引入了三項用于智能問答大模型的關鍵技術（如圖2所示）。

1.面向綜合監督領域智能問答的輔助知識庫構建和大模型檢索增強技術。將數據進行有效整合，構建綜合監督領域知識庫，并設計相適應的檢索增強技術，使其能夠應對不同咨詢需求。

2.面向綜合監督領域智能問答的結果引用技術。如何根據當前提問者的相關上下文及問題語義，引用最佳的回答，這是保證回答精準度需要進一步研究的關鍵技術。

3.面向計算類問題的結果可信性增強技術。在數值計算方面，大模型可能并未真正理解題目意圖，而是生成一個看似正確的結果。因此，如何消除這部分的計算幻覺，是智能問答大模型研究的要點所在。

（一）基于向量數據庫的檢索增強生成

在執行智能問答時，現有的大模型技術往往面臨幻覺問題。即使提示中包含相應知識性文本，模型也可能自己編造不符合相應知識的回答文本。在需要準確知識或者知識常常發生變動的場景下，通常使用檢索增強生成（Retrieval-Augmented Generation，簡稱RAG）來引入相應的知識，如法律法規，工作指南等。為此，本文將RAG與大模型推理技術相結合，構建面向綜合監督的向量數據庫與關鍵詞索引庫，使得智能問答大模型在推理階段能夠適時地檢索到恰當的支撐文本。基于向量知識庫的檢索增強生成設計框架如圖3所示。整個流程包括面向文檔的局部向量數據庫構建、用戶問題理解與分解、面向向量數據庫的文本檢索、基于檢索文本的候選提示文本生成。

在綜合監管業務中，各類規章制度、法律法規、工作手冊等相關知識不斷更新。因此，在智能問答大模型微調階段，微調的內容可能存在不全面、未及時更新等問題。為解決這類知識更新問題，本項目采用向量知識庫為智能問答大模型提供最新的數據和每個業務部門獨有的內部知識庫。向量數據庫是一種專門用于存儲、管理、查詢、檢索向量的數據庫，它可以把復雜的非結構化數據通過向量化（Embedding）處理統一成多維空間里的坐標值。此外，由于每部法規或制度等文件塊內容較為豐富，本文采用關鍵詞抽取的方式從每個文本塊中抽取一組關鍵詞，并構建關鍵詞—文檔倒排索引結構。更進一步，將關鍵詞和文本塊分別向量化并存入向量數據庫中。針對用戶輸入提問，提取關鍵詞并對關鍵詞和提問文本分別向量化為el，e2。基于向量el，e2與數據庫中各向量之間相似度度量，從向量數據庫中召回綜合相似度最高的若干個文本作為候選提示文本。

（二）基于細粒度引用獎勵的引用強化方法

管網智能審計涉及大量財務指標與邏輯計算，如資金差異比、投資回報率、預算執行率、合同履約進度等。然而，通用大語言模型在生成計算類結果時，往往出現“看似合理但錯誤”的計算幻覺，導致指標失真。例如，在回答“項目預算執行率是多少”時，模型可能直接“猜測”一個百分比，而非依據數據計算得出。這類錯誤在監督審計中將直接影響風險判斷的準確性。在已構建的向量知識庫中獲取候選細粒度文本列表后，智能問答大模型需要將這些候選文本作為提示內容生成答案。為提高生成答案的質量，本文通過細粒度引用獎勵算法來評估每個RAG結果的生成質量。

本文將從三個方面評價RAG結果的生成質量：回復準確率、引用召回率和引用準確率。針對每個方面分別訓練獎勵模型對回復進行打分，隨后使用獎勵模型進行拒絕采樣和強化學習，以增強大模型的事實一致性。其中回復準確率通過回應中包含的關鍵信息片段的比例來衡量。每個問題都附帶一個覆蓋完整答案不同方面的短語或重要信息聲明列表，稱為關鍵信息列表。可使用精確字符串匹配（EM）或自然語言推理（Natural Language Inference，簡稱NLI）模型來推斷列表中的每個項（子聲明）是否被模型回應覆蓋。對于列表中的每一項，如果它出現在回應中，則分配一個正向獎勵；否則，分配一個負向獎勵。然后，將所有列表項的獎勵總和起來，得到整個回應的獎勵。引用召回率定義為模型回應中可以通過相應引用段落支持的句子的百分比。使用NLI模型來確定每個句子是否由其引用段落得出。引用段落被視為前提，答案句子被視為假設。對于每個能由前提得出的句子，分配一個正向獎勵；否則，分配一個負向獎勵。因此，引用召回率在句子級別上計算。引用精確度指的是在回應中生成的引用能夠支持句子的百分比。使用與引用召回率相同的NLI模型來推斷每個引用段落是否對得出句子必要。對于每個“相關”的引用，分配一個正向獎勵；否則，分配一個負向獎勵。因此，引用精確度在引用級別上計算。通過三種不同粒度的獎勵融合，可以訓練大模型在生成答案時準確引用相應的知識，防止其在RAG過程中出現幻覺。

（三）基于自我提示的計算增強方法

為了讓大模型更精準地計算，而非編造一個看似正確的結果。本項目通過大模型的自我提示，基于指令微調數據集構建計算器調用數據集，訓練大模型在需要進行復雜計算時，調用計算器獲得準確的答案。

該方法主要涉及以下幾個步驟。生成計算器調用API Call：首先，針對綜合監管數據中涉及復雜計算的部分，使用大模型的自我提示功能生成對應的計算器API調用指令。這一步驟通過分析綜合監管任務中的計算需求，自動生成API調用的格式和參數，如表1所示，根據生成的API調用指令實際調用計算器，獲得計算結果。其次，通過將這些結果與預期的準確結果進行比對，篩選出那些能夠準確反映計算需求的API調用指令。最后，將這些驗證通過的API調用指令加入大模型的訓練數據集。這樣，當未來大模型遇到類似的計算需求時，可以直接生成正確的API調用指令，通過外部計算器獲得準確的計算結果。

四、綜合監督大模型

智能問答系統的成效

綜合監督大模型智能問答系統的構建與應用，顯著提升了管網集團在監督業務中的智能化與自動化水平，具體成效體現在以下幾個方面。

1.實現知識服務的智能化轉型。

該系統通過構建覆蓋巡視、審計、合同、招標、財務等多個業務領域的知識庫，打破了信息孤島，實現了知識的結構化存儲與語義化檢索。監督人員可通過自然語言問答方式快速獲取法規政策、工作規范及案例指引，顯著降低了信息查詢和培訓成本，推動監督知識服務從“人工解讀”向“智能推送”轉變。

2.顯著提升監督業務處理效率與準確性。

借助RAG檢索增強機制與細粒度引用獎勵算法，模型能自動引用權威文本，生成準確、可追溯的回答。與傳統人工檢索相比，信息響應時間縮短，回答準確率提升，有效減少了監督執行中的信息偏差與判斷失誤。

3.增強智能問答的可信性與可解釋性。

系統通過自我提示的計算增強方法，將復雜公式計算及財務指標分析外化為API調用，從而確保輸出結果的可驗證性。結合引用追蹤與知識溯源機制，用戶可查看模型回答的依據來源，實現了智能問答的“有據可查、可追可溯”。

綜上，系統不僅優化了監督業務流程，也在制度學習、風險防控和決策支持等方面發揮了實質性作用，為國企監督體系提供了可持續的智能化支撐。

五、結語

本文提出的面向綜合監督領域的大模型智能問答系統，以生成式AI為核心驅動力，實現了綜合監督知識的智能聚合、語義理解與動態響應，為國資監管體系的智能化轉型提供了新的解決思路。該系統在知識管理、事實一致性、引用可信度及復雜計算處理等方面形成了一套可復用的技術體系，有效推動了監督業務從“數據驅動”向“知識驅動”的轉變。

未來，隨著多模態模型、圖譜推理及自主學習等技術的進一步發展，本系統將繼續向知識圖譜聯動、語音問答協同、風險智能預警等方向拓展，構建全鏈條、全周期、全要素的智能監督框架，為國家能源企業實現數字化、智能化監督治理提供堅實支撐和可持續發展路徑。

文章摘自《中國內部審計》雜志2026年第1期

作者：張媛 王若琳 陳炳宇

單位：國家石油天然氣管網集團有限公司 北京智網數科技術有限公司

編輯：孫哲

目前190000+人已關注我們，您還等什么？