正交與投影：最小化問題的核心 | 泛函分析第八講

導語

集智學園聯合東京都市大學賈伊陽老師共同開設了「」課程，本系列課程將以嚴謹的理論推導為核心，逐步建立泛函分析的基礎架構。第一階段將探討從有限維跨越到無限維的動機與基礎；第二階段將重點建立度量與完備性，掌握 Banach 空間與不動點定理的精髓；第三階段將深入探討 Hilbert 空間的幾何結構與對偶空間的映射體系。最終，在第四階段，將梳理完整的結構總覽與應用地圖，透視這些純粹的數學工具如何作為底層基石，廣泛應用于現代物理、復雜系統模擬與前沿計算科學中。

作為系列課程的第八講，賈伊陽老師將以「正交與投影：最小化問題的核心」為主題，本節內容將聚焦最小二乘、數據擬合與信號濾波場景，深入剖析投影定理、最佳逼近及傅里葉系數原理。來建立深刻的幾何直覺，透徹理解“變分法的本質即為正交投影”，從而掌握解決最小化問題的核心。正式分享將于5月31日（周日）19:00-20:30進行。

主題：正交與投影：最小化問題的核心

課程簡介

嶺回歸為什么能抑制過擬合？圖像去模糊為什么離不開正則化？最小二乘的解何時會被噪聲放大到失穩？這些機器學習與信號處理中反復出現的問題，背后是同一個數學結構——在 Hilbert 空間中求最優逼近，本質上是一次正交投影。

本講從最小二乘與正規方程出發，先把“求最優解”翻譯成“求正交投影”，再揭示當算子接近奇異、特征值趨近零時投影解為何不穩定，由此引出不適定問題。隨后用 Moore–Penrose 廣義逆給出最小范數解，用 Tikhonov 正則化把不穩定的最小化問題穩定下來，并從譜濾波與 Fourier 濾波的角度解釋正則化在頻域里究竟做了什么。最后提升到 RKHS，說明核嶺回歸就是無限維空間中的正則化。學完能看清線性回歸、嶺回歸、核方法與圖像反演共享的同一套“投影—正則化”框架。

課程大綱

• 補充數學：譜理論與 Hilbert 空間算子

• 正交投影作為最優化結構

• • 從投影問題到算子方程

  • 不適定問題與廣義逆

  • 正則化與譜濾波

  • RKHS 中的提升

關鍵術語

• 伴隨算子：算子的“轉置”在 Hilbert 空間的推廣，把殘差從觀測空間映回參數空間。

• 正規方程：最小二乘問題的最優性條件，由殘差與值域正交導出。

• 正交投影：把向量投到子空間上的最近點，即最優逼近。

• 譜分解 / 投影算子值測度（PVM）：按算子的作用方式把空間分解為本征子空間的工具。

• 不適定問題：解不存在、不唯一或不連續依賴數據的問題。

• Moore–Penrose 廣義逆：在無逆或多解時給出的最小范數最小二乘解。

• Tikhonov 正則化：在最小化目標中加入范數懲罰項以穩定解，即嶺回歸。

• 譜濾波：在算子的譜（特征值）上加權，壓制趨零特征值方向的放大效應。

• RKHS：再生核 Hilbert 空間，函數取值由內積（核）再生的空間。

• 核嶺回歸：在 RKHS 中做 Tikhonov 正則化的回歸方法。

課程信息

課程主題：正交與投影：最小化問題的核心

課程時間：2026年5月31日（周日） 19:00-20:30

課程形式：騰訊會議（會議信息見群內通知）；集智學園網站錄播（3個工作日內上線）

課程主講人

賈伊陽，東京都市大學講師、前日本女子大學助理教授，前日本成蹊大學助理教授。研究重點是計算復雜性，算法，以及范疇相關理論。集智學園《》課程講師。

課程適用對象

• 做微分方程、數值算法、反問題、信號處理、控制的學習者與研究者

• 做優化、機器學習、統計推斷，希望理解正則化與泛化的結構來源的研究者

• 讀量子/數學物理文獻，希望把 Hilbert 空間與算子語言用順手的研究者

• 更廣義地：經常處理“函數作為未知量”的問題、并且想要一套可遷移框架的研究者

1. 面對一個新問題，你能先問對問題：該在哪個空間里解？該用哪個范數衡量誤差？需要什么完備性？算子是否有界？

2. 你能理解常見方法背后的統一邏輯：迭代為何收斂、正則化為何穩定、最小二乘為何等價于投影、弱解為何成立。

3. 你會獲得一套“抽象但可落地”的語言：寫證明、讀論文、做建模時，能把碎片化技巧收束到結構層面。

1. 課程形式：騰訊會議直播，集智學園網站錄播。本系列課程不安排免費直播。

2. 課程周期：2026年3月29日-2026年6月14日，每周日晚19點-21點進行。

3. 課程定價：原價499

   1. 早早鳥價299，截止時間：2026年3月22日中午12點

   2. 早鳥價399，截止時間：2026年3月30日中午12點

課程鏈接：https://campus.swarma.org/v3/course/5700?from=wechat

付費流程：

2. 課程頁面添加學員登記表，添加助教微信入群；

3. 課程可開發票。

課程共創任務：課程字幕

為鼓勵學員深度參與、積極探索，我們致力于形成系列化知識傳播成果，并構建課程知識共建社群。為此，我們特別設立激勵機制，讓您的學習之旅滿載收獲與成就感。

課程以老師講授為主，每期結束后，助教會于課程群內發布字幕共創任務。學員通過參與這些任務，不僅能加深對內容的理解，還可獲得積分獎勵。積分可兌換其他讀書會課程或實物獎品，助力您的持續成長。