仿生機器人能否學會“眉來眼去”？| 星聚墨子（9）

在墨子沙龍和SELF講壇聯合舉辦的2016年創新大會上，上海大學仿生視覺與類腦智能研究所所長張曉林，開展了一場題為《讓機器人“開眼”看世界》的主題演講。

▲張曉林教授近照 來源：新華社

眼睛的出現促使生命大量誕生。人類的眼睛是所有動物中綜合性能最高的，我為人類感到驕傲。

各位嘉賓大家好，我從事仿生眼研究二十多年，最初的研究方向是產業機器人的控制。之后從人類眼球的運動構造出發，來探討工學意義上的眼睛的形態。今天我將和大家分享我的研究。

1

第一部分

一千雙眼中的一千個“哈姆雷特”

從寒武紀海洋蠕蟲的感光細胞，再到昆蟲、蜘蛛、脊椎動物的視覺分化，不同生物的眼睛演化出截然不同的不同的“觀察邏輯”——或為規避天敵，或為精準捕獵，或為空間抓取。這些形態各異的視覺系統，共同構建出如同“一千個哈姆雷特”般形態各異的生存“視界”。

寒武紀時期，生命經歷了大爆發，許多生命形式在短短幾百萬年間突然涌現。研究認為，這是因為那時一種名為海洋蠕蟲的生物，其大腦細胞產生了感光效應。這些感光細胞逐漸演變成了眼睛，而眼睛的出現則促使生命大量誕生。這種海洋蠕蟲名為奇蝦。它當時有兩只眼睛，現在判斷應為復眼。正是因為有了這雙眼睛，它才成為了當時的海洋霸主。

▲第一個近乎完整的奇蝦化石 來源：維基百科

由于眼睛的誕生，剛才提到的奇蝦所屬的節肢動物門，至今依然存在，并且是地球上種類最多的門類。

幾乎所有的昆蟲都擁有復眼，其中蜻蜓的種類最多，它有兩只復眼，兩只眼睛里有2萬多個小視孔。由于復眼很容易實現立體視覺，因此昆蟲等較為簡單的動物易采用復眼結構。但人類若使用復眼則會遇到問題，因為如果人的視覺系統采用復眼，其尺寸需要達到直徑一米多，才能實現人眼目前的功能。

還有一種眼睛屬于蜘蛛，這種蜘蛛叫跳蛛，它不織網，而是在地面奔跑捕食。這種跳蛛有八只單眼，前四后四，因為它的脖子不能轉動。

▲昆蟲、節肢動物、軟體動物、脊椎動物的眼睛 來源：科學出版社

最終在進化中勝出的是脊椎動物的眼睛。幾乎所有的脊椎動物都擁有兩只眼睛，且這兩只眼睛都是可動的。脊椎動物的眼睛又可分為四種。

第一種是食草性動物，例如兔子，擁有360度的視角，可以全方位觀察。但其缺陷在于雙眼視野沒有交叉，因此不具備立體感。但它不追蹤獵物，只是為了防止被肉食性動物捕食，所以視野范圍廣就足夠了。

第二種是食肉性動物，它們的眼睛與人眼較為接近，朝向前方，需要精準測量獵物的距離。因此，其雙眼重合的視野部分很大。

第三種，是鷹眼，它能在千米高空發現地面上的小老鼠或蛇。鷹眼與人眼的不同之處在于，它擁有兩個以上的中心凹。所謂中心凹，就是我們人眼中央看東西最清晰，而周邊則較為模糊的區域。當它在千米高空俯瞰時，會使用深度中心凹來觀察遠處。當它發現目標后，便會盤旋下降，在接近地面時，使用兩個眼睛的近距離中心凹，沿直線俯沖捕捉獵物。

▲中國科學院上海微系統與信息技術研究所仿生視覺系統實驗室基于仿生鷹眼的雪山冰川測量驗證。來源：澎湃新聞

第四種，也是我們主要研究的，是人類的眼睛。人類的眼睛是所有動物中綜合性能最高的，我為人類感到驕傲。我推測這與人類祖先，如猴子在樹木間跳躍有關。它不僅需要單個物體的立體視覺和距離判斷，更需要整體的空間視覺能力，以便能準確抓取。因此，它的立體視覺和顏色辨別能力都非常強。由于人類會研究自身疾病，因此對人眼的解剖和功能理解最為透徹。

2

第二部分

當我們談論人是視覺動物時，我們在談論什么

人眼接收的信息占人腦從外界接觸信息的83%以上。視覺信號在大腦中處理的部分非常大。同時，視覺神經實際上是從腦細胞進化而來的。因此，人眼其實是大腦延伸到體表的一部分，可以說人眼就是大腦。

▲本次講座展示的人眼的獨特構造 來源：墨子沙龍

人眼有一個中心凹，當眼睛朝上看時，光線到達中心凹，在正負大約十度以內，看到的東西非常清晰。可以看到，中心凹區域的視覺細胞是視錐細胞，數量約有700多萬個。而周邊區域視錐細胞很少，主要是視桿細胞，數量竟有1.5億多。視桿細胞具有低通濾波器的功能，它將圖像模糊化。通過模糊化處理，其運算速度會提高，精度也會變得更高。這可能在直觀上不易理解，相當于“難得糊涂”，這種糊涂反而更容易看清本質。我們的圖像處理也是如此，需要將圖像模糊化后，再尋找其特征點。

目前機器人視覺中的眼睛大多是固定的，即便偶爾有動的，也只是模仿人眼的運動，而非真正利用其運動。實際上，眼球運動非常關鍵。它可以實現視交叉，即左眼和右眼的信息交互在一起，只有這樣，才能實現立體視覺。

人眼的功能最重要的是檢測自身的位置，即自己的移動和轉動。其次才是對象物的距離、位置和方向，以及其尺寸。這些都是最基本的功能，幾乎所有動物都具備，有些動物甚至沒有大腦和小腦，但依然具備視覺功能。

▲上海黃浦區悖論博物館的“埃姆斯房間”，讓大腦的空間構建與線性透視假設在特定場景下被“欺騙”。它揭示出人類的視覺系統會根據環境自動推測大小、位置、顏色等。 來源：上海黃浦

真正的智能部分在后端，即空間環境感知。動物之所以能回到自己的巢穴，是因為它的大腦會慢慢拼接生成一張空間地圖，并知道自己在地圖上的位置。這也是我們視覺系統后端的研究將實現的目標。

變色龍的兩只眼睛可以分別觀察，它在瞬間完成對目標位置的測量。而人眼需要的不是某一個目標，而是整體的空間立體視覺，因此它需要始終保持左眼和右眼的位置關系。

這種位置關系非常微妙。當一個物體逐漸走近或走遠時，眼睛會進行相對運動，即不僅會一起動，還可以相對而動，但又不會分開。人眼左右眼的位置關系，即相對位置關系，我們稱之為“標準輻輳”，即左右眼之間的上下、旋轉以及距離高低等。所有這些都可以通過旋轉來保證平行，其精度非常高。

▲人眼通過多重因素建立立體視覺。來源：清華大學

人眼還有一種功能叫前庭動眼反射。人的耳朵里有半規管和耳石，用來測量頭部的旋轉和平移運動，這些信號用來控制眼睛。因此人眼的視野非常穩定。無論騎摩托車還是奔跑，看到的景象都非常穩定。當你頭部左轉時，在黑夜中眼睛會自然向右轉。

另一個很重要的功能是跳躍性眼球運動。眼睛會進行高速的跳躍運動，從一個物體跳到另一個物體。其最高速度可達每秒800度。在跳躍過程中，所有圖像都會被切斷，人是看不見的，即模糊階段是看不見的。例如，人在跑，對方也在跑，但你想看誰就能看誰，這在機器人上是非常難實現的。

3

第三部分

仿生機器人能否學會“眉來眼去”？

要模仿人眼，主要是模仿三大部分。即“標準輻輳”、前庭動眼反射和跳躍性眼球運動。

首先是眼球的構造要與人眼類似，具有運動控制系統。在人腦的腦干和大腦中處理圖像。目前大部分機器人視覺都在做圖像處理，而很少有研究眼球運動的。我們正好填補了這份空白。將運動與圖像處理慢慢結合，會產生比固定雙目視覺更高級的圖像。

▲得益于雙目視覺系統，機器人能夠與面前的觀眾進行眼神交流。來源：https://b23.tv/vQmrtTC

我們計劃將眼球運動的算法集成到芯片中，再與視覺云和互聯網連接，利用大數據等功能，使這雙眼睛的功能接近甚至超越人眼。

▲中國科學院上海微系統與信息技術研究所雙目視覺微系統，可有效提升視差預測效率和精度。來源：上海嘉定

我們讓機器人基本實現了前庭動眼反射。我們設計了一個陀螺儀和加速度傳感器，將它們的信號加入到視覺反饋系統中后，整個眼睛就會變得非常穩定。快速轉動也不會跑掉。現在，目標物走近它就會后退，后退它就會跟隨。這樣，機器人可以跟著主人走，而不會撞到主人身上。

還有就是跳躍性眼球運動，即當對方有兩個目標在動，自己也在動時，可以想看誰就能看誰。這在控制上比較復雜，我們花了較長時間，大約在六七年前完成了這項工作。

總的來說，仿生視覺技術的應用比較廣泛。利用它，只要給機器人一個地圖，它就知道自己在地圖上的位置。還可以通過三維重建，將遠和近的物體分離開，這樣就知道哪里是障礙物。

當仿生眼能夠達到人眼的一些基本功能后，在很多方面會超越人眼。

人眼只能對焦不能變焦，而機器人可以實現變焦。而且我們的轉角傳感器精度高達千分之一度，所以測量精度會高很多。控制速度等可以遠遠超過人眼。機器人通過大數據和物聯網，可以同時進行大量數據處理，這也是人腦所不具備的。

▲電影《阿凡達》拍攝現場 來源：豆瓣

當我們拍攝3D電影時，兩個攝像機的位置需要與人眼完全一致，才不會感到眩暈。這個功能是在《阿凡達》上映后，我們才開始注意到的。而我們在做機器人眼睛時已經有了這個功能，我們開發了一套全自動的3D攝影系統。這個系統目前效果很好，是全球唯一可以自動拍攝3D的系統。機器人視覺的成熟，一定會讓機器人物種迎來大爆炸。

文字整理：詩學