賽道 Hyper | 智能手機影像破局：高通的選擇

一項出現在 2020 年的影像應用技術，可能會成為智能手機和 XR 的影像傳感器技術迭代和體驗改善的新武器。

這項技術，目前已明確被高通和索尼，甚至是梅賽德斯 - 奔馳等，在不同應用領域的超級巨頭採用。

這家叫做 Prophesee（普諾飛思）的法國公司，是這項被稱為 “基於事件的視覺傳感器技術” 的原創公司。最近，Prophesee 來到中國，專門對此項技術做了深入解釋。

就核心技術應用價值來説，這個拗口的技術名稱，在手機領域，起的作用，簡單一句話——大幅改善手機攝影照片質量。此外，在智能座艙、XR（擴展現實）、醫學和工業（高速機器視覺）方面，有超越想象的技術應用。

那麼，基於事件，是什麼意思？索尼已推出相應的工業傳感器，高通將於年內推出應用這項技術的驍龍芯片開發套件，屆時對手機/XR 影像帶來哪些新體驗？

什麼是基於事件？

在 2020 年的 ISSCC（國際固態電路年度會議：IEEE International Solid-State Circuits Conference）會議上，Prophesee 和索尼聯合推出了兩款 “基於事件的” 視覺傳感器（IMX636/637）。據稱，這兩款傳感器在應用於工業設備、機器人和自動駕駛汽車等領域時，能 “更好地 ‘看見’ 和 ‘感知’ 環境”。

Prophesee 在技術介紹中談到，基於事件的傳感器 “自帶的視覺技術系統產生的數據量，比傳統圖像傳感器減少近千倍，同時能實現大於 10000fps 的更高幀速率”。

這是怎麼做到的？

常規圖像或視覺傳感器，以幀為單位記錄動態影像畫面。比如，電影每秒記錄 24 幀畫面（24fps）；很多智能手機視頻規格為 30fps/60fps，以此構成視覺上連續的影像畫面。

這種影像，實際上存在兩個問題，或者説缺陷：首先，幀與幀之間可能存在重要的未記錄信息；第二，每幀靜態畫面，非常多的信息都會被重複記錄。這些信息冗餘，對後端畫面計算、數據傳輸和存儲，會構成極大負擔。

避免重複記錄重複信息，以及完整記錄幀與幀之間的全部的重要信息，這是 “基於事件的視覺傳感器” 有別於普通傳感器的技術特徵。

事實上，這相當於借鑑了人眼看到物理場景時，感光細胞與大腦信息的當量和速度反饋鏈條的生理性。

觀察生理學原理，人類能從 1000 次/s 變化率的場景中捕獲有價值的信息；人類眼睛的感光細胞，在檢測到視覺場景中某些特性——如對比度或亮度——變化時，感光細胞才會將這種變化反饋給大腦。

Prophesee 正是模擬應用了人眼和大腦反饋形成的信息規模和速度原理，做的其實是模擬人眼視覺的 “神經形態視覺技術（Neuralmorphic Vision Technology）”。

在此技術基礎上，Prophesee 開發的視覺傳感器被稱為 “硅視網膜（Silicon Retinas）”，並配以 “模擬人類大腦的計算機視覺 AI 算法”，以及對應的包括 SDK、代碼示例和即用型應用等軟件工具在內的視覺工具包智能套件。

Prophesee 重新設計了像素，這就像視網膜的感光細胞。各像素之間，各自獨立故而異步，就像人體的神經元（Neuron）細胞。

因此，和人眼視覺原理類似，Prohesee 開發的傳感器，只有在像素感知到場景變化時才會做信息記錄，而不會捕捉場景中保持靜態的部分。

每個像素都能根據各自感應到的光子數量，異步且智能地激活自身。在這裏，像素的每次激活稱為一個 “事件（event）”，整個過程是μs 級別的速度。從傳感器上讀出對應像素的數據，等效於實現 10000fps 的幀率。

“基於事件”，即緣於此。

同時，基於事件視覺傳感器捕獲的圖像信息，並非逐幀發送，而是通過連續的信息流捕獲事件信息，故幀與幀之間不會遺漏任何重要信息。另外，事件由場景動態驅動，採集速度始終與實際場景動態相匹配。

這就很明顯，基於事件的視覺感知設計，對應形成了三個優勢：數據產生量更少、反應速度更快、能實現更高的動態範圍（>120dB）。

在應用場景中，比如手機影像，這種基於事件的傳感器，在拍攝動態畫面時，不會捕捉整個畫面，而是把注意力放在正在移動的部分信息層。因此，這種傳感器能做到更高效、更快速地捕捉畫面。

高通為何看得上？

目前，尚未有融合了基於事件的視覺技術的智能手機傳感器。2020 年索尼和 Prohesee 聯合推出的兩款 “事件傳感器” 應用於工業領域，如用於外觀或異物檢測、機械異常檢測、3D 測量、震動檢測和追蹤太空碎片等。

在今年的 MWC2023，高通宣稱，其將 Prophesee 的事件視覺傳感器和軟件整合到驍龍移動平台上，相關開發套件將於今年上市。但這也不是智能手機影像傳感器。

但是，畢竟這是一個很好的開始。應用此項技術的驍龍平台，在處理最常用的拍照功能時，能輕易實現將原本用普通傳感器拍出的模糊照片變得極為清晰，同時還不消耗 AI 算力。

據 Prophesee 聯合創始人兼執行總裁 Luca Verre 透露，Prophesee 和高通在今年推出的開發套件是雙方合作的一部分，更重要的在於後續合作，而這項合作將給普通用户帶來影像方面更為優異的體驗。

“我們和高通合作，主要是兩個方面：一是技術層面，一是商業發展。” Luca Verre 説，“技術方面，高通會將事件視覺傳感器和軟件整合到驍龍移動平台上；在業務發展上，高通將和我們共同推進這個產品和技術的發展和落地，向手機 OEM 推廣相應的解決方案。”

鑑於 “事件傳感器” 在醫學領域的傑出表現（比如超越想象的盲人復明），高通決定和 Prophesee 達成長期戰略性的合作伙伴關係。這種合作是因為對智能手機而言，“事件傳感器” 藴含的神經擬態技術，對計算影像或其他傳感應用，都能帶來極高的附加值。

高通產品管理副總裁 Judd Heape 表示，“神經擬態視覺技術突破了行業現有的遊戲規則，能有效突破傳統相機的侷限，並提升整體用户體驗。Prophesee 無疑是這一領域的領導者，我們對雙方的合作很有信心，這將進一步推動領先的 OEM 部署神經擬態視覺技術，從而開啓移動影像技術的全新時代。”

除手機外，IoT 領域的監控安防，對 “事件傳感器” 來説，也是極好的應用場景。Prophesee 的技術不但能保護隱私，而且還能節省數據流量和資源，讓整個方案變得更便捷、更輕和更安全。今年 Prophesee 在該領域就會有相應的量產產品落地。

除了智能手機和 IoT 的影像應用，“事件傳感器” 對 XR（擴展現實）的意義或許更大。

Prophesee 在可穿戴設備和 XR 領域也做了探索和突破，包括像位姿跟蹤、手勢追蹤和目光跟蹤等等，這些都是增速極快且會有全新空間的新市場。

目前，XR 設備的延遲較為嚴重，使用者會產生暈眩感。但 Prophesee 的事件視覺技術能精準檢測目標對象的輪廓，並做高速追蹤，因而延遲較低。

另外以眼球追蹤為例，若使用傳統攝像頭，通常需要超過 500fps 的速度，對算力要求極高。與傳統解決方案相比，事件視覺技術只關注畫面中動態變化的信息，可大大降低數據量，實現超高速追蹤。

2022 年，Meta 公司也發佈了基於與 Prophesee 合作取得的成果和數據，在有限的功耗內實現了高性能的眼球追蹤。

值得一提的是，高通的驍龍芯片，不僅僅只限於智能手機領域，在 XR 領域，驍龍也有 “驍龍 R2” 芯片，為 VR（XR 的一種）提供技術支撐。