AI新星系列報(bào)道之七｜孫啟霖：給機(jī)器裝上中國(guó)智造的“超級(jí)眼睛”
在黑夜暴雨中的駕駛艙內(nèi)，后視鏡上密布的雨珠模糊了后方潛在的危險(xiǎn)——這是傳統(tǒng)汽車(chē)后視鏡在極端天氣下的典型困境。然而，在不久的未來(lái)，駕駛員只需切換至電子后視鏡模式，后方的車(chē)流、車(chē)道便會(huì)瞬間清晰可見(jiàn)，仿佛暴雨被“計(jì)算”成了透明。這種突破物理極限的視覺(jué)革命，正是得益于香港中文大學(xué)（深圳）孫啟霖教授團(tuán)隊(duì)攻堅(jiān)的“端到端計(jì)算攝像”技術(shù)。
孫啟霖教授長(zhǎng)期深耕于端到端計(jì)算攝像相機(jī)設(shè)計(jì)、計(jì)算光學(xué)等領(lǐng)域。他憑借卓越的技術(shù)創(chuàng)新，榮獲2022年度深圳市人工智能獎(jiǎng)和春申金字塔杰出人才稱(chēng)號(hào)。作為一位兼具學(xué)術(shù)深度與產(chǎn)業(yè)敏銳度的科學(xué)家，他積極探索產(chǎn)學(xué)研雙軌實(shí)踐，創(chuàng)立了點(diǎn)昀技術(shù)（Point Spread Technology），致力于打造人與機(jī)器、環(huán)境之間的感知交互入口，將前沿技術(shù)轉(zhuǎn)化為實(shí)際應(yīng)用，讓科技真正普惠生活。
?
汽車(chē)工業(yè)革新：將電子后視鏡延時(shí)縮短10倍
傳統(tǒng)后視鏡在雨霧天氣、復(fù)雜光線(xiàn)或強(qiáng)光炫目的環(huán)境下往往失靈，給行車(chē)安全帶來(lái)巨大隱患。電子后視鏡的出現(xiàn)為這一問(wèn)題提供了理想的解決方案。與傳統(tǒng)后視鏡相比，電子后視鏡具有風(fēng)阻小、盲區(qū)小、雨霧天氣清晰度高等優(yōu)勢(shì)。然而，另一個(gè)技術(shù)難題隨之而來(lái)——攝像延時(shí)問(wèn)題。
孫啟霖教授在阿卜杜拉國(guó)王科技大學(xué)讀博期間所創(chuàng)立的點(diǎn)昀技術(shù)攻克了超低延時(shí)的無(wú)內(nèi)存ISP架構(gòu)，在國(guó)標(biāo)要求200毫秒、市面主流產(chǎn)品延時(shí)35-60毫秒的大環(huán)境下，點(diǎn)昀技術(shù)實(shí)現(xiàn)了20毫秒的超低延時(shí)電子后視鏡技術(shù)，做到了業(yè)界最短的端到端延時(shí)。以120km/h高速行駛的車(chē)輛為例，點(diǎn)昀技術(shù)的超低延時(shí)后視鏡能夠?qū)⒀訒r(shí)的距離差由超過(guò)3.33米縮小到0.66米以?xún)?nèi)，大大提升駕駛員對(duì)后方環(huán)境的實(shí)時(shí)判斷能力。
延時(shí)距離差示意圖
該技術(shù)通過(guò)無(wú)緩存流式處理架構(gòu)、自研ISP架構(gòu)等核心技術(shù)，突破傳統(tǒng)架構(gòu)需緩存導(dǎo)致的延時(shí)瓶頸，實(shí)現(xiàn)從傳感器曝光到屏幕顯示的“零延遲”。在關(guān)鍵器件的生產(chǎn)上，點(diǎn)昀技術(shù)已經(jīng)能夠?qū)崿F(xiàn)全國(guó)產(chǎn)化，以保障供應(yīng)鏈穩(wěn)定，擺脫國(guó)際環(huán)境帶來(lái)的卡脖子限制，給汽車(chē)裝上看得更清、反應(yīng)更快、判斷更準(zhǔn)的“中國(guó)智造超級(jí)眼睛”。同時(shí)，其自研的ISP架構(gòu)具有低功耗、支持高級(jí)去噪和局部色調(diào)映射等特點(diǎn)，不僅可賦能電子后視鏡產(chǎn)品，對(duì)國(guó)產(chǎn)手機(jī)、車(chē)載SoC芯片提供了新的ISP的IP選擇。
隨著2023年7月1日電子后視鏡新國(guó)標(biāo)的正式實(shí)施，允許僅配備電子后視鏡的汽車(chē)合法上路行駛，電子后視鏡市場(chǎng)呈現(xiàn)明顯的上升趨勢(shì)。目前孫啟霖教授團(tuán)隊(duì)技術(shù)已獲得多家車(chē)企定點(diǎn)合作，據(jù)他預(yù)測(cè)，未來(lái)兩年半至三年內(nèi)將在全國(guó)市場(chǎng)達(dá)到百萬(wàn)級(jí)年銷(xiāo)量，擁有廣闊的市場(chǎng)前景。
?
最年輕的AI黑馬：構(gòu)建人本位的萬(wàn)物交互生態(tài)
由孫啟霖教授領(lǐng)航的點(diǎn)昀技術(shù)是國(guó)際領(lǐng)先的端到端智能視覺(jué)系統(tǒng)方案商，專(zhuān)注于打造端到端感知與交互新入口，致力于推動(dòng)下一代計(jì)算攝像革命。在2022年第二屆“深圳人工智能獎(jiǎng)”的評(píng)選中，孫啟霖教授團(tuán)隊(duì)研發(fā)的“端到端可微計(jì)算光學(xué)平臺(tái)”獲得“深圳人工智能行業(yè)應(yīng)用獎(jiǎng)”，成為了入選的14項(xiàng)成果中最年輕的初創(chuàng)企業(yè)。
榮獲2022年度深圳市人工智能獎(jiǎng)
孫啟霖教授表示，所有技術(shù)都是服務(wù)于人，人是一切的核心。他希望能夠構(gòu)建人與環(huán)境、機(jī)器與環(huán)境之間的信息橋梁，通過(guò)通用感知與交互技術(shù)，讓機(jī)器更懂人類(lèi)世界，真正做到科技普惠每個(gè)人的生活。
?
重新定義計(jì)算攝像：打破硬件與算法的傳統(tǒng)壁壘
如果將手機(jī)攝影的發(fā)展進(jìn)程比作一場(chǎng)“光學(xué)革命”，過(guò)去十年的技術(shù)躍遷早已顛覆了人們的認(rèn)知——從10萬(wàn)像素的模糊畫(huà)面，到如今動(dòng)輒億萬(wàn)級(jí)像素的清晰度，動(dòng)態(tài)鏡頭、長(zhǎng)焦畫(huà)面的捕捉游刃有余，手機(jī)鏡頭似乎已經(jīng)無(wú)所不能。但孫啟霖教授指出，這場(chǎng)“革命”仍存在一個(gè)隱形天花板：傳統(tǒng)計(jì)算攝影多基于經(jīng)驗(yàn)驅(qū)動(dòng)，其硬件和算法始終各自為政，光學(xué)系統(tǒng)與后處理算法無(wú)法做到聯(lián)合優(yōu)化，難以達(dá)到最佳效果。
孫啟霖教授團(tuán)隊(duì)創(chuàng)新性地引入可微分光線(xiàn)追蹤技術(shù)，從應(yīng)用需求出發(fā)，將硬件、軟件、算法以及配套部件融合為一個(gè)完整的系統(tǒng)，最終呈現(xiàn)給終端用戶(hù)?！拔覀兇蚱屏藗鹘y(tǒng)光學(xué)硬件與算法之間的壁壘，通過(guò)構(gòu)建可微分的系統(tǒng)，實(shí)現(xiàn)硬件參數(shù)與后續(xù)算法參數(shù)的聯(lián)合優(yōu)化?！睂O教授表示，這種方法不僅提升了系統(tǒng)效率，還能在功耗、算法復(fù)雜度和成本之間找到最佳平衡點(diǎn)。
從手機(jī)拍照到低延時(shí)車(chē)載圖像處理，從三維攝像到智能B柱的應(yīng)用，從工業(yè)自動(dòng)化到自動(dòng)駕駛——端到端計(jì)算攝像正在重塑計(jì)算攝像的定義和范式。它的應(yīng)用之廣泛，與每個(gè)人的日常生活息息相關(guān)。孫教授團(tuán)隊(duì)引領(lǐng)的這一技術(shù)創(chuàng)新未來(lái)將有望在多個(gè)領(lǐng)域克服傳統(tǒng)技術(shù)的不足，突破成本、功耗和性能的隱形天花板，帶來(lái)質(zhì)的飛躍。
?
布局未來(lái)：架起機(jī)器與世界的感知橋梁
研究者與創(chuàng)業(yè)者的雙重身份賦予了孫啟霖教授更廣闊的視野——既要知道現(xiàn)在能做什么，也要預(yù)見(jiàn)未來(lái)。在未來(lái)10-15年內(nèi)，機(jī)器人產(chǎn)業(yè)將迎來(lái)大規(guī)模爆發(fā)，孫教授早已瞄準(zhǔn)機(jī)器人產(chǎn)業(yè)，積極布局，專(zhuān)注于高精度環(huán)境感知系統(tǒng)的研發(fā)。他指出，汽車(chē)與機(jī)器人的架構(gòu)會(huì)逐漸趨同，兩者均由一個(gè)核心的決策控制器配合終端的感知來(lái)實(shí)現(xiàn)具體的功能。因此，汽車(chē)的部件與機(jī)器人的部件有望可以通用，通過(guò)復(fù)用汽車(chē)產(chǎn)業(yè)的規(guī)?；布鷳B(tài)，機(jī)器人核心部件成本有望斷崖式下降，這將間接地推動(dòng)機(jī)器人產(chǎn)業(yè)的降本與擴(kuò)張。
而在另一片戰(zhàn)略高地，孫教授正突破水下光學(xué)極限，通過(guò)解決水下渾濁環(huán)境中的高遠(yuǎn)距離信息攝像問(wèn)題，為海洋資源勘探構(gòu)筑“深藍(lán)之眼”，有望應(yīng)用在海洋探測(cè)、潛艇監(jiān)測(cè)、港口監(jiān)測(cè)、漁業(yè)監(jiān)測(cè)等眾多水下應(yīng)用場(chǎng)景，為國(guó)家戰(zhàn)略資源的開(kāi)發(fā)與監(jiān)測(cè)提供支持。
面對(duì)當(dāng)下人工智能領(lǐng)域“短平快”的創(chuàng)新競(jìng)逐，孫啟霖教授卻更像一名深?？碧秸摺V信長(zhǎng)周期、大資源投入的價(jià)值，專(zhuān)注于具有長(zhǎng)遠(yuǎn)價(jià)值的研究與應(yīng)用，他相信只有扎實(shí)的基礎(chǔ)與持續(xù)的努力，并組織一幫天才做好一件事才能在時(shí)代浪潮中脫穎而出。這種長(zhǎng)期主義也投射到他對(duì)人才培養(yǎng)的理念中：“競(jìng)爭(zhēng)力來(lái)自系統(tǒng)級(jí)能力，我希望學(xué)生能夠避免‘短平快’的刷論文心態(tài)，每個(gè)人能夠沉下心來(lái)在讀書(shū)期間從軟件、硬件到算法搭建一個(gè)完整系統(tǒng)，成為能夠獨(dú)當(dāng)一面的架構(gòu)者和領(lǐng)導(dǎo)者?！?/p>
?
青年教授簡(jiǎn)介
孫啟霖
香港中文大學(xué)（深圳）助理教授
孫啟霖，香港中文大學(xué)（深圳）助理教授，點(diǎn)昀技術(shù)創(chuàng)始人。獲得2022年度深圳市人工智能獎(jiǎng)、春申金字塔杰出人才。研究領(lǐng)域集中于端到端計(jì)算攝像相機(jī)設(shè)計(jì)、計(jì)算攝像、光學(xué)、SPAD陣列攝像、水下攝像與散射介質(zhì)激光雷達(dá)，博士期間發(fā)表多篇一作ACM TOG、SIGGRAPH、Siggraph Aisa、CVPR（oral）等并長(zhǎng)期擔(dān)任審稿人。擔(dān)任CAAI青工委委員、3DV專(zhuān)委、智能無(wú)人系統(tǒng)建模與仿真專(zhuān)委、GAMES執(zhí)行委員、FOE青年編委等。所創(chuàng)辦的點(diǎn)昀技術(shù)致力于打造端到端計(jì)算光學(xué)平臺(tái)，提供攝像一體化解決方案。主持量產(chǎn)了面向?qū)崟r(shí)三維重建的高速、高精度車(chē)規(guī)、工業(yè)級(jí)RGBD相機(jī)（100FPS軟時(shí)鐘多機(jī)對(duì)齊），實(shí)現(xiàn)了小面積低功耗全并行異構(gòu)4KRAW域BM3D視頻與超低延時(shí)ISP。
