【所屬領(lǐng)域】
光電信息
【技術(shù)背景】
在信息時(shí)代，機(jī)器視覺在實(shí)現(xiàn)智能社會(huì)方面發(fā)揮著重要作用。視覺特征提取是機(jī)器視覺的一項(xiàng)關(guān)鍵技術(shù)，該技術(shù)可以提取圖像中具有鮮明特征的信息，諸如邊緣、角點(diǎn)、圓以及圖像形狀等特征，這些特征是標(biāo)定機(jī)器視覺系統(tǒng)模型參數(shù)和運(yùn)用機(jī)器視覺技術(shù)進(jìn)行實(shí)際應(yīng)用的前提和基礎(chǔ)。視覺特征提取技術(shù)廣泛應(yīng)用于自主移動(dòng)智能機(jī)器人、無人駕駛和無人機(jī)等場(chǎng)景，這些應(yīng)用場(chǎng)景對(duì)視覺特征提取算法的魯棒性和幀率提出了巨大挑戰(zhàn)。
具體來說，視覺特征提取算法包括SIFT（Scale-Invariant Feature Transform，尺度不變特征轉(zhuǎn)換算法）、SURF（Speeded-Up Robust Features，加速穩(wěn)健特征）、ORB（Oriented FAST and Rotated BRIEF，快速特征點(diǎn)提取描述）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、LBP（Local Binary Patterns，局部二值模式）等。在SURF、ORB、HOG、LBP這些經(jīng)典的特征提取算法中，SURF的魯棒性相對(duì)較高，但是過于依賴主方向的選取，使得其方向變化魯棒性不足。SIFT算法可以從圖像中提取具有不變性的魯棒局部特征，對(duì)方向變化、光照變化、噪聲、雜物場(chǎng)景及遮擋影響等方面的魯棒性最強(qiáng)，滿足無人駕駛技術(shù)的需求。SIFT算法的運(yùn)算量大從而導(dǎo)致的系統(tǒng)幀率低、功耗高的問題可以通過設(shè)計(jì)具有高并行度的專用硬件加速器芯片來解決。
【痛點(diǎn)問題】
國內(nèi)外已有多個(gè)SIFT硬件加速器設(shè)計(jì)發(fā)表，總體的研究方向朝著更高性能、更高幀率、更高匹配精度以及更低功耗、更低運(yùn)算量、更低硬件開銷的方向發(fā)展。但是對(duì)于高性能SIFT硬件加速器的設(shè)計(jì)仍存在如下三個(gè)共性問題和設(shè)計(jì)挑戰(zhàn)：
1. SIFT運(yùn)算量大，需全并行、全流水架構(gòu)進(jìn)行加速，但并行高斯金字塔構(gòu)建帶來了大量的硬件開銷；
2. 高斯金字塔構(gòu)建中部分特征點(diǎn)的丟失，使得加速器提取的特征魯棒性變差；
3. 關(guān)鍵點(diǎn)檢測(cè)部分和描述符生成部分的內(nèi)部串行執(zhí)行，兩個(gè)部分交互執(zhí)行的方式使得加速器處理速度存在瓶頸，造成系統(tǒng)幀率受限。
圖1 高性能SIFT硬件加速器的設(shè)計(jì)存在的三個(gè)共性問題和設(shè)計(jì)挑戰(zhàn)
【解決方案】
針對(duì)上述問題，本成果提出了一系列新方法和新策略，實(shí)現(xiàn)了全并行的高能效SIFT硬件加速器芯片硬件架構(gòu)。針對(duì)高斯金字塔構(gòu)建硬件開銷大的問題，提出了快慢雙時(shí)鐘域和部分復(fù)用策略；針對(duì)高斯金字塔構(gòu)建過程中的特點(diǎn)丟失問題，提出了動(dòng)態(tài)padding設(shè)計(jì)策略；針對(duì)交互執(zhí)行及串行計(jì)算限制加速性能的問題，提出了一系列并行化的設(shè)計(jì)方案，即基于乒乓緩存實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測(cè)和描述符生成部分的并行處理、基于像素梯度預(yù)計(jì)算實(shí)現(xiàn)了關(guān)鍵點(diǎn)檢測(cè)和梯度幅值輔角的并行計(jì)算，以及創(chuàng)新性地提出了一種基于圓形關(guān)鍵點(diǎn)鄰域的描述符生成算法，實(shí)現(xiàn)了主方向和描述符產(chǎn)生的高效并行計(jì)算。
圖2 高性能SIFT硬件加速器的設(shè)計(jì)存在的三個(gè)共性問題和對(duì)應(yīng)的設(shè)計(jì)策略及設(shè)計(jì)實(shí)現(xiàn)
圖3 提出的基于圓形關(guān)鍵點(diǎn)鄰域的描述符生成算法，可以實(shí)現(xiàn)主方向計(jì)算和描述符產(chǎn)生過程的并行化計(jì)算
【性能指標(biāo)】
本成果研發(fā)的全并行高能效SIFT硬件加速器芯片已在Xilinx Virtex UltraScale+評(píng)估板中實(shí)現(xiàn)。基于Mikolajczyk and Schmid標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)提出的SIFT設(shè)計(jì)進(jìn)行驗(yàn)證，基于RANSAC (RANdom SAmple Consensus)算法檢查匹配點(diǎn)的正確性。所提SIFT設(shè)計(jì)的匹配結(jié)果優(yōu)于相關(guān)工作，這主要得益于子區(qū)域重疊及padding增加魯棒性，及優(yōu)化的參數(shù)選擇（如高斯卷積核尺寸、關(guān)鍵點(diǎn)鄰域大小等）。與文獻(xiàn)中相關(guān)FPGA及ASIC工作的硬件開銷對(duì)比顯示：該設(shè)計(jì)的硬件開銷總體和現(xiàn)有水平相當(dāng)，但通過實(shí)現(xiàn)了動(dòng)態(tài)padding提高了魯棒性，同時(shí)實(shí)現(xiàn)了100 MHz時(shí)鐘下162 fps@VGA的最高幀率和49.766 M pixels/s的最高計(jì)算效率。該SIFT硬件加速器在基于180 nm CMOS工藝下實(shí)現(xiàn)了2.25 mJ/frame的能量效率。
圖4基于所提SIFT算法的關(guān)鍵點(diǎn)提取與匹配結(jié)果圖，基于標(biāo)準(zhǔn)數(shù)據(jù)集的匹配結(jié)果與相關(guān)工作的比較圖
圖5 SIFT硬件加速器處理性能比較表：該設(shè)計(jì)取得了國際SIFT硬件加速器芯片設(shè)計(jì)中最高幀率的學(xué)術(shù)記錄、最高計(jì)算效率和能量效率，并采用了動(dòng)態(tài)padding技術(shù)提高了魯棒性
圖6 基于所提出的全并行高能效SIFT硬件加速器芯片的SoC驗(yàn)證平臺(tái)及65nm芯片版圖
【應(yīng)用場(chǎng)景】
視覺特征提取技術(shù)廣泛應(yīng)用于自主移動(dòng)智能機(jī)器人、無人駕駛和無人機(jī)等場(chǎng)景。
【發(fā)展規(guī)劃】
基于其初步研究成果，團(tuán)隊(duì)已與黑芝麻科技等自動(dòng)駕駛頭部企業(yè)合作，聯(lián)合承擔(dān)了武漢市科技重大專項(xiàng)“卡脖子”技術(shù)攻關(guān)項(xiàng)目，研究高魯棒性、高能效視覺目標(biāo)識(shí)別引擎電路技術(shù)，進(jìn)行車規(guī)級(jí)高性能自動(dòng)駕駛芯片設(shè)計(jì)關(guān)鍵技術(shù)的科技攻關(guān)。
【知識(shí)產(chǎn)權(quán)】
該成果已申請(qǐng)/授權(quán)中國發(fā)明專利多項(xiàng)，下表是部分展示：
【合作方式】
技術(shù)許可、技術(shù)轉(zhuǎn)讓、作價(jià)入股、技術(shù)開發(fā)、技術(shù)服務(wù)、面談等
【專家介紹】
王超，華中科技大學(xué)光電信息學(xué)院和武漢光電國家研究中心雙聘研究員、博導(dǎo)，其所組建的低功耗與智能集成電路研究室團(tuán)隊(duì)，將智能機(jī)器人技術(shù)與集成電路芯片技術(shù)相結(jié)合，開拓了新型智能機(jī)器人芯片關(guān)鍵技術(shù)研究的交叉學(xué)科新方向，與哈爾濱工業(yè)大學(xué)機(jī)器人國家重點(diǎn)實(shí)驗(yàn)室、蘇州智能機(jī)器人研究院、南洋理工大學(xué)集成電路研究中心等國內(nèi)外一流團(tuán)隊(duì)合作，取得了一系列的重要研究進(jìn)展，初步解決了機(jī)器人芯片智能化低、能量消耗大、魯棒性不好等痛點(diǎn)問題。近三年來，其研究成果在TCAS-I、JETCAS、CAS-M、A-SSCC等集成電路領(lǐng)域國際核心期刊和國際會(huì)議上發(fā)表智能機(jī)器人芯片相關(guān)學(xué)術(shù)論文10余篇，申請(qǐng)國家/國際發(fā)明專利7項(xiàng)。其中，其課題組相關(guān)研究成果連續(xù)2年(2020/2021)在IEEE固態(tài)電路學(xué)會(huì)旗艦會(huì)議A-SSCC發(fā)表了會(huì)議文章2篇，指導(dǎo)本科生參加依托相關(guān)項(xiàng)目連續(xù)2年(2021/2022)在全國大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽獲得國家一等獎(jiǎng)1次、國家二等獎(jiǎng)4次，指導(dǎo)研究生依托相關(guān)項(xiàng)目連續(xù)3年(2020/2021/2022)在全國研究生集成電路“創(chuàng)芯”大賽獲得國家一等獎(jiǎng)3次、國家二等獎(jiǎng)1次。
【聯(lián)系方式】
成果編號(hào)：CG22031
