1. 國家測繪產(chǎn)品質(zhì)量檢驗測試中心, 北京 100830;
2. 北京建筑大學(xué)測繪與城市空間信息學(xué)院, 北京 102616基金項目：國家自然科學(xué)基金青年基金項目(42104017);北京建筑大學(xué)"雙塔計劃"項目(JDYC20220825);北京建筑大學(xué)青年教師科研能力提升計劃(X21021)摘要：視覺SLAM技術(shù)是現(xiàn)代智能裝備環(huán)境感知的核心技術(shù)之一, 是驅(qū)動測繪向智能化方向發(fā)展的重要因素。本文圍繞視覺SLAM環(huán)境感知技術(shù), 從特征點法、直接法、視覺指紋庫、語義和類腦SLAM 5個方面, 梳理了30多年來典型視覺SLAM環(huán)境感知技術(shù)框架、重要算法基礎(chǔ)和測繪應(yīng)用方式; 總結(jié)分析了智能化時代視覺SLAM環(huán)境感知技術(shù)在智能化環(huán)境交互感知、即時眾包化信息處理和多樣化感知數(shù)據(jù)服務(wù)3個方面的發(fā)展趨勢; 探討了視覺SLAM環(huán)境感知技術(shù)在交互式導(dǎo)航定位、數(shù)字孿生城市建設(shè)、實時地表監(jiān)測解譯、眾包地圖POI生產(chǎn)、無人值守地質(zhì)災(zāi)害監(jiān)測和自主交互能力支持的深度空間探測應(yīng)用模式。當(dāng)前, 測繪行業(yè)正處于重大發(fā)展變革時期, 視覺SLAM環(huán)境感知技術(shù)與人工智能技術(shù)的結(jié)合, 將會進一步賦能測繪生產(chǎn)方式的轉(zhuǎn)變, 提升智能化測繪生產(chǎn)和服務(wù)水平。關(guān)鍵詞：視覺SLAM SLAM技術(shù)框架 環(huán)境感知 智能化測繪
SLAM技術(shù)作為一種即時匯集未知環(huán)境幾何、拓?fù)?、語義等信息的前沿科技，逐漸成為一種集導(dǎo)航定位、地圖構(gòu)建、目標(biāo)檢測和場景識別為一體的測繪技術(shù)，在自動駕駛、智能機器人、增強現(xiàn)實等領(lǐng)域發(fā)揮了重要作用[1-5]，逐漸形成了以激光和相機為主的激光SLAM、視覺SLAM兩種技術(shù)模式，其中前者起步早、發(fā)展相對成熟，后者正處于快速發(fā)展與完善階段[6]。通常情況下, 人類從外界獲得的信息約90%來自眼睛，而視覺SLAM具有類似特點，可以從周邊環(huán)境中獲取海量、冗余紋理等測繪要素，并擁有優(yōu)異的場景辨別能力，配合其優(yōu)異的性價比，受到諸多學(xué)者的青睞。為此，本文重點圍繞視覺SLAM環(huán)境感知技術(shù)及其在測繪方面的應(yīng)用進行論述。視覺SLAM環(huán)境感知技術(shù)是指搭載視覺傳感器的載體在沒有環(huán)境先驗信息的情況下，在運動過程中建立環(huán)境模型，同時估計載體運動[7-9]，先后經(jīng)歷了傳統(tǒng)時代(1986—2004)、算法分析時代(2004—2015)、穩(wěn)健性-預(yù)測性時代(2015至今) 3個發(fā)展階段[10]，形成了VO(visual odometry)、VIO(visual-inertial odometry)、SLAM等典型算法模型，涌現(xiàn)出了適用于單目、雙目、RGB-D等多種傳感器的視覺SLAM環(huán)境感知技術(shù)路線，促進了視覺SLAM環(huán)境感知技術(shù)在導(dǎo)航、定位和制圖等方面的快速發(fā)展，并在自動駕駛、航空攝影測量、地面移動測量、信息提取與場景重建等測繪業(yè)務(wù)中的得到應(yīng)用[11-13]。當(dāng)今，人類社會正逐漸向智能化時代邁進。我國在《2019年政府工作報告》中將人工智能升級為“智能+”，美國、歐盟等全球38個國家、地區(qū)制定了國家層面的人工智能戰(zhàn)略和政策，推動了人工智能技術(shù)研究不斷走向深入。隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新一代信息技術(shù)更新發(fā)展，推動智能化測繪技術(shù)進步和事業(yè)轉(zhuǎn)型升級, 已成為測繪業(yè)界關(guān)心的熱門話題[14]。視覺SLAM技術(shù)可以實時獲取位置、地圖、紋理、語義和文字等環(huán)境信息，成為環(huán)境感知的主要途徑之一，但如何通過新一代信息技術(shù)的加持，深入探索基于視覺SLAM的環(huán)境感知“眼睛”、深度學(xué)習(xí)算法的“大腦”和眾包地理信息的“課堂教學(xué)”之間的耦合發(fā)展方式，攻克基于視覺SLAM環(huán)境感知技術(shù)的地理信息環(huán)境感知、知識匯聚和智能化應(yīng)用技術(shù)，進一步提高測繪生產(chǎn)力和生產(chǎn)要素的智能化水平，成為當(dāng)前亟待解決的技術(shù)難題。為了深入探討基于視覺SLAM環(huán)境感知技術(shù)支持的智能化測繪發(fā)展，需要厘清視覺SLAM環(huán)境感知技術(shù)概念、理論、技術(shù)發(fā)展動態(tài)，以及當(dāng)前的測繪應(yīng)用特點。為此，筆者分析了視覺SLAM環(huán)境感知技術(shù)的發(fā)展現(xiàn)狀，探討了智能化時代的視覺SLAM環(huán)境感知技術(shù)發(fā)展方向，進而提出了智能化時代基于視覺SLAM環(huán)境感知技術(shù)的智能化測繪應(yīng)用模式。1 視覺SLAM環(huán)境感知技術(shù)研究進展經(jīng)過30多年的發(fā)展，視覺SLAM環(huán)境感知技術(shù)的理論框架已經(jīng)逐漸清晰，包括前端、后端、回環(huán)檢測和制圖4個主要的技術(shù)環(huán)節(jié)。前端的任務(wù)是估算相鄰圖像采集時相機的運動和計算局部地圖；后端主要是基于回環(huán)檢測信息對圖像位姿和地圖信息進行優(yōu)化；回環(huán)檢測則是根據(jù)圖像信息識別已經(jīng)出現(xiàn)的場景或位置，如果檢測到回環(huán)，然后把信息提供給后端進行處理；制圖環(huán)節(jié)主要根據(jù)估計的軌跡，建立對應(yīng)的地圖[7]。近年來，隨著4個主要環(huán)節(jié)技術(shù)的不斷發(fā)展變化，逐漸形成了以特征點法SLAM、直接法SLAM、視覺指紋庫SLAM、語義SLAM和類腦SLAM等為主體的視覺SLAM技術(shù)框架和算法模型，并在智慧交通、場景測繪、防災(zāi)減災(zāi)、虛擬(增強)現(xiàn)實和智慧醫(yī)療等領(lǐng)域開展了產(chǎn)業(yè)化應(yīng)用探索。表 1列舉了30多年來典型的實時視覺SLAM環(huán)境感知算法模型。
表 1 典型視覺SLAM環(huán)境感知算法模型Tab. 1 Typical visual SLAM algorithm and its application
特征點法視覺SLAM技術(shù)是建立在圖像特征信息處理基礎(chǔ)上，基于同名像點之間的最小歐氏距離或者像平面重投影誤差(reprojection error)最小化原理進行估算相鄰圖像間相機的運動、定位信息和構(gòu)建局部地圖的技術(shù)[7, 15]，是視覺SLAM發(fā)展較早的一種方法。文獻(xiàn)[16]首次實現(xiàn)了基于濾波算法的實時SLAM技術(shù)，文獻(xiàn)[17]發(fā)展了基于非線性優(yōu)化的多線程并行處理PTAM(parallel tracking and mapping)算法。文獻(xiàn)[18]提出S-PTAM(stereo PTAM)算法，將姿態(tài)估計與地圖構(gòu)建等并行處理。文獻(xiàn)[19]提出ORB-SLAM算法，并經(jīng)過ORB-SLAM2[3]和ORB-SLAM3[20]算法的完善和提升，發(fā)展成了一套適用單目、雙目和RGB-D相機，且可實時處理的特征點法視覺SLAM技術(shù)框架，在精度方面，ORB-SLAM2算法可以實現(xiàn)百米距離內(nèi)優(yōu)于1%的相對定位精度和0.21°的姿態(tài)測量精度[3]。濾波和非線性優(yōu)化是早期兩種不同后端處理方式的技術(shù)框架，前者計算效率高，后者計算精度高，目前二者逐漸朝著相向的方向發(fā)展[21-22]。隨著S-PTAM、ORB-SLAM、ORB-SLAM2和ORB-SLAM3等特征點法典型模型的提出，特征點法視覺SLAM的技術(shù)框架基本確定，其中ORB-SLAM系列憑借支持多種傳感器、優(yōu)異的計算性能和精度、有效的回環(huán)檢測算法和并行計算等特點，成為特征點法視覺SLAM的基礎(chǔ)參考，圖 1展示了特征點法視覺SLAM的技術(shù)框架[3, 19-20, 23]。
|
| Fig. 1 The technical framework of feature-based visual SLAM |
|
特征點法視覺SLAM技術(shù)是多種方法中研究時間較久，較為成熟的方案之一，美國“機遇號”“勇氣號”和“好奇號”火星探測車，以及中國的“月兔號”月球車采用光束法平差(bundle adjustment，BA)方法進行著陸過程中的位置和姿態(tài)解算，支撐了探測車安全避障與路徑規(guī)劃所需的基礎(chǔ)地圖制作[33]，而BA方法也是視覺SLAM位姿估計和圖優(yōu)化的重要方法之一。文獻(xiàn)[34—35]實現(xiàn)了基于無人機視覺SLAM技術(shù)的DOM(數(shù)字正射影像)、DSM(數(shù)字表面模型)和DEM(數(shù)字高程模型)等測繪產(chǎn)品的實時制作。文獻(xiàn)[36]采用單目SLAM技術(shù)實時構(gòu)造不同高度的網(wǎng)格地圖，為無人機平臺動態(tài)選擇合適的著陸區(qū)域，為交互式路徑規(guī)劃技術(shù)提供了支撐。由于受稀疏的紋理環(huán)境、復(fù)雜的光照和高動態(tài)場景影響比較嚴(yán)重，且在特征提取、描述和匹配等方面需要較大的計算資源，特征點法視覺SLAM技術(shù)的產(chǎn)業(yè)應(yīng)用受到了一定限制，尤其是構(gòu)建稠密地圖受到影響更甚。
為了降低圖像特征處理時間和計算資源的消耗，直接法視覺SLAM技術(shù)應(yīng)運而生。直接法視覺定位技術(shù)假設(shè)兩幀圖像中的匹配像素的灰度值不變，構(gòu)建光度誤差函數(shù)，基于圖像間光度誤差(photometric error)最小化原理進行位姿變化計算。過程中僅需特征提取，無須特征描述與匹配[37]。相比于特征點法只能構(gòu)建稀疏點云地圖(構(gòu)建半稠密或稠密需要采取其他技巧)，直接法可以利用圖像上全部像素信息，具備構(gòu)建半稠密和稠密地圖的能力，在紋理稀疏場景具有一定優(yōu)勢。直接法視覺SLAM是建立在圖像亮度一致性假設(shè)和光流法基礎(chǔ)上發(fā)展起來的。文獻(xiàn)[15, 24]提出了完整的直接法SLAM框架DTAM(dense tracking and mapping)，通過稠密、亞像素和精確多視立體重建等進行軌跡跟蹤和三維模型重建。LSD-SLAM(large scale direct SLAM)的問世，成為第一個大尺度直接法單目視覺SLAM方法[25, 38]，利用圖像中像素梯度顯著的區(qū)域進行位姿跟蹤和深度重構(gòu)，可以恢復(fù)半稠密的三維場景地圖，文獻(xiàn)[38]將其拓展到雙目與大視角相機，實現(xiàn)了手機端的AR應(yīng)用等其他功能，成為了直接法中最具代表性的技術(shù)框架[39]。文獻(xiàn)[26]在2013年基于圖像中全部像素光度誤差和深度誤差最小化原理提出了DVO-SLAM(dense visual odometry SLAM)算法框架，定位精度可達(dá)0.19 m，成為了基于RGB-D相機進行視覺SLAM技術(shù)的基礎(chǔ)。作為視覺SLAM的前端技術(shù)，DSO(direct sparse odometry)視覺里程計出現(xiàn)和發(fā)展，憑借良好的運算速度與跟蹤精度，將直接法視覺SLAM技術(shù)推向了一個新的高度[40-41]。文獻(xiàn)[40] 提出了半直接法(semi-direct monocular visual odometry，SVO)，利用直接法估計相機運動及特征點位置，又對關(guān)鍵幀影像的路標(biāo)點進行了優(yōu)化，該方法可以獲得更精確、穩(wěn)健和高效的結(jié)果，也被廣泛研究。圖 2展示了直接法視覺SLAM算法的技術(shù)框架，不同于特征點法視覺SLAM技術(shù)的是前端和制圖兩部分內(nèi)容，其中前端主要基于圖像灰度信息進行位姿估計和跟蹤，建圖部分半稠密和稠密地圖是直接法的特色和亮點。
|
| Fig. 2 The brief technical framework of direct-based visual SLAM |
|
直接法視覺SLAM無須計算特征描述子，結(jié)合像素梯度計算結(jié)果即可完成跟蹤和半稠密或稠密地圖的構(gòu)建，對計算資源要求低，消耗時間短，成為近年來應(yīng)用研究的重點。意大利Leonardo軍工公司在無人機軍用編隊項目中將LSD-SLAM(large-scale direct monocular SLAM)算法與無人機集成，開展障礙物識別工作[42]。地平線公司采用StereoDSO算法進行稠密地圖重建、3D環(huán)境感知與語義重建，研制了系列適用圖像處理的自動駕駛應(yīng)用芯片，推動了視覺SLAM技術(shù)的智能化發(fā)展[43]。直接法SLAM由于存在圖像灰度一致性假設(shè)、較小運動場景適用和圖像塊相關(guān)性計算等問題，在一定程度上限制了直接法SLAM的發(fā)展，為此未來需要進一步地攻克上述問題。
人類可以通過回憶判斷曾經(jīng)到達(dá)過的位置，而視覺指紋庫SLAM技術(shù)賦予了機器人構(gòu)建地圖和場景識別的能力。該技術(shù)根據(jù)預(yù)先構(gòu)建的物理世界視覺指紋庫[44]與當(dāng)前位置的視覺詞袋模型進行匹配，利用場景外觀概率識別算法，確定機器人位置，并基于環(huán)境信息更新指紋庫。早期基于整體或者局部特征相似度的視覺指紋庫SLAM方法雖然得到了大量的研究和嘗試，但是在應(yīng)用方面仍然存在較大的局限性。文獻(xiàn)[45]提出了視覺詞袋模型(bag of words，BoW), 推動了基于BoW和回環(huán)檢測結(jié)合的視覺指紋庫SLAM技術(shù)得到快速發(fā)展。文獻(xiàn)[27, 46]提出了FAB-MAP算法，其2.0版本的模型在1000 km的路線測試中被證明是一種成功的場景識別算法，在100%的精度下，召回率為6.5%，足以支持一個好的尺度SLAM系統(tǒng)，成為了基于視覺指紋庫SLAM方法的城市或者更大尺度場景定位和建模的重要基礎(chǔ)。圖 3展示了簡要的技術(shù)框架：首先對物理世界進行建模，構(gòu)建物理世界的視覺指紋庫，也即先驗地圖；其次將感知的圖像信息轉(zhuǎn)換成視覺單詞；然后計算視覺單詞與視覺指紋庫的相似度，進而實現(xiàn)位置確定，并將物理世界的信息更新至視覺指紋庫中[27]。具有類似原理的視覺場景識別(visual place recognition, VPR)技術(shù)也是視覺指紋庫SLAM感知技術(shù)的一種重要形式，得到了廣泛的研究和應(yīng)用[47-48]。
|
| Fig. 3 The technical framework of fingerprint-based visual SLAM |
|
視覺指紋庫SLAM技術(shù)屬于一種長時間序列、大空間尺度的視覺SLAM感知方法。文獻(xiàn)[49]提出了SeqSLAM(sequence SLAM)算法，即使存在因季節(jié)、天氣、晝夜變化等因素引起的極端環(huán)境變化導(dǎo)致基于特征的算法失敗時，該方法仍然能夠以100%的準(zhǔn)確率和60%的召回率實現(xiàn)軌跡匹配，被認(rèn)為是最成功的環(huán)路閉合檢測算法。為了降低計算資源消耗和大型地圖的處理，文獻(xiàn)[50]提出了Fast-SeqSLAM算法，進一步降低了計算復(fù)雜度，提高了計算效率。文獻(xiàn)[51]采用混合緊湊型神經(jīng)網(wǎng)絡(luò)模型進行視覺位置識別，取得了比SeqSLAM更加優(yōu)異的結(jié)果。文獻(xiàn)[52]基于改進的VPR提出更具潛力的適用于自動駕駛需求的大范圍場景識別技術(shù)。當(dāng)前視覺指紋庫SLAM技術(shù)已經(jīng)解決了物理視覺的數(shù)據(jù)表達(dá)、關(guān)聯(lián)和搜索等問題，被廣泛應(yīng)用于大范圍場景的定位和識別，通過與無人機、無人車、無人潛航器等智能化裝備結(jié)合應(yīng)用[48]，成為推動人工智能技術(shù)發(fā)展的重要因素。
語義視覺SLAM是一種匯聚語義和SLAM技術(shù)的具有尺度、拓?fù)浜驼Z義地圖構(gòu)建功能為一體的視覺環(huán)境感知技術(shù)，可以基于典型的SLAM技術(shù)結(jié)合物體類別、目標(biāo)檢測、語義分割等語義信息，實現(xiàn)物理環(huán)境幾何、拓?fù)浜驼Z義信息的獲取和地圖構(gòu)建，并用于導(dǎo)航定位等功能，是當(dāng)前視覺SLAM領(lǐng)域的一個熱點研究方向[10, 53]。20世紀(jì)中葉美國心理學(xué)家E·C·托爾曼提出了認(rèn)知地圖(cognitive map)的概念，拉開了語義地圖相關(guān)技術(shù)研究的序幕，到了70年代語義地圖和機器人技術(shù)緊密結(jié)合起來[54]。然而，語義視覺SLAM則是近年來隨著典型SLAM技術(shù)發(fā)展而來的新技術(shù)[55]。按照算法集成模式劃分，可以分為兩類處理方式，一類是獨立的SLAM與目標(biāo)識別算法結(jié)合方式。文獻(xiàn)[54]提出空間和語義結(jié)合，到文獻(xiàn)[29]提出的SLAM+ +算法，是比較早期整合語義信息進行定位和制圖的算法，其中YOLO(you only look once)系列目標(biāo)識別算法被廣泛用于語義視覺SLAM技術(shù)研究[56-57]。另一類是將語義與SLAM耦合處理的方式。文獻(xiàn)[58]首次將幾何、語義和IMU(inertial measurement unit)信息統(tǒng)一到單個優(yōu)化框架中，用語義信息輔助提高定位精度，取得比單目ORB-SLAM更加優(yōu)異的結(jié)果。按照模型中語義作用劃分，可以分為服務(wù)于特征選擇算法，獲得對光照和視角變化穩(wěn)健性更好的特征點[59]；服務(wù)于減弱圖像中動態(tài)物體影響，提高系統(tǒng)的穩(wěn)健性[60]；服務(wù)于單目視覺SLAM尺度恢復(fù)[61]；服務(wù)于長時間序列定位[62]和定位精度提高[57]等方面。近年來隨著深度學(xué)習(xí)算法的發(fā)展，如文獻(xiàn)[30]提出的CNN-SLAM(convolutional neural network SLAM)算法，深度估計誤差低于真實值10%，位姿估計精度優(yōu)于LSD-SLAM方法，推動了深度學(xué)習(xí)支持的語義視覺SLAM技術(shù)成為了研究熱點[63]。圖 4展示了語義視覺SLAM算法的技術(shù)框架，包括跟蹤與位姿計算、地圖構(gòu)建、回環(huán)檢測和語義重建等部分[64]。其中前3部分是傳統(tǒng)SLAM的技術(shù)框架，語義重建部分通常結(jié)合本文歸納的兩種處理方式實現(xiàn)。
|
| Fig. 4 The technical framework of semantic visual SLAM |
|
語義視覺SLAM環(huán)境感知技術(shù)目前處于快速發(fā)展的階段，逐漸成為了推動智能裝備從被動規(guī)劃式環(huán)境感知技術(shù)向主動交互式環(huán)境感知技術(shù)發(fā)展的重要力量。文獻(xiàn)[60]利用語義視覺SLAM技術(shù)在高動態(tài)環(huán)境中克服了傳統(tǒng)視覺SLAM技術(shù)靜態(tài)環(huán)境假設(shè)的應(yīng)用前提，提高了車輛導(dǎo)航時與動態(tài)環(huán)境的交互性。文獻(xiàn)[65]開展了道路環(huán)境下的快速3D語義地圖構(gòu)建技術(shù)研究，能夠識別道路、人行道、墻體、地形、植被、交通標(biāo)識和汽車等物體。文獻(xiàn)[66]利用語義和粒子濾波技術(shù)自動構(gòu)建了城市場景車道級高精度地圖，伴隨該方向的深入研究，相關(guān)成果可以為自動駕駛車輛提供地圖支撐。文獻(xiàn)[67]詳細(xì)地描述了語義視覺SLAM環(huán)境感知技術(shù)在動態(tài)環(huán)境理解與制圖、靜態(tài)場景理解、與人類和環(huán)境的交互，以及機器人改善工作能力等方面的作用，進一步為語義視覺SLAM環(huán)境感知技術(shù)的應(yīng)用拓展指明了方向。未來，隨著語義視覺SLAM技術(shù)在目標(biāo)檢測、數(shù)據(jù)關(guān)聯(lián)準(zhǔn)確性方面的提高，以及復(fù)雜算法與計算資源之間矛盾的優(yōu)化，將會進一步促進該技術(shù)在語義地圖、場景解譯、高精度導(dǎo)航定位等領(lǐng)域的應(yīng)用。
人類和動物在陌生環(huán)境的導(dǎo)航能力，吸引了對類腦導(dǎo)航與空間認(rèn)知結(jié)合的仿生導(dǎo)航技術(shù)的不斷探索。隨著視覺SLAM技術(shù)的發(fā)展，采用腦科學(xué)、人工智能有機結(jié)合的類腦視覺SLAM技術(shù)開始嶄露頭角，成為近年來的研究熱點。類腦視覺SLAM指智能設(shè)備依靠視覺傳感器，依賴大腦導(dǎo)航機制，具有自主學(xué)習(xí)進化、環(huán)境感知、認(rèn)知地圖構(gòu)建于一體的一種新型視覺SLAM技術(shù)方法[68]。自1971年O?Keefe和Dostrovsky發(fā)現(xiàn)嚙齒動物具有方向細(xì)胞和導(dǎo)航細(xì)胞，到2014年O?Keefe等人發(fā)現(xiàn)“構(gòu)成大腦定位系統(tǒng)的細(xì)胞”獲得諾貝爾醫(yī)學(xué)獎。研究發(fā)現(xiàn)哺乳動物海馬體中的“位置”細(xì)胞(place cell)、“網(wǎng)格”細(xì)胞(grid cell)、“方向”細(xì)胞(head direction cell)、“邊界”細(xì)胞(boundary vector cell)和“條紋”細(xì)胞(band cell)等是哺乳動物感知環(huán)境、構(gòu)建環(huán)境認(rèn)知地圖和導(dǎo)航的主要支撐[69]。相關(guān)研究人員基于哺乳動物海馬體對環(huán)境的認(rèn)知和導(dǎo)航機理，提出了仿生導(dǎo)航概念，類腦視覺SLAM技術(shù)逐漸開展起來[70]。文獻(xiàn)[31, 71—72]利用相關(guān)支撐條件，提出RatSLAM算法模型，并不斷發(fā)展完善，實現(xiàn)了2D郊區(qū)地圖繪制和超過2周時間的辦公環(huán)境導(dǎo)航功能，開創(chuàng)了類腦SLAM算法的先河，為眾多改進型算法模型的研究奠定了基礎(chǔ)。文獻(xiàn)[70]基于3D網(wǎng)格細(xì)胞和方向細(xì)胞提出了適用3D環(huán)境下的NeuroSLAM算法，在大型、非結(jié)構(gòu)化、不可預(yù)測的環(huán)境中推動了腦感知SLAM的進一步發(fā)展。另外，基于仿生眼技術(shù)的視覺SLAM解決方案，能夠在紋理稀疏環(huán)境主動搜索豐富的紋理環(huán)境，提升視覺SLAM的穩(wěn)健性，也為類腦視覺SLAM提供一種新的解決方案[73]。圖 5展示了腦感知SLAM的簡要技術(shù)框架，主要由4部分內(nèi)容組成。首先，圖像預(yù)處理部分基于圖像信息進行圖像特征或視覺單詞提取、位姿估計和路徑整合等；其次，物體感知部分進行物體感知和閉環(huán)檢測，服務(wù)于過往場景識別或新場景補充；然后，位置感知部分利用相關(guān)定位細(xì)胞進行位姿計算；最后，利用物體感知和位置感知的結(jié)果構(gòu)建具備環(huán)境拓?fù)浜途植慷攘康沫h(huán)境地圖，也即情景認(rèn)知地圖[32, 74]。
|
| 圖 5 類腦視覺SLAM技術(shù)框架[74]Fig. 5 The technical framework of brain-like visual SLAM[74] |
|
作為新興的仿生導(dǎo)航技術(shù)，類腦視覺SLAM環(huán)境感知技術(shù)仍然處于發(fā)展的初級階段，眾多學(xué)者圍繞定位、制圖等方面進行研究，但是在賦予機器人自主交互能力和算法應(yīng)用等方面仍然面臨著較大的挑戰(zhàn)。隨著類腦視覺SLAM技術(shù)與傳感、認(rèn)知、學(xué)習(xí)和控制等技術(shù)的深度融合，將會賦予下一代機器人智能感知、自我學(xué)習(xí)與認(rèn)知、與人類和環(huán)境交互的能力[75]，推動機器人環(huán)境感知技術(shù)更加擬人化[76]。制圖是視覺SLAM的重要功能之一，圖 6展示了視覺SLAM方法可以形成的6種地圖形式。其中圖 6(a)、(b)、(c)是尺度地圖的3種表示形式，也即根據(jù)地圖的稀疏程度精確地表示了地圖中物體的位置關(guān)系；拓?fù)涞貓D不具備真實的物理尺寸，只表示不同地點的連通關(guān)系和距離，常用于路徑規(guī)劃和定位約束；語義地圖是加標(biāo)簽的尺度地圖，常用于人機交互，可提供目標(biāo)物體類型、空間形態(tài)及位置等信息；情景認(rèn)知地圖(cognitive maps of city)是人腦中再現(xiàn)的環(huán)境意象，由路徑、標(biāo)志、節(jié)點、區(qū)域、邊界5個基本要素組成。上述地圖類型覆蓋了尺度、拓?fù)?、語義等環(huán)境信息，是測繪全息要素的重要組成部分。
|
| Fig. 6 The map representation of visual SLAM |
|
綜上，特征點法視覺SLAM發(fā)展較早，相對成熟和完善，但是受光照、紋理等環(huán)境特征影響較大；直接法視覺SLAM回避了特征點法中的特征處理環(huán)節(jié)，在稠密地圖重建方面更具優(yōu)勢，但是受到圖像灰度一致性假設(shè)的限制；視覺指紋庫SLAM借助詞袋模型優(yōu)勢，更加適應(yīng)大場景的應(yīng)用需求，但需對物理世界預(yù)先建模，且易受到季節(jié)、晝夜、天氣等因素影響；語義視覺SLAM技術(shù)，立足上述算法，引入了基于深度學(xué)習(xí)算法的環(huán)境語義提取，提升了對環(huán)境的理解和交互能力；類腦視覺SLAM采用仿生機理建立的一種新型SLAM方法，在擬人化方面具有較大的發(fā)展?jié)摿ΑＨ欢?，面向智能化時代特點，單一的視覺SLAM方法難以滿足復(fù)雜的應(yīng)用需求，而建立在新一代信息技術(shù)基礎(chǔ)之上的多種視覺SLAM方法融合更具發(fā)展優(yōu)勢。2 智能化時代視覺SLAM環(huán)境感知發(fā)展趨勢視覺SLAM技術(shù)對比激光SLAM技術(shù)具有成本低、語義信息豐富、可實時傳輸，以及符合人類的感知習(xí)慣等特點[77]，成為近年來的研究熱點，通過與物聯(lián)網(wǎng)、5G、云計算、深度學(xué)習(xí)等技術(shù)的結(jié)合，將會進一步促進當(dāng)前的技術(shù)進步，在智能化環(huán)境交互感知、眾包化數(shù)據(jù)匯聚、網(wǎng)絡(luò)化實時處理、大數(shù)據(jù)知識服務(wù)和多樣化應(yīng)用等方面快速發(fā)展，呈現(xiàn)出智能化時代視覺SLAM環(huán)境感知技術(shù)的新特點和新面貌。
隨著視覺SLAM技術(shù)與智能芯片、深度學(xué)習(xí)算法的融合不斷加深，利用智能芯片和算法賦能視覺SLAM技術(shù)，提升在環(huán)境感知、交互響應(yīng)等方面的智能化水平成為視覺SLAM技術(shù)的重要發(fā)展方向。在環(huán)境感知方面，基于視覺SLAM幾何環(huán)境信息獲取手段，深入研究基于深度學(xué)習(xí)算法支持的環(huán)境語義信息同步感知技術(shù)，實現(xiàn)時空屬性與物體屬性同步認(rèn)知的功能；在交互響應(yīng)方面，利用腦感知視覺SLAM、語義視覺SLAM等主動性地判別場景物體，自主跟蹤有效目標(biāo)，對環(huán)境觀測信息進行有效的綜合和取舍，并做出相應(yīng)的執(zhí)行動作，推動現(xiàn)在的“眼觀六路”感知技術(shù)，向未來的“所見即所得”感知與交互融合方向發(fā)展，即在觀測信息的支持下，對環(huán)境情況做出即時的理解和響應(yīng)。
視頻作為一種流媒體數(shù)據(jù)[78]，為視覺SLAM技術(shù)在即時、眾包信息感知處理方面發(fā)展奠定了基礎(chǔ)。在即時信息處理方面，研究視覺SLAM與互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動通信網(wǎng)等手段深度耦合方式，攻克基于即時通訊手段支撐的云-邊-端協(xié)同的位置、制圖、幾何、拓?fù)?、語義等實時處理技術(shù)，打造“感知-信息”聯(lián)動的在線應(yīng)用模式，提升視覺SLAM技術(shù)的即時服務(wù)能力；在眾包感知處理方面，利用視覺SLAM的即時處理能力，攻克基于網(wǎng)聯(lián)汽車、無人車、無人機、機器人、手機等設(shè)備云-機交互反饋的眾包信息處理技術(shù)，滿足大眾化智能裝備在線導(dǎo)航、定位、避障、路徑規(guī)劃等需求，同步構(gòu)建基于云端的測繪產(chǎn)品[79]，打破傳統(tǒng)依賴專業(yè)團隊獲取與處理數(shù)據(jù)的局面，推動眾包化環(huán)境物聯(lián)感知技術(shù)發(fā)展，進一步地解放生產(chǎn)力，提高工作效率。
2.3 多樣化感知數(shù)據(jù)服務(wù)
視頻蘊含著紋理、顏色、幾何、位置、拓?fù)?、語義、POI(point of interest)等眾多信息，是測繪地理信息產(chǎn)品的重要構(gòu)成。通過培育視覺SLAM新型數(shù)據(jù)服務(wù)技術(shù)，能夠為測繪行業(yè)發(fā)展提供新動能。通過研究視覺SLAM、GNSS、IMU、超聲波雷達(dá)等多模態(tài)集成算法，有助于推動攻克自動駕駛領(lǐng)域及未知環(huán)境區(qū)域的導(dǎo)航定位、路徑規(guī)劃、障礙物規(guī)避等難點；探索基于視覺SLAM的DOM、DSM、DEM和實景模型在線處理技術(shù)，構(gòu)建新型遙感制圖和實景三維的服務(wù)模式，為應(yīng)急測繪等對時效性要求強的應(yīng)用場景提供支撐；攻克語義視覺SLAM技術(shù)支撐的眾包POI獲取、在線地表變化研判等技術(shù)，支撐導(dǎo)航地圖更新和自然資源監(jiān)測等需求。未來可以進一步利用大數(shù)據(jù)技術(shù)，深入挖掘視覺SLAM環(huán)境感知成果中蘊藏的豐富地理信息，有效發(fā)揮視頻數(shù)據(jù)的潛在價值。3 視覺SLAM智能化測繪應(yīng)用模式展望在新一代信息技術(shù)快速發(fā)展的形式下，視覺SLAM環(huán)境感知技術(shù)將會不斷取得突破和進展，推動其與傳統(tǒng)測繪技術(shù)的深度融合，有助于打造基于視覺SLAM環(huán)境感知技術(shù)的導(dǎo)航定位、地圖制圖、實景三維、遙感解譯等智能化測繪應(yīng)用模式，促進傳統(tǒng)測繪服務(wù)方式向智慧化、精準(zhǔn)化方向發(fā)展。圖 7基于視覺SLAM技術(shù)在位置、制圖和語義等方面的優(yōu)勢和發(fā)展延伸，提出了6種測繪應(yīng)用方式。
|
| Fig. 7 Prospect of intelligent surveying and mapping application scenarios |
|
智能裝備通過集成視覺、激光、超聲波等多種傳感器，以及深度學(xué)習(xí)芯片等，具備了較強的環(huán)境感知能力和一定的認(rèn)知能力，如大疆無人機采用視覺和超聲波組合進行避障等。當(dāng)前視覺SLAM技術(shù)多以環(huán)境感知的方式使用，隨著語義SLAM、腦感知SLAM等技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)算法的視覺感知與SLAM技術(shù)不斷融合，推動智能裝備朝著感知與自主決策方向發(fā)展，類似火星車自主判斷與選擇降落點、自動駕駛車輛自動感知周圍靜態(tài)和動態(tài)的物體和屬性做出行動決策、智能機器人根據(jù)環(huán)境信息自主決策下一步的行動計劃等，基于視覺SLAM和深度學(xué)習(xí)算法的交互式導(dǎo)航定位技術(shù)將會得到進一步的發(fā)展。
數(shù)字孿生城市建設(shè)是未來城市發(fā)展方向之一，三維地理空間數(shù)據(jù)是數(shù)字孿生的基礎(chǔ)?；谝曈XSLAM的制圖和語義提取技術(shù)，可以采用KinectFusion[80]、Openrealm[12]等算法對室內(nèi)外、地上下空間及附屬設(shè)施構(gòu)建BIM/CIM(building/city information modeling)模型，并基于CNN-SLAM賦之真實的語義屬性，實現(xiàn)現(xiàn)實世界與虛擬世界的精準(zhǔn)映射。融合互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G、人工智能、區(qū)塊鏈等數(shù)字技術(shù)，構(gòu)建城市智能運行的數(shù)字底座，催生城市治理思維和方式的轉(zhuǎn)變與范式重塑。
視頻流從無人機、視頻衛(wèi)星等平臺傳輸至地面或者云服務(wù)平臺，利用TerrainFusion[35]等視覺SLAM技術(shù)獲取實時的DOM、DEM、DSM等測繪產(chǎn)品。利用云-邊-端等跨終端協(xié)同處理技術(shù)，結(jié)合深度學(xué)習(xí)、遷移學(xué)習(xí)、強化學(xué)習(xí)等多種智能計算模型和專家經(jīng)驗，開展地表空間遙感數(shù)據(jù)要素智能提取、“數(shù)據(jù)-模型-知識”驅(qū)動的地表要素智能解譯、自然資源要素畫像和圖譜構(gòu)建技術(shù)，實現(xiàn)自然資源要素、場景、知識的快速智能提取和表達(dá)[81]，推動傳統(tǒng)數(shù)據(jù)服務(wù)向知識服務(wù)的轉(zhuǎn)變，服務(wù)于國土普查與動態(tài)監(jiān)測等業(yè)務(wù)[82]。
視覺感知技術(shù)是地圖POI數(shù)據(jù)獲取的主要手段之一，基于深度學(xué)習(xí)算法支持的語義視覺SLAM、詞袋模型等技術(shù)，可與高德等廠商的STR(自然場景文字識別)技術(shù)結(jié)合，實現(xiàn)實時獲取地圖POI數(shù)據(jù)。通過智能手機、智能網(wǎng)聯(lián)汽車等在使用過程中的視覺傳感器采集到的圖像、位置等數(shù)據(jù)，通過5G等通訊網(wǎng)絡(luò)傳輸?shù)胶蠖嗽破脚_，可以實時的轉(zhuǎn)換為POI數(shù)據(jù)，推動地圖POI數(shù)據(jù)感知的眾包化，革新地圖POI數(shù)據(jù)獲取的技術(shù)方法，打破專業(yè)人員人機交互獲取的模式，提升地圖POI數(shù)據(jù)獲取的智能化、實時化程度。
3.5 無人值守地質(zhì)災(zāi)害監(jiān)測
艱險山區(qū)崩滑地質(zhì)災(zāi)害突發(fā)性強、危害性大，基于GNSS變形監(jiān)測技術(shù)對地質(zhì)災(zāi)害監(jiān)測的實景展示稍顯不足?；贠penrealm等視覺SLAM與設(shè)備自動換/充電、無人值守[83]等技術(shù)的發(fā)展與融合，無人機遙感監(jiān)測系統(tǒng)可以根據(jù)GNSS等預(yù)警預(yù)報信息聯(lián)動自主觀測災(zāi)害體，并實時回傳數(shù)據(jù)構(gòu)建災(zāi)害體實景三維模型，且可以利用視覺感知技術(shù)規(guī)避三維空間的障礙物，保障飛行安全，實現(xiàn)地質(zhì)災(zāi)害的無人機值守監(jiān)測與孿生展示。
面向深空、深海、深地等深度空間的探索已成為人類科技競爭的焦點之一，針對陌生甚至未知的深度空間，類似祝融號火星車、玉兔號月球車[33]等智能裝備對其環(huán)境感知、深度交互和主動決策能力的需求愈發(fā)凸顯。利用視覺SLAM的導(dǎo)航、定位、制圖和語義等技術(shù)可以實現(xiàn)對深度空間地形、地貌獲取，以及場景和空間要素的識別與解譯，并可解決探索過程中的障礙物檢測與規(guī)避等問題，提高智能裝備在深度空間探測過程中的自主性。隨著智能化、云計算、大數(shù)據(jù)時代的來臨，測繪行業(yè)面臨著重要的轉(zhuǎn)型升級的發(fā)展機遇，對測繪裝備、數(shù)據(jù)感知和數(shù)據(jù)應(yīng)用模式的發(fā)展提出了更高的要求。視覺SLAM環(huán)境感知技術(shù)經(jīng)過30多年的快速發(fā)展，在定位技術(shù)方面形成了多種穩(wěn)健、可靠的技術(shù)框架、算法模型和測繪應(yīng)用工藝，在大場景制圖、語義和類腦技術(shù)支持的交互式主動服務(wù)等方面取得了較大突破和進展。隨著視覺SLAM環(huán)境感知技術(shù)與人工智能、深度學(xué)習(xí)、大數(shù)據(jù)、云-邊-端計算等技術(shù)的深度交叉發(fā)展，將會推動視覺SLAM環(huán)境感知技術(shù)朝著智能化、眾包化、即時化等方向快速發(fā)展，進一步推動測繪生產(chǎn)方式和生產(chǎn)力的變革與提升。位置、幾何、拓?fù)洹⒄Z義等信息是賦能未來測繪業(yè)務(wù)智能化發(fā)展的重要基礎(chǔ)，在當(dāng)前的新發(fā)展格局下，單一的視覺SLAM方法存在巨大應(yīng)用挑戰(zhàn)，需要與新一代信息技術(shù)融合發(fā)展，研究與完善復(fù)雜場景多方法融合的視覺SLAM環(huán)境感知技術(shù)理論、算法框架，突破實時主動環(huán)境感知、場景深度交互自主導(dǎo)航與路徑規(guī)劃、全息要素地圖構(gòu)建與要素識別等關(guān)鍵技術(shù)，打造基于行業(yè)與大眾結(jié)合的開放、創(chuàng)新測繪技術(shù)服務(wù)模式，滿足新形勢下的測繪應(yīng)用需求。第一作者簡介：張繼賢(1965-), 男, 博士, 研究員, 研究方向為攝影測量與遙感、地理信息系統(tǒng)、資源與環(huán)境遙感監(jiān)測。E-mail: zhangjx@casm.ac.cn通信作者：劉飛, E-mail：pntrc@cumt.edu.cn
京公網(wǎng)安備 11010802031220號