深度技術(shù)流:劉先林院士對“AR技術(shù)與三維GIS的融合”的講解
2018-06-14 6340次瀏覽 作者:

6月14日,以“空間智能驅(qū)動萬物互聯(lián)”為主題WGDC2018地理信息開發(fā)者大會在北京國家會議中心順利開幕,來自測繪地理信息、北斗位置服務(wù)、人工智能、自然資源、空間大數(shù)據(jù)等行業(yè)領(lǐng)域的專家學(xué)者、企業(yè)代表、高校師生以及行業(yè)從業(yè)者超過10000人次參會。

15日上午,集團(tuán)專場峰會——空間地理信息數(shù)據(jù)高效獲取、應(yīng)用與服務(wù)在北京國家會議中心開幕,會議特別邀請了中國工程院院士、攝影測量與遙感專家劉先林重磅出席,帶來《AR技術(shù)與三維GIS的融合》技術(shù)分享。 中國工程院院士、攝影測量與遙感專家劉先林作技術(shù)分享《AR技術(shù)與三維GIS的融合》 以下中國工程院院士、攝影測量與遙感專家劉先林題為“AR技術(shù)與三維GIS的融合”的演講實錄(未經(jīng)本人確認(rèn)):

劉先林:

各位同志,歡迎大家來這里聽我的報告。前不久中國電子協(xié)會邀請我做一個關(guān)于這方面的報告,因為我過去做了一些顯示的技術(shù),所以答應(yīng)了。后來發(fā)現(xiàn)VR技術(shù)已經(jīng)向AR過渡了,就是要把實景和虛景相結(jié)合,實景就是我們測繪人的長處了。昨天(6月14日)上海搞AR最著名的公司來找我要搞合作,要快速把實景生產(chǎn)出來。AR行業(yè)在2015年的時候很瘋狂,到后來就越來越不行了?,F(xiàn)在看起來,能不能把地理信息技術(shù)注入進(jìn)去,獲得新生,希望AR和VR技術(shù)進(jìn)入新一輪的潮流。

地學(xué)業(yè)者對AR有個定義,說現(xiàn)在空間地理信息數(shù)據(jù)主要是形的基礎(chǔ)上來疊加各種實時大數(shù)據(jù),就是流,使人們對客觀世界有更深刻的認(rèn)識,這是我們對AR的見解。這個大會包括了三維顯示的報告,我們講的是測繪工作者,立體觀察已經(jīng)幾十年了,經(jīng)過了很多次的更新?lián)Q代。比如說左邊這個立體機(jī),右邊這個就是我們解析測圖儀,解析測圖儀很少,1998年之后就不怎么用了,大家可能沒見過。這個大家非常熟悉,就全數(shù)字,這個很流行,全國大概有幾千套。然后多通道的立體顯示,基于GPU的融合技術(shù),我們可以實現(xiàn)這樣的大屏幕的上下融合、左右融合,過去只能是普通三維顯示,做成了可以在立體上顯示,主要的技術(shù)就是把顯卡底層的功能專門做一個空間實現(xiàn)融合。融合也不是那么簡單,幾何上要融合起來、光度融合起來、高度上融合起來,要看不出任何的縫。比如說左圖是有三通道的,這三個通道早期都是用雙液晶,最早大家都知道我們是CRT的,CRT的照度非常低,我們花幾百萬、上千萬買過這個比利時的東西,不是很好用,后來全部退掉了。后來我們發(fā)明了雙投影、高亮度液晶投影,亮度非常高,其中一個重要的技術(shù)就是兩個投影來實現(xiàn)一個立體的投影,同時還要融合,因為一個投影儀的寬度有限的,我們要更大的,整個會場要很震撼的,這個也做了不少,全國所有的地理信息產(chǎn)業(yè)部門目前用到的液晶的高亮度的東西。右邊這個用了一個國外的投影,直接人可以沉浸式的,也是國家測繪局用的。

最近新出來的就是LED大屏幕,這個比較新。所有的那些投影儀亮度還是不夠,不能在室外,只能在室內(nèi)。要在室外看立體就是要高亮度的LED,LED的每一個發(fā)光管都是可以表現(xiàn)紅藍(lán)綠彩色的板,方便率很高,可以在野外使用。我們目前有兩種方式,一種就是主動立體,就是戴上液晶眼鏡,把這個液晶放在眼鏡上來是可以看到的,戴上眼鏡就能看到立體。另外一種方式就是被動的LED,被動LED戴的不是液晶眼鏡了,目前銷售了第一臺,估計未來在一些大場合,像今天這個LED屏幕還是相當(dāng)高了,但是不能看立體,給什么眼鏡都不行。我們的測繪人的立體是不需要旋轉(zhuǎn)的,現(xiàn)在的發(fā)展趨勢就是LED。目前LED的立體大屏幕的需求非常大,已經(jīng)開始出現(xiàn)了,這是最新一代的立體。手機(jī)立體也有。   下一步我們提倡一個叫做手機(jī)的裸眼立體,手機(jī)很有意思,我們年輕的時候看立體有的要拿立體鏡,有的不用立體鏡,直接拿兩個照片折起來就可以,裸眼沒有任何的裝備就可以看立體。智能手機(jī)橫過來以后跟我們眼基線正好相等,所以拿來看立體非常合適。所以下一步手機(jī)的裸眼立體將會出現(xiàn),我們也致力于這方面的研究。因此在三維顯示方面,應(yīng)該說我們測繪人比搞AR、VR的人很高,而且現(xiàn)在還有新花樣要出來,就是手機(jī)的裸眼立體,這是我們下一步要提出的。

我們陸部長提出來要把所有的二維系統(tǒng)變成三維系統(tǒng),因此這就給我們帶來了機(jī)會。我們認(rèn)為所謂的地理信息大數(shù)據(jù)分為兩種,一種叫做形為主的,一種就是流為主的,一種是時空大數(shù)據(jù),一種是實時大數(shù)據(jù)。我們做的事就是時空大數(shù)據(jù),實時大數(shù)據(jù)很有意思,它是沒有目的的,不知道采集是為了誰采集的,實時大數(shù)據(jù)可以進(jìn)入流通領(lǐng)域的,它的時間周期也比較短,甚至于毫秒級在那里采集數(shù)據(jù)。我們最近采集周期也很快,一般一個城市最快三個月要掃一次,北京就每三個月要拍一次,我們拍了四萬公里,馬上又要開展這方面的工作了,又要拍四萬公里。我們下一步怎么樣?是不是新的冒出來了?又要拍。實時大數(shù)據(jù)頻率是非常高的。

我們所做的時空大數(shù)據(jù)分兩種,一種是無結(jié)構(gòu)大數(shù)據(jù),一種是有結(jié)構(gòu)的大數(shù)據(jù)。無結(jié)構(gòu)的大數(shù)據(jù)實際上不是大數(shù)據(jù),它是數(shù)據(jù)大,我們常常說的這不是大數(shù)據(jù)。什么叫無結(jié)構(gòu)大數(shù)據(jù)呢?比如說航片、衛(wèi)片都是這個東西,最近非常流行的叫做mesh模型,我們芯片機(jī)動輒售價七八百萬,今年訂貨很多,國外的產(chǎn)品都沒把我們壓跨。國外的產(chǎn)品比不過我們,今年全部都找我們訂貨了。因此可見mesh模型非常流行,因為它的感官上感覺還是比較好的,但是mesh模型是無結(jié)構(gòu)的,你看到路上的行人、車,你都關(guān)不掉,它不分類,更不要說分對象了,所以這種無結(jié)構(gòu)模型的話是可以看、可以感受,它要做出決策的話只能用人腦,而結(jié)構(gòu)化的時空大數(shù)據(jù)是電腦來產(chǎn)生知識的。要想用電腦產(chǎn)生知識,你所用到的數(shù)據(jù)絕不是無結(jié)構(gòu)的大數(shù)據(jù),而是有結(jié)構(gòu)的大數(shù)據(jù)。這種數(shù)據(jù)才叫真正的大數(shù)據(jù),才叫做會說話的數(shù)據(jù),或者叫做智慧數(shù)據(jù)。而我們所說的mesh模型都不是智慧數(shù)據(jù),僅僅是數(shù)據(jù)大而已。因此這套技術(shù),我們地理信息界下一步為社會提供的數(shù)據(jù)一定是這樣的數(shù)據(jù),這樣的數(shù)據(jù)絕對不是工廠化處理能夠?qū)崿F(xiàn)的,一定是智能化處理才能夠提供的。過去說一流的企業(yè)是做標(biāo)準(zhǔn)的,現(xiàn)在不是說了,現(xiàn)在是一流的企業(yè)做平臺。

這是一個無結(jié)構(gòu)的三維模型,這個模型很老了。

傳統(tǒng)的測繪遙感數(shù)據(jù)量非常大,但是要把它由數(shù)據(jù)大轉(zhuǎn)化為大數(shù)據(jù),必須要用人工智能的技術(shù)來對大數(shù)據(jù)進(jìn)行結(jié)構(gòu)化,特別是當(dāng)前流行的深度學(xué)習(xí)能夠自動的監(jiān)測、分割、跟蹤矢量、掛接屬性。傳統(tǒng)意義上的深度學(xué)習(xí)就是監(jiān)測,能夠找到,找到這里是程序,但是這還遠(yuǎn)遠(yuǎn)不夠,一定要進(jìn)行分割,然后在這個基礎(chǔ)上進(jìn)行跟蹤得到矢量,然后掛接屬性,如果沒有屬性的話是不可能產(chǎn)生知識的。所以說結(jié)構(gòu)化數(shù)據(jù)第一個就是分層分類,一層層打上來的建筑物。這是我們所要求的結(jié)構(gòu)化的大數(shù)據(jù)。這是電線的探頭,在你的系統(tǒng)里一定是分開的管理的,對于他們搞虛擬現(xiàn)實的人來說很不可理解,他們做的AR、做的實體模型不分層分類,他們對這個也感興趣,覺得為什么要這樣?昨天專門跑來問我,我給他們講了很多的原理。第一步這個數(shù)據(jù)一定是分層分類的,哪怕沒有類,大家都混在一起不行。這個就是對象化管理,每一棵樹都有自己的屬性,一定是對象化管理的,這是結(jié)構(gòu)化數(shù)據(jù)。還有一定要有三維矢量,像是房屋。這些圖形的背后一定是一些文件來支持的,將來計算機(jī)能懂讀這個東西,它不用再自己去用深度學(xué)習(xí)來對這些不會說話的數(shù)據(jù)進(jìn)行改造,事先采集的時候就把它搞定了,這中間就Y軸就是對象實體。你要和這些工業(yè)部門相結(jié)合的話屬性要求非常嚴(yán)格。我們可以把幾何屬性都事先做好。這種形式的數(shù)據(jù)是高級形式的,生產(chǎn)最困難,必須高度自動化,人工是不可能生產(chǎn)出來的。這種數(shù)據(jù)做出來之后可以生產(chǎn)任何一種低級形式的數(shù)據(jù),無結(jié)構(gòu)的也可以做出來。

目前從AR的觀點來看是以感性為主,不是理性的。感性為主的意思就是放在卡上進(jìn)行一次碰撞檢測,或者前后遮擋檢測,這個就很低級,只能在卡上運(yùn)算,不能在云上運(yùn)算,我們要的數(shù)據(jù)是要在云上進(jìn)行知識產(chǎn)出,這點對AR是很重要的。昨天跟他們搞虛擬的人講到,我們是搞現(xiàn)實的,虛擬和現(xiàn)實一定要相結(jié)合。

當(dāng)然對于AR數(shù)據(jù)結(jié)構(gòu)化的數(shù)據(jù)標(biāo)準(zhǔn)還有待研究,流動的數(shù)據(jù),所謂的流分兩種,一種是有形的流,比如說車輛探頭。一種是無形的數(shù)據(jù)流,比如說數(shù)據(jù)流、資金流,網(wǎng)購的數(shù)據(jù)。這兩種流都可以疊加到相對靜止的空間地理信息數(shù)據(jù)上,使得觀測效果更生動,這就是我們說的熱力圖,所以我們能夠做的事很多。

最后,我給他們講了一下AR技術(shù)怎么樣才能再次成為一個潮流,它的核心問題要使受眾達(dá)到千萬級,甚至于億級的,我們做一個產(chǎn)品動不動就幾百萬。用戶一年最多銷七臺,但是人家滴滴打車融資動不動上百億美元,因為他的受眾非常廣、非常巨大,你這個AR要想再次成為潮流的話,受眾一定要從少數(shù)人變成多數(shù)人。

AR的下一步熱點,跟我們地理信息相結(jié)合可以做些什么事情?

第一個是4DAR,就是交通部門的探頭。這個探頭的數(shù)據(jù)量是爆炸性的,警察要想從里面找到一點知識是很困難的,就要用4DAR技術(shù)幫助他。因為這個探頭數(shù)據(jù)里面有大部分的數(shù)據(jù)都是靜止的,比如說樹、標(biāo)線、房子,都是靜止的,只要把移動的部分提取出來。每個探頭是有模型的,有它的位置和方位,在這個基礎(chǔ)上就可以把探頭的數(shù)據(jù)進(jìn)行疊加,這個就是錄像用深度學(xué)習(xí)很方便的可以把車找到,過去用這個技術(shù)是在街景發(fā)布的時候把車牌給隱蔽掉,現(xiàn)在不是了?,F(xiàn)在是要把這個車牌用上,沒有車牌的數(shù)據(jù)無法使用,這是我們?nèi)S模型。車上去之后這個模型還可以旋轉(zhuǎn),這就是AR現(xiàn)場的實景。也就是通過深度學(xué)習(xí)的辦法把警察的數(shù)據(jù)拿出來,把車找出來,把固定場景的東西更真實的表現(xiàn)在上面,僅僅把警察所關(guān)心的車提取出來,然后投上去,這就是4D。

如果警察關(guān)心人的話也是可以的,這有什么好處呢?就是數(shù)據(jù)量大的現(xiàn)狀,而且不僅可以看到現(xiàn)狀,還可以追溯歷史、預(yù)測未來,看這個車下面要跑到哪兒去。這里面最核心的是移動對象應(yīng)該是有屬性的,就是說這些移動對象他的車牌號、車型、車的顏色,這都是移動對象的屬性。所以我們的三維對象的話過去有點狀對象、線狀對象、面狀對象、體狀對象,這是我們的對象化管理中的四種。點狀對象比如說電桿,線狀對象是隔離帶,面狀對象是墻,體狀對象是建筑物或者過街天橋。現(xiàn)在出來了第五種就是移動的對象,這個移動對象在我們的結(jié)構(gòu)里面能改,僅僅是把屬性里面對這個對象要有描述,在我們的屬性里面有它的大寫坐標(biāo)、小寫坐標(biāo)、幾何形狀,還要增加它的時間。就是我們過去三維時代的時候,這個屬性里面的幾何對象三維矢量,比如說一個路燈三個點就夠了,一個坐標(biāo)也是三個點,一個電桿兩個點就夠了,一個房子當(dāng)然多一些?,F(xiàn)在移動對象的話屬性里面的幾何矢量就增加了,T1XYZ,T2X2Y2Z2,屬性項里面的矢量部分變成了四維的矢量,這就是4DAR結(jié)構(gòu)的數(shù)據(jù)基礎(chǔ)。如果不是這樣的,警察可以在系統(tǒng)里面調(diào)任何時刻、任何地點的場景,任意時間、任何地點、你所需要的任何對象的場景,可是周圍的一切東西都是真實的。把干擾的車也可以去掉了。

這是第一個“熱”,我們預(yù)計在國家公安部門大量的探頭數(shù)據(jù)量爆炸的情況下,將會有這個“熱”支持AR技術(shù)進(jìn)一步的發(fā)展。當(dāng)然AR技術(shù)可以在手機(jī)上發(fā)布,也可以在LED上發(fā)布,也可以在網(wǎng)上發(fā)布。

第二點就是手機(jī)上的立體觀察,因為手機(jī)的數(shù)據(jù)量有限,目前要都從網(wǎng)上下載的話,你在網(wǎng)上下載一個帶紋理的模型數(shù)量會很大。那么怎么辦呢?最近我們就搞了一個數(shù)據(jù)量幾乎為零的,幾乎可以忽略不計的,叫做“白膜”。這就是一個“白膜”,當(dāng)然這里面把建筑物關(guān)掉了,當(dāng)時做得還不是很成功,完全用激光,不用影像就可以把“白膜”輸入進(jìn)來,做好之后它的數(shù)據(jù)量幾乎可以忽略不計,用本地數(shù)據(jù)就可以漫游,但是標(biāo)線、路桿、天橋都是真實的,雖然沒有用影像,但是也足夠讓人看到這一切。所以這種“白膜”做出來以后就有可能在手機(jī)上進(jìn)行漫游,這個我們認(rèn)為是AR的下一個熱點。

這個“白膜”做出來之后有什么用呢?首先一個就是可以作為自動導(dǎo)航,給他們注入一些新的血液?,F(xiàn)在的導(dǎo)航軟件當(dāng)然也有三維,但三維基本上都是虛假的,跟真實的情況不一致。我們現(xiàn)在雖然不是真實的紋理,但是基本上形狀是真實的,因此從過去所謂的百度、高德這些自動駕駛的軟件中注入這樣的東西,就是所謂的實體導(dǎo)航。實體導(dǎo)航有什么好處呢?第一個好處就是到了目的地之后可以找到真正要去的地方,而不是走錯了?,F(xiàn)在因為北京搞拆違建,把大廠商和賓館的標(biāo)志都拆了,所以到了目的地之后導(dǎo)航結(jié)束了你也找不到要去的地方。因此這樣的實體導(dǎo)航就可以把你的目標(biāo)所處在的路口,或者是建筑物進(jìn)行渲染,渲染成另外一種顏色,你這樣就很容易的在最后100米的時候找到你要去的地方,這是一個模式。另外一個就是實體定位,假設(shè)我們把這個街區(qū)所有的“白膜”都建起來,這個“白膜”建起來并不是很復(fù)雜,只要車開過去數(shù)據(jù)拿回家,第二天早上就出來了,這個就靠云計算,靠GPU,第二天早上就可以拿到“白膜”,基本上八九不離十,應(yīng)該說基本上不用編輯了。這樣的數(shù)據(jù)對于未來的實體定位提供了一個基礎(chǔ),現(xiàn)在的定位潮流很多,現(xiàn)在的地基增強(qiáng)、藍(lán)牙定位、基站定位,這些都是無線電定位,跟我們搞測繪的沒有關(guān)系。但是我們搞測繪的下一步會推一個實體定位,我實體都做出來了,你拿我就可以了,當(dāng)然也不是圖像定位,圖像定位的話信息量太大。所以我們測繪工作者在定位的技術(shù)上可能會有新的思路。

第三個熱點,就是AR車窗的自動駕駛。也就是說在國外是有這個想法的,還沒有完全實現(xiàn)。會上有一個公司說他可以做AR車窗,AR車窗就是在車上可以既把你計算機(jī)里面的實體街景的模型投影到屏幕上去,同時你又可以從,AR車窗是一個透明的,可以看到地面、看到實景。這兩者結(jié)合起來對于自動駕駛,對于駕駛的樂趣會提高。一方面你的數(shù)據(jù)是不是對,就可以知道了。另外一方面你自動駕駛的路線是不是對,如果不對的話一定是模糊的。因此AR在移動物體,包括人當(dāng)中都會很有用,過去的頭盔都是VR頭盔,目前所看到的都是VR頭盔,這個VR頭盔看不到自己的身體,也看不到地面,用戶用一會兒就頭暈。因此提出來一個AR頭盔的概念。而AR頭盔要想推廣的話,那就離不開我們搞測繪的人了,因為它要實際模型,實際模型由誰提供呢?就是靠我們測繪人提供的,所以我們在這個當(dāng)中的應(yīng)用是有很多場合的,雖然我們是跨界融合碰撞了一下,最后反響還是很好的。十多個人來加我的微信,我為什么在這里做報告呢?就是希望我們測繪人不要局限在過去的二維、三維,現(xiàn)在是四維時代了。也許這個會來的很快,把AR技術(shù)和我們現(xiàn)有的采集技術(shù)結(jié)合起來,我們現(xiàn)在做的數(shù)據(jù)就要求非??茖W(xué)的,將會在馬路上每隔200米就修一個5G的基站。剛才我們四五十類的路線都可以全要素的采集出來,這點是有基礎(chǔ)的。但是客戶提出來的一個需求,你采集了之后我怎么知道它的變化?是不是再采一次?我現(xiàn)在初步的思路還不是這樣的,而是用電子標(biāo)簽,用RFDI的技術(shù)實現(xiàn)動態(tài)的監(jiān)測,因此我們測繪工作者的服務(wù)面,雖然我們測繪局現(xiàn)在定到自然資源部去了,但是服務(wù)面是非常寬的,幾乎沒有一個行業(yè)能夠不用我們的技術(shù)。所以我們測繪地理信息工作者是在新一輪的創(chuàng)新大潮中大有可為。我的報告就到這里,謝謝。