高質(zhì)量的三維點(diǎn)云對(duì)于機(jī)器人導(dǎo)航、三維重建、視覺(jué)測(cè)量以及AR/VR等視覺(jué)應(yīng)用具有非常重要的意義，但現(xiàn)有的3D傳感技術(shù)對(duì)于高質(zhì)量稠密點(diǎn)云的獲取十分耗時(shí)耗力，從常規(guī)的低成本測(cè)量中恢復(fù)出高質(zhì)量的點(diǎn)云上采樣方法吸引了研究人員和產(chǎn)業(yè)界的注意。點(diǎn)云上采樣方法通過(guò)算法對(duì)輸入的稀疏低分辨率點(diǎn)云進(jìn)行處理，來(lái)獲取均勻稠密的高質(zhì)量點(diǎn)云。 來(lái)自香港城市大學(xué)和南洋理工大學(xué)的研究人員們提出了一種基于幾何變換的深度學(xué)習(xí)方法PUGeo-Net來(lái)學(xué)習(xí)每一個(gè)點(diǎn)的局域參數(shù)和法向量，通過(guò)二維參數(shù)域內(nèi)的采樣和學(xué)習(xí)出的三維變換實(shí)現(xiàn)點(diǎn)云的加密，并能在4x～16x的上采樣率上實(shí)現(xiàn)精確高效的上采樣結(jié)果。

PUGeoNet

現(xiàn)存的點(diǎn)云上采樣方法主要包括優(yōu)化方法和深度學(xué)習(xí)方法，其中優(yōu)化方法主要用于局部幾何特征并適用于光滑的特征較少目標(biāo)的點(diǎn)云上采樣，但他們卻難以保留點(diǎn)云中的多尺度結(jié)構(gòu)。近年來(lái)，出現(xiàn)了一系列深度學(xué)習(xí)的方法在點(diǎn)云上采樣中取得了優(yōu)異的結(jié)果，包括PU-Net，EC-Net以及MPU模型，其中PU-Net利用點(diǎn)云卷積抽取多尺度特征并將特征進(jìn)行復(fù)制拓展、EC-Net則添加了對(duì)于邊緣和曲面的學(xué)習(xí)能力提高了上采樣的性能，同時(shí)MPU則從圖像超分辨的思想來(lái)從多層次學(xué)習(xí)多尺度的細(xì)節(jié)。這些方法都基于點(diǎn)云片進(jìn)行處理，使得高分辨率的點(diǎn)云上采樣成為可能。

雖然在點(diǎn)云上采樣中取得了良好的結(jié)果，但這些方法大多基于圖像領(lǐng)域的技術(shù)，對(duì)于輸入形狀的幾何特征考慮較少，這使得生成結(jié)果中會(huì)包含這多種人工痕跡。表面法向量作為重要的幾何特征，目前的方法也沒(méi)有在輸出處理和輸出結(jié)果中對(duì)法向量進(jìn)行考慮。

在這篇論文中，研究人員基于輸入點(diǎn)云形狀的幾何特征，深入分析了現(xiàn)有深度學(xué)習(xí)模型的局限，提出了一種針對(duì)每個(gè)點(diǎn)學(xué)習(xí)局域參數(shù)化法向量的點(diǎn)云加密方法。與現(xiàn)有基于特征空間來(lái)生成點(diǎn)云的方法不同，PUGeo-Net則通過(guò)純粹的幾何采樣方法來(lái)實(shí)現(xiàn)點(diǎn)云加密。

它首先在二維參數(shù)空間中生成樣本，而后利用學(xué)習(xí)出的線性變換將其轉(zhuǎn)為到三維空間中，最終將切面上的上采樣點(diǎn)映射回曲面上實(shí)現(xiàn)點(diǎn)云加密。下圖顯示了PUGeo-Net的主要流程，包括學(xué)習(xí)局域參數(shù)、二維參數(shù)空間中的點(diǎn)云擴(kuò)增、以及三維坐標(biāo)優(yōu)化和法向量?jī)?yōu)化。

在考慮到幾何特性以及參數(shù)化表面采樣的啟發(fā)下，PUGeo-Net主要分為三個(gè)步驟：首先將三維曲面表示為二維的參數(shù)空間中，隨后從參數(shù)空間中進(jìn)行采樣，最后將擴(kuò)增得到的2D參數(shù)采樣重新映射到三維曲面上去。其中包含了特征抽取、重標(biāo)定、參數(shù)化拓展和優(yōu)化等模塊。

眾所周知，參數(shù)化技術(shù)十分依賴于曲面的拓?fù)浣Y(jié)構(gòu)，主要包括局域參數(shù)化和全局參數(shù)化。PUGeo-Net可以針對(duì)任意拓?fù)浣Y(jié)構(gòu)三維形狀點(diǎn)云進(jìn)行處理，但考慮到計(jì)算和學(xué)習(xí)全局參數(shù)消耗計(jì)算資源十分龐大，研究人員將點(diǎn)云上采樣問(wèn)題簡(jiǎn)化為了針對(duì)每一個(gè)點(diǎn)的局域參數(shù)化問(wèn)題。下圖展示了如何將二維參數(shù)空間中的樣本映射到三維曲面上的過(guò)程。鄰域內(nèi)的點(diǎn)x可以通過(guò)雅可比矩陣J將參數(shù)域中的映射到的切平面上。

Φ表示將二維參數(shù)空間映射到三維空間中去的可差分映射，針對(duì)點(diǎn)，其對(duì)應(yīng)參數(shù)平面上的點(diǎn)。那么對(duì)于參數(shù)空間中的點(diǎn)，可以利用一階近似來(lái)得到：

其中為在參數(shù)空間中方向和方向上的偏微分，O為高階項(xiàng)。由于偏微分方向在切平面內(nèi)，可以得到點(diǎn)處的法向量：定義雅可比矩陣，此時(shí)在三維空間中切平面上的鄰域點(diǎn)可由下式表示：隨后定義強(qiáng)化雅可比矩陣：T = [Φu, Φv, Φu × Φv] 來(lái)計(jì)算xi點(diǎn)處的法向量和鄰域點(diǎn)上面的數(shù)學(xué)公式表達(dá)了如何將二維參數(shù)空間中擴(kuò)增采樣點(diǎn)映射到三維空間原始點(diǎn)切平面的過(guò)程。那么PUGeo-Net模型的核心在于學(xué)習(xí)出在參數(shù)空間中采樣，同時(shí)還在于學(xué)習(xí)出進(jìn)行線性變換的增強(qiáng)雅可比矩陣T. 針對(duì)每一個(gè)點(diǎn)xi要學(xué)習(xí)出線性變換矩陣Ti。

PUGeo-Net需要以下步驟：首先需要在二維參數(shù)域中生成新的樣本,隨后計(jì)算出xi點(diǎn)處的法向量；接著將生成的二維參數(shù)域上的點(diǎn)(u_i,v_i)映射到xi點(diǎn)的切平面上，最后通過(guò)計(jì)算每個(gè)新生成點(diǎn)在法向上的位移將這些點(diǎn)投影到3D曲面上去，生成稠密點(diǎn)云。

層級(jí)特征學(xué)習(xí)和重標(biāo)定

針對(duì)點(diǎn)云的處理，研究人員首先引入了類似STN的子網(wǎng)絡(luò)結(jié)構(gòu)來(lái)計(jì)算出全局的變換矩陣，并作用到所有的點(diǎn)上以解決旋轉(zhuǎn)不變性的挑戰(zhàn)。隨后利用DGCNN來(lái)逐點(diǎn)的層級(jí)特征，將輸入片元所包含的局域和全局的內(nèi)蘊(yùn)信息進(jìn)行有效編碼。

上圖顯示了層級(jí)特征學(xué)習(xí)模塊由低到高抽取特征的過(guò)程，為了充分保持各層級(jí)的特征和細(xì)節(jié)，研究人員利用自門(mén)控單元來(lái)提升多層級(jí)特征的質(zhì)量。輸入的特征通過(guò)多層感知機(jī)計(jì)算出每一層級(jí)特征的權(quán)重，而后進(jìn)行加權(quán)平均（圖中的乘法操作）并最終銜接在一起得到增強(qiáng)后的特征輸出。

基于參數(shù)化方法的點(diǎn)擴(kuò)增

這一模塊的主要目的在于將輸入的稀疏點(diǎn)云擴(kuò)增R倍，并通過(guò)多尺度特征回歸粗略生成較為稠密的點(diǎn)云和法向量。擴(kuò)增過(guò)程首先在二維參數(shù)空間上進(jìn)行自適應(yīng)采樣，而后將采樣點(diǎn)通過(guò)線性變換投影到三維切平面上。

針對(duì)每一個(gè)點(diǎn)xi，使用一個(gè)多層感知機(jī)f1(ci) 在參數(shù)平面上生成R個(gè)2D坐標(biāo)：

由于局域特征ci中編碼曲面的局域信息，在2D平面上將自適應(yīng)地均勻化采樣。值得一提的是這種擴(kuò)增采樣方法與先前的深度學(xué)習(xí)模型有顯著的差異：像PU-Net和MPU等方法都是在特征空間中進(jìn)行特征復(fù)制來(lái)實(shí)現(xiàn)擴(kuò)增的，沒(méi)有考慮生成點(diǎn)間的空間相關(guān)性。而PUGeo-Net則通過(guò)在2D參數(shù)空間中對(duì)點(diǎn)云進(jìn)行拓展，而后將其轉(zhuǎn)換到切平面中，這種方法更多地考慮了點(diǎn)云內(nèi)部的幾何關(guān)系。隨后針對(duì)每個(gè)點(diǎn)需要基于特征ci通過(guò)另一個(gè)多層感知機(jī)f2 預(yù)測(cè)出線性變換矩陣Ti，通過(guò)這一矩陣的作用將生成的擴(kuò)增點(diǎn)轉(zhuǎn)換到切平面上，同時(shí)得到此處的法向量：

投影后的坐標(biāo)如下所示：

法向量則可以通過(guò)下式計(jì)算得到：