1. 
    
        1. 首頁 > 企業IT頻道 > ARVR

          微軟AR/VR專利提出高效高精度解決方案計算場景圖像像素

          2022年09月13日 11:41:47   來源:映維網

            計算兩個或多個圖像中的像素對應可以用于從三維視覺到圖像編輯和場景理解的計算機視覺任務,包括混合現實。對于密集語義對應任務,其涉及尋找語義相關的對象或場景元素的對應像素,而不是同一場景。

            目前針對計算語義對應的方法包括利用鄰域一致性,亦即基于2D空間情景過濾稀疏特征匹配或密集像素對應。過去的各種鄰里一致過濾器都是手動制作,而不是機器訓練。

            密集對應任務可能涉及從圖像對中提取特征以創建特征映射,并基于特征映射像素對之間的相似性確定對應關系。結合鄰域一致線索的端到端可訓練深度神經網絡可用于這種任務。然而,大多數方法在計算方面的成本都非常昂貴。

            在名為“Pixel correspondence via patch-based neighborhood consensus”的專利申請中,微軟提出了一種旨在提高效率和精度的方法,在估計兩個圖像之間的密集語義對應中使用PatchMatch Neighborhood Consensus(PMNC)函數。

            簡言之,基于卷積神經網絡(CNN)的特征提取器應用于源圖像和目標圖像,以創建源和目標特征映射,從中確定相關映射;谙嚓P映射,使用greedy算法確定密集對應映射。在推理過程中,使用PatchMatch-based函數對密集對應圖進行細化。

            所述的PatchMatch-based的示例方法采用基于鄰域一致的評分函數,基于從相關映射提取的patch來預測評分;诜謹,更新密集對應映射以產生包括兩個圖像之間的像素對應的精細對應映射。與其他方法不同,PMNC不使用多個卷積層過濾全相關映射。相反,專利描述的示例使用PatchMatch-based推斷。學習的評分函數用于比較兩個圖像中的patch的相似性。

            評分函數在4D相關映射局部執行卷積以產生匹配評分。因此,所述函數可用于在每個PatchMatch迭代期間比較每個像素的少量傳播候選。例如,PMNC可以在整個搜索空間的一部分上計算卷積,這可以提供比其他方法更有效的處理。因此與其他方法相比,微軟表示它可以為密集語義對應任務帶來更有效的計算性能。

            值得一提的是,所述方法同時涉及不可微分過程的訓練函數。由于PMNC示例是不可微分,因此示例中的CNN特征提取器和評分函數不能使用反向傳播直接訓練。所以,可以使用端到端可微分代理模型訓練函數。模型產生特征提取器CNN和評分函數,然后將其嵌入PMNC模型中。

            在一個實施例中,使用稀疏關鍵點監督聯合訓練基于CNN的特征提取器和基于鄰域一致的4D評分函數。在訓練代理模型時,針對源圖像中的多個位置,在目標圖像中密集調用評分函數,其中ground truth關鍵點位置可用。

            對于每個關鍵點注釋,密集分數用于形成2D預測概率圖,而目標圖像中稀疏的ground truth相關鍵點位置relax為ground truth 2D概率圖。然后聯合優化特征主干和評分函數的參數,以減少預測概率圖和ground truth概率圖之間的偏差。使用所述訓練方案,可以在較少使用計算資源的情況下獲得與上述方法相當的匹配精度。

            PMNC推理管道示例如下。給定2D源圖像和目標圖像,PMNC首先通過基于(CNN)的特征提取器計算給定源圖像和靶圖像的特征映射。然后,PMNC通過計算來自源和目標特征圖的像素對的相似度來計算4D相關映射,例如通過點積運算。接下來,PMNC通過基于最高相似性得分將多個源特征圖像素中的每個源特征圖象素與對應的目標特征圖象素相關聯,從相關圖計算初始對應映射。

            在一個實施例中,這是針對源特征映射的每個像素進行。接下來,PMNC通過執行一系列patch匹配傳播和更新步驟來迭代地細化對應關系映射。然后,PMNC返回細化的對應映射作為輸出。

            圖2示出了用于計算推理時的語義對應的示例PMNC推理管理200。推理管理200可以實現為存儲在一個或多個計算機可讀存儲設備,并可由一個或更多個邏輯機執行的計算機可讀指令。

            PMNC推斷管道200通過使用圖像特征描述符計算源圖像204和目標圖像206之間的相似度來計算208相關映射218。示例性源圖像和目標圖像在204a和206a處示出為均包括自行車的圖像,但在不同的場景和/或情景中。另外,每個圖像中的自行車可以不同。

            為了計算208相關性映射,PMNC推斷管道200采用基于CNN的特征提取器210來獲得源特征映射212和目標特征映射214。每個特征映射包括多個特征映射像素,每個特征映射像素包括對提取的特征進行編碼的特征映射矢量。

            在一個實施例中,PMNC使用ResNet主干作為特征提取器210。在其他示例中,任何其他合適的可訓練模型可以用作特征提取器,包括CNN以外的模型。

            源特征映射212和目標特征映射214的像素之間的相似性可以以任何合適的方式計算。在所描繪的示例中,對每對源/目標圖像像素應用點積216運算以獲得相關映射218。

            確定相關映射后,PMNC執行修補匹配優化以初始化對應映射。在圖2的示例中,PMNC推理管線200通過貪婪算法220從4D相關映射218計算初始對應映射222,其中PMNC迭代FS的每個源像素,并通過選擇具有最大相似性得分的對應像素或以其他方式具有最接近確定的相似性度量來確定FT中的對應像素。

            初始對應圖是從純像素相關中獲得,沒有鄰域一致。然而,初始對應映射d0可能包含不正確的對應。因此,通過一個或多個傳播和更新步驟230細化初始對應關系映射。在傳播期間,PMNC在232對候選對應關系進行采樣,在234評估每個候選對應關系,并在236更新對應關系圖,PMNC基于相鄰像素與目標特征映射像素(x1,y1)的對應關系確定像素(i,j)的候選對應關系233。

            確定一組候選對應關系后,PMNC使用學習的評分函數來評估每個傳播候選。給定傳播候選集sijk,PMNC通過將候選對應的4D補丁輸入評分函數來評估每個候選對應,以獲得候選對應的分數。從相關映射218中提取或裁剪4D patch。每個4D patch包括源特征映射像素(i,j)、一個或多個相鄰源特征映射象素、目標特征映射象元(k,l)和一個或更多個相鄰目標特征映射像素。

            評分函數F預測對應的正確性并輸出對應分數。與上面討論的其他方法不同,評分函數F預測對應關系(i,j)的正確性。(k,l)給定從相關圖C中提取的4D patch Aijkl。由于整個相關圖C的4D卷積在計算上可能是昂貴的并且具有大的內存占用,PMNC使用4D評分函數,而所述函數對從相關映射中提取的選定4D patch應用4D卷曲。通過在4D patch使用卷積,與其他方法相比,PMNC降低了計算復雜度和內存占用。

            再次參考圖2,在234和236示出了示例候選對應評估和更新,評分函數F評估補丁Ai,j,X2,Y2并確定對應分數235(這里顯示為10.2)。在236,PMNC基于最高對應分數更新像素(i,j)的對應關系。在所示示例中,分數235表示最高對應分數,并且分數235與補丁Ai,j,X2,Y2相關聯,因此PMNC用對應237更新對應映射,所述對應237將像素(i,j)映射到像素(X2,Y1)。

            作為每個傳播和更新步驟的結果,PMNC產生一個精確的對應映射238。PMNC可以重復傳播和更新過程(即232、234和236),直到對應映射收斂。一旦對應映射達到了目標的收斂水平,PMNC推理管道200輸出最終的精確對應映射240。在一個實施例中,當更新迭代不產生變化時,即dk=dk-1,可以實現收斂。在其他示例中,可以使用任何其他合適的收斂標準,例如基于收斂像素數的標準。在其他示例中,PMNC可以在230處執行預定次數的迭代(例如,兩次迭代)。

            如上所述,PMNC推理管道不可微,因此不能通過反向傳播進行訓練。所以,為了訓練PMNC推理管道的特征提取器和評分函數,可以定義代理問題,并在訓練過程中使用代理問題來學習組件的參數。

            在一個實施例中,訓練過程使用訓練圖像對的稀疏標記關鍵點匹配進行監督。每個標記的關鍵點匹配包括源圖像的關鍵點注釋(i,j)與目標圖像的ground truth目標對應(k,l)之間的對應。在訓練期間,為訓練圖像對計算相關映射。對于每個關鍵點注釋(i,j),PMNC通過使用評分函數F從其4D patch Aijkl預測其匹配分數來評估所有候選目標像素(x,y)。

            然后,PMNC通過按照目標圖像的像素順序排列所有預測分數來計算2D匹配分數圖。接下來,通過對2D匹配分數圖應用可微分函數(例如,softmax操作),訓練過程獲得目標圖像中像素的2D概率圖。訓練過程為每個源關鍵點注釋計算2D概率圖。當PMNC使用PatchMatch作為窮舉匹配算法的替代時,代理問題允許特征提取器和補丁評分函數F產生有意義的結果。

            名為“Pixel correspondence via patch-based neighborhood consensus”的微軟專利申請最初在2021年3月提交,并在日前由美國專利商標局公布。

            文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。

          [編號: ]
          分享到微信

          即時

          新聞

          騰訊前三季研發投入454.75億元 前沿科技加速落地服務

          11月16日,騰訊控股(HK.00700)發布2022年Q3財報,騰訊實現營業收入1400.93億元,非國際會計準則凈利潤(Non-IFRS)322.54億元,同比恢復增長,多個主營業務板塊收入亦呈現環比企穩跡象。

          企業IT

          今日影像,今日推送!星圖地球今日影像正式發布,開

          每一次火箭升空、衛星發射都能引起全國人民的關注,那你可曾想過,有朝一日每個人都能召喚衛星為自己服務?

          研究

          IDC發布中國數字政府IT安全軟硬件市場份額報告

          IDC《中國數字政府IT安全硬件市場份額,2021》報告顯示,中國數字政府IT安全硬件市場的規模達到64.9億元人民幣,同比增長31.5%。

          女性做私密按摩,浪货再浪奶好大夹得好紧,妓女影院妓女网妓女AAA

          1.