O3D-SIM 是通過將 2D 遮罩和嵌入投影到 3D 來構建的,使用 DBSCAN 進行初步優化。O3D-SIM 是通過將 2D 遮罩和嵌入投影到 3D 來構建的,使用 DBSCAN 進行初步優化。

建構開放集 3D 表示:特徵融合與幾何語義合併

2025/12/15 01:00

摘要和1 引言

  1. 相關工作

    2.1. 視覺與語言導航

    2.2. 語義場景理解和實例分割

    2.3. 3D場景重建

  2. 方法論

    3.1. 數據收集

    3.2. 從圖像中獲取開放集語義信息

    3.3. 創建開放集3D表示

    3.4. 語言引導導航

  3. 實驗

    4.1. 定量評估

    4.2. 定性結果

  4. 結論和未來工作、披露聲明和參考文獻

3.3. 創建開放集3D表示

為了完成O3D-SIM的構建,我們現在基於為每個物體提取的特徵嵌入,通過將物體信息投影到3D空間、聚類,以及關聯多個圖像中的物體來創建全面的3D場景表示。將語義信息投影到3D空間並優化地圖的過程如圖3所示。

\ 3.3.1. O3D-SIM初始化

\ 3D地圖最初使用選定的圖像創建,該圖像作為初始化我們場景表示的參考框架。這一步建立了我們3D場景的基礎結構,然後逐步用後續圖像的數據來豐富場景的複雜性和細節。

\ 3D場景中物體的數據被組織為字典中的節點,最初為空。然後從初始圖像中識別物體及相關數據,包括嵌入特徵和有關其遮罩的信息。對於圖像中識別的每個物體,使用可用的深度信息和物體的遮罩創建3D點雲。這個點雲形成過程涉及將2D像素映射到3D空間,通過相機的內在參數和深度值來實現。隨後,利用相機姿態將點雲準確地對齊到全局坐標系中。為了優化我們的場景表示,背景過濾會移除被識別為背景的元素,如牆壁或地板。這些元素被排除在進一步處理之外,特別是在聚類階段,因為它們不構成我們場景表示的主要焦點。

\ 物體的點雲集合使用DBSCAN[34]聚類進行表示優化。點雲通過體素網格過濾進行下採樣,以減少點的數量和計算複雜性,同時保持數據空間結構的可管理性。DBSCAN將緊密聚集在一起的點分組,同時將位於低密度區域的孤立點標記為噪聲。在後聚類步驟中,識別出通常對應於點雲中主要感興趣物體的最大聚類。這有助於過濾掉噪聲和不相關的點,產生更清晰的感興趣物體表示。

\ 3D空間中物體的姿態是通過計算邊界框的方向來確定的,這提供了物體在3D空間中位置和大小的簡潔空間表示。隨後,3D地圖輸出使用初始節點集進行初始化,封裝特徵嵌入、點雲數據、邊界框,以及與每個節點相關的點雲中的點數。每個節點還包括源信息,以便追蹤數據來源以及節點與其2D圖像對應物之間的聯繫。

\ 3.3.2. O3D-SIM的增量更新

\ 初始化場景後,我們使用新圖像的數據更新表示。這個過程確保我們的3D場景在獲得額外信息時保持最新和精確。它對圖像序列中的每個圖像進行迭代;對於每個新圖像,提取多物體數據,並更新場景。

\ 對每個新圖像檢測物體,並像初始圖像一樣創建新節點。這些臨時節點包含新檢測到的物體的3D數據,這些數據必須合併到現有場景中或作為新節點添加。新檢測到的節點與現有場景節點之間的相似性是通過結合視覺相似性(從特徵嵌入派生)和空間(幾何)相似性(從點雲重疊獲得)來確定的,以形成聚合相似性度量。如果這個度量超過預定閾值,則新檢測被視為對應於場景中的現有物體。實際上,新檢測到的節點要麼與現有場景節點合併,要麼作為新節點添加。

\ 合併涉及點雲的整合和特徵嵌入的平均。計算CLIP和DINO嵌入的加權平均值,考慮源鍵信息的貢獻,優先考慮具有更多源標識符的節點。如果需要添加新節點,則將其納入場景字典。

\ 一旦輸入序列中所有圖像的物體都已添加,場景優化就會發生。這個過程合併代表相同物理物體但最初由於遮擋、視角變化或類似因素而被識別為單獨的節點。它使用重疊矩陣來識別共享空間佔用的節點,並將它們邏輯上合併為單個節點。通過丟棄未能滿足最小點數或檢測標準的節點來完成場景。這導致了一個優化和精煉的最終場景表示 - 開放集3D語義實例地圖,即O3D-SIM。

\

:::info 作者:

(1) Laksh Nanwani,印度海德拉巴國際信息技術學院;此作者對本工作貢獻相同;

(2) Kumaraditya Gupta,印度海德拉巴國際信息技術學院;

(3) Aditya Mathur,印度海德拉巴國際信息技術學院;此作者對本工作貢獻相同;

(4) Swayam Agrawal,印度海德拉巴國際信息技術學院;

(5) A.H. Abdul Hafez,土耳其加濟安泰普薩欣貝伊哈桑卡利永庫大學;

(6) K. Madhava Krishna,印度海德拉巴國際信息技術學院。

:::


:::info 本論文可在arxiv上獲取,根據CC by-SA 4.0 Deed(署名-相同方式共享4.0國際)許可證。

:::

\

免責聲明: 本網站轉載的文章均來源於公開平台,僅供參考。這些文章不代表 MEXC 的觀點或意見。所有版權歸原作者所有。如果您認為任何轉載文章侵犯了第三方權利,請聯絡 [email protected] 以便將其刪除。MEXC 不對轉載文章的及時性、準確性或完整性作出任何陳述或保證,並且不對基於此類內容所採取的任何行動或決定承擔責任。轉載材料僅供參考,不構成任何商業、金融、法律和/或稅務決策的建議、認可或依據。