圖像配準及其應用

作者：Nico Klingler

編譯：ronghuaiyang

導讀

在許多計算機視覺應用中（例如物體跟蹤和醫學成像），需要將同一物體（或場景）從不同視角、不同時間或不同條件下拍攝的兩張或多張圖像對齊。

在許多計算機視覺應用中（例如物體跟蹤和醫學成像），需要將同一物體（或場景）從不同視角、不同時間或不同條件下拍攝的兩張或多張圖像對齊。圖像配准算法將給定的圖像（參考圖像）轉換爲另一張圖像（目標圖像），使其在幾何上對齊。這種調整在多種應用中都是必需的，例如圖像融合、立體視覺、物體跟蹤和醫學圖像分析等。

圖像配準是什麼？

圖像配準是指通過對一組圖像進行空間變換並將其對齊到一個共同的觀測參考系——即從這組圖像中選擇的一個圖像的過程。配準是在圖像處理任務中重要的一步，尤其當需要組合來自不同數據源的圖像時。在圖像配準的過程中，存在兩種情況：

• 它利用了圖像集合中相對於選定作爲參考圖像的三維變換。

• 這是算法執行中最耗時的步驟，而且配準的結果無法預先確定。

體積插值網絡 (Volume Tweening Network, VTN) 用於 3D 動態圖像配準。每個子網絡負責找到固定圖像和移動圖像之間的形變場

圖像配準常用於醫療和衛星攝影中對齊來自不同攝像機源的圖像。它可以以兩種方式實現：

• 圖像到圖像配準： 多個圖像被對齊，以便能夠確定代表相同場景的匹配像素。

• 圖像到地圖配準： 輸入圖像被位移以匹配基礎圖像的地圖信息，同時保持其原始的空間分辨率。

如何實現圖像配準？

圖像配準方法可以分爲兩大類：基於區域的方法和基於特徵的方法。基於區域的方法適用於圖像缺少重要特徵的情況，此時區分信息是由陰影顏色而非清晰的形狀和結構給出的。

圖像對齊是圖像配準的第一步，通常分爲四個步驟：

• 特徵檢測： 由領域專家在參考圖像和待檢查圖像中檢測出具有顯著性的對象（邊緣、輪廓、線條邊界、角點等）。

• 特徵匹配： 定義參考圖像與目標圖像中特徵的相關性。匹配是基於圖像內容或控制點集的符號描述完成的。

• 確定變換模型： 計算參數，即映射函數或座標系，這些參數使檢測到的圖像與參考圖像對齊。

• 圖像重採樣與變換： 通過應用映射函數來改變檢測到的圖像。

使用配準場和空間變換來進行圖像配準

計算機視覺技術在圖像配準中的應用

以下是常見的圖像配準技術及其優缺點概述：

基於像素的方法

這種方法應用交叉相關統計方法進行圖像配準。它是基於模式匹配，即在圖像中查找模板或模式的位置和方向。交叉相關是一種相似度或匹配度量。

二維交叉相關函數計算參考圖像與待檢查圖像之間每個平移的相似度。如果模板與圖像匹配，則交叉相關將達到最大值。

交叉相關方法的主要缺點是處理複雜度高和相似度最大值平坦（由於圖像的自相似性）。可以通過預處理或應用邊緣相關或向量相關來改進此方法。

基於輪廓的圖像配準

這種方法利用強烈的統計特性來匹配圖像特徵點。使用彩色圖像分割提取圖像中的感興趣區域。

爲了生成圖像的輪廓——計算給定顏色集合的平均值。在分割過程中，圖像中的每個 RGB 像素被歸類爲屬於特定顏色範圍或不屬於。此外，使用歐幾里得距離來確定相似度。

基於輪廓的圖像配準，從多個 CT 掃描中（輪廓手動標記）

這兩組圖像被編碼爲二值圖像（黑白）。使用高斯濾波器來消除噪聲，因爲閾值會導致圖像模糊。接着獲取圖像的輪廓。輪廓方法的準確性令人滿意，但缺點是手動操作且速度慢。

基於點映射的方法

這是最常見的用於註冊兩個未知偏移圖像的方法。它利用從特徵提取算法 / 過程中產生的圖像特徵。特徵提取的基本目標是過濾掉冗餘信息。

選擇出現在兩幅圖像中的特徵，這些特徵更能容忍局部扭曲。在每幅圖像中檢測到特徵後，這些特徵應該可以是匹配的。

點雲映射（多模態）圖像匹配

控制點對於點匹配至關重要。控制點的例子包括角點、局部最大麴率點、輪廓線、交界線、具有局部最大麴率的框中心以及閉合邊界的重心。

基於特徵的方法的侷限性在於圖像內容的邊界。註冊特徵應該在圖像的邊界區域被識別。某些框可能缺乏這種特徵，且它們的選擇通常不是基於內容評價。

基於特徵的配準

當圖像強度提供更多局部結構信息時，可以使用基於特徵的匹配方法。從特徵提取技術產生的圖像特徵可用於配準。它們檢測並在圖像間匹配關鍵特徵（如角點、邊緣或興趣點）。然後，根據這些特徵計算變換參數。

通過特徵提取、圖像變換和相似度測量完成的圖像配準

這種方法可以處理尺度變化、平移和旋轉，但在大變形或遮擋的情況下可能會失敗。

高級圖像配準方法

• 基於強度的配準： 它比較參考圖像和待檢查圖像的像素強度值，以計算最優變換參數。它可以處理廣泛的變換，包括非線性扭曲，但對於噪聲敏感，可能需要額外的計算。

• 互信息配準： 它計算兩幅圖像像素強度之間的統計依賴關係，尋找最大化互信息的變換。它適用於配準具有多種對比度和模態的圖像，但計算密集。

• 基於深度學習的配準： 它應用卷積神經網絡 (CNNs) 直接從圖像對學習變換。它可以處理複雜的變換和大數據集，但需要額外的訓練數據。此外，在訓練期間計算成本較高。

• 光流配準： 它通過求解光流方程來估計連續幀之間像素的運動。廣泛應用於視頻分析和運動跟蹤，但在複雜場景中可能會失敗。它也對光照變化非常敏感。

深度學習 FlowNet 結構

圖像配準的應用

圖像融合

圖像融合的任務是將兩張或多張已配準的圖像合併成一幅新圖像，這幅新圖像比原始圖像更容易理解。它在醫學成像中非常重要，因爲它能創造出更適合人類視覺感知的圖像。一種簡單的圖像融合技術是取兩張輸入圖像的平均值，但這會導致特徵對比度降低。

更好的方法是應用基於拉普拉斯金字塔的圖像融合技術，但這會產生塊狀僞影的成本。最佳的融合輸出圖像可以通過小波變換針對每幅源圖像來實現。

物體跟蹤

物體跟蹤算法跟蹤物體的運動並試圖估算（預測）物體在視頻中的位置。例如，有一種算法叫做質心跟蹤器。它存儲最後已知的邊界框，然後有一組新的邊界框，接着最小化匹配物體間的最大距離。

爲了變換由不同傳感器生成的同一場景的圖像，物體跟蹤需要事先正確配準的異構圖像，即進行跨模態圖像配準。最近的深度學習技術利用大規模參數的神經網絡來預測特徵點。

多目標跟蹤 (MOT) vs. 通用目標檢測

醫學成像

醫學圖像配準旨在找到最佳的空間變換，以最佳地對齊現有的解剖結構。它被廣泛應用於許多臨牀應用中，例如圖像重建、圖像引導、運動跟蹤、分割、劑量積累等。醫學圖像配準是一個寬泛的主題，可以從不同的角度來考慮。

從輸入圖像的角度來看，配準方法可以分爲單模態、多模態、跨患者和同患者配準。從變形模型的角度來看，配準方法可以分爲剛性、仿射和可變形方法。從感興趣區域 (ROI) 的角度來看，配準方法可以根據解剖部位分組，例如大腦、肺部配準等。

通過多個 MRI 腦部掃描圖像，使用仿射變換對齊進行圖像配準

圖像配準的侷限性

圖像配準存在一定的侷限性，例如：

• 特徵選擇： 用於配準的特徵（關鍵點）的選擇會對結果產生重大影響。選擇不當或不足的特徵可能導致配準性能不佳。

• 對噪聲的敏感性： 圖像配準對圖像中的噪聲敏感。噪聲數據可能導致變換參數計算錯誤，進而影響配準效果。

• 適用範圍有限： 圖像配準技術是爲特定類型的圖像變換設計的，例如剛性變換（平移、旋轉）或平滑變換（可變形）。

• 對初始猜測的敏感性： 配準的準確性很大程度上取決於初始猜測的質量。不準確的初始化可能導致結果不佳。

• 光照（視角）變化： 當圖像存在顯著的光照條件或視角變化時，配準方法可能會受到影響。

總結

圖像配準是一項重要的技術，用於集成、融合和評估來自多個數據源（傳感器）的信息。它在計算機視覺、醫學成像和遙感等領域有着廣泛的應用。

處理複雜非線性扭曲、多模態配准以及遮擋圖像的配準有助於提高在最困難應用場景中所使用的計算機視覺方法的魯棒性。

英文原文：https://viso.ai/computer-vision/image-registration/

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/X0Y6_ACWGx76RhL0SeOnLA