2

Scientific Reports volume 13、記事番号: 12846 (2023) この記事を引用

268 アクセス

2 オルトメトリック

メトリクスの詳細

この研究では、特徴ネットワークと 3D-2D CNN ベースの登録ネットワークで構成される、自由呼吸の 3D CT および 2D U/S 腎臓スキャン用の新しい詳細登録パイプラインである KidneyRegNet を提案しました。 フィーチャ ネットワークには、セマンティック ギャップを減らすために手作りされたテクスチャ フィーチャ レイヤーがあります。 登録ネットワークは、フィーチャー・イメージ・モーション (FIM) の損失を伴うエンコーダー/デコーダー構造であり、デコーダー層での階層回帰が可能になり、複数のネットワーク連結が回避されます。 まず、遡及的データセット兼トレーニング データ生成戦略を使用して事前トレーニングされ、次にオンサイト アプリケーションでの教師なし 1 サイクル転移学習の下で特定の患者データに適応されました。 実験は、132 個の U/S シーケンス、39 枚の多相 CT 画像と 210 枚の公開単相 CT 画像、および 25 組の CT シーケンスと U/S シーケンスで実行されました。 これにより、CT および U/S 画像上の腎臓間の平均輪郭距離 (MCD) は 0.94 mm、CT および参照 CT 画像上の MCD は 1.15 mm となりました。 小さな変換を含むデータセットでは、MCD がそれぞれ 0.82 mm と 1.02 mm になりました。 大きな変換により、MCD はそれぞれ 1.10 mm と 1.28 mm になりました。 この研究は、新しいネットワーク構造とトレーニング戦略を介して、自由呼吸中の 3DCT-2DUS 腎臓登録における困難に対処しました。

医用画像の位置合わせは、ある画像を同じモダリティまたは異なるモダリティに由来する別の画像と位置合わせするプロセスです。 この位置合わせされた画像には、より多くの時空間情報が含まれており、これは画像誘導手術 1、疾患モニタリング 2、リスク予測 3 などの用途にとって重要です。 同じモダリティの画像間の位置合わせはモノモーダル位置合わせであり、異なるモダリティの画像間の位置合わせはマルチモーダル位置合わせです。 さまざまなイメージング技術は、体内のさまざまな組織に敏感です。 したがって、相補的な情報を提供するには、異なるモダリティの画像を相互に登録する必要があります。 ただし、2 つの画像内の対応する構造の強度間には複雑な関係があるため、これは困難です。 超音波（U/S）画像は、動きが大きく、視野が狭く、スキャン品質が低いため、特に困難です。 ただし、3D と 2D の登録は必要です。 これらの問題に対する深層学習の可能性はまだ十分に発揮されていません4。 この研究では、3D コンピュータ断層撮影 (CT) から 2D 超音波 (3DCT-2DUS) の腎臓の登録に対処するための 2 段階の深層学習方法を提案しました。

最先端 (SOTA) 手法 5 は、学習戦略または畳み込みニューラル ネットワーク (CNN) ベース、ディープ敵対的ネットワーク ベース、およびトランスフォーマー ベースの画像登録に応じて、教師あり、弱教師あり、および教師なし登録として分類できます。ベースライン ネットワーク アーキテクチャに従って。 教師付きレジストレーション 6 は、画像とそのグランド トゥルース変換を使用して変換を予測するようにトレーニングされます。 弱い教師付きレジストレーション 7、8、9 では、解剖学的構造の重複するセグメンテーションを損失関数として使用し、グラウンド トゥルース データに関連する制限を軽減します。 教師なし位置合わせ 10、11、12、13、14、15 は、一連の画像を指定して非類似性の尺度を最小化することによってトレーニングされ、グラウンド トゥルース変換は必要ありません。 CNN ベースの画像レジストレーション 16,17 は、設計された CNN アーキテクチャをトレーニングし、入力画像と変形フィールド間のマッピングを学習します。 ディープ敵対的画像登録 18,19 は、ジェネレーター ネットワークとディスクリミネーター ネットワークで構成されます。 ジェネレーター ネットワークは変換を生成するようにトレーニングされ、ディスクリミネーター ネットワークは類似性メトリックを学習して、生成された変換が現実的であること、または入力画像が適切に登録されていることを確認します。 Vision Transformer (ViT) ベースの登録 20、21、22、23、24 は、アテンション メカニズムを通じてデータ間の固有の関係を学習します。 私たちのソリューションは、CNN ベースの教師なし登録です。 登録サブネットは教師なしトレーニング中であるため、登録を教師なし学習と呼びます。 機能サブネットは、登録タスク専用ではなく、個別にトレーニングされます。 これらは独立した特徴抽出器であり、ユニバーサル機能も私たちのソリューションに適用できます。