【3D空間スキャン】Matterportデジタルツイン：住宅リフォームに最適なソリューション

Matterportを使えば、家具を一つも移動させることなく、ご自宅のあらゆる部屋をリノベーションを検討するための空間へと変えることができます。

家具を一つも動かすことなく、リビングルームを完全にリノベーションした状態をイメージできる――それこそがMatterportが実現しようとしていることです。

Matterportは、人工知能（AI）の考え方を取り入れ、3Dセマンティック理解やインペインティング（画像内修復）における先進技術が、デジタルツインにどのような新しい可能性をもたらすのかを探っています。

Matterportは当初、現実世界の空間をリアルに再現した静的な空間モデルの作成に注力しており、バーチャルツアーやさまざまな消費者向けアプリケーションの基盤を築いてきました。しかし、こうした空間を実際に改変したり、その潜在的な用途を評価したり、日常的な維持・管理や運用を行ったりするには、静的な再構築だけでは十分ではありません。そのため、Matterportでは、セマンティック理解を活用して、物件に関するより深い洞察と価値ある情報を提供する高度なプロパティインテリジェンスツールの開発を進めてきました。

現在では、生成AI技術における最新のブレークスルーを背景に、Matterport空間内に新しいコンテンツや体験を創出することへと取り組みを拡大し、ユーザーがこうしたデジタル環境をどのように体験し、認識するかをさらに豊かにしています。

Matterportが10年間培ってきた機械学習・人工知能の経験と、新たな生成AIツールの強力な機能を組み合わせることで、Project Genesisを通じて新しいデザインや家具のアイデアを、ボタンをクリックするだけで現実のものにしようとしています――その第一歩が、あらゆる空間を瞬時にリノベーションできる機能です。
 

家具の除去とは？

家具除去（Defurnishing）は、デジタル画像処理や3Dモデリングにおける重要な技術で、空間の画像から家具や可動物を取り除き、何も置かれていない状態の空間を再現するものです。

この手法は、空間の潜在的な可能性を明確に可視化する必要があるインテリアデザイン、不動産、バーチャルステージングなど、空室の状態を視覚化するアプリケーションにおいて重要な役割を果たします。

家具除去は、Matterportのデジタルツインで開発が進められている機能の一つで、以下の3つのステップに分けられます。

1. 再構築： まず空間をキャプチャして再構築し、デジタルツインを作成します。

2. 理解： 次に、再構築された空間に対してセマンティック理解を行い、特に、除去したい家具に属するピクセル（画像内）やメッシュ面（ドールハウスビュー内）を特定します。

3. 合成： 家具によって遮られていた領域は、デジタルツインのキャプチャ時には直接取得されていません。そのため、家具を除去すると画像には空白のピクセルが生じ、メッシュには穴が残ります。画像内の「空白領域」にはインペインティングを行い、メッシュの穴には補完とテクスチャ処理を施す必要があります。

 

 

セマンティックセグメンテーションを理解する

セマンティックセグメンテーションは重要なコンピュータビジョン技術の一つで、画像を異なる領域に分割し、それぞれの領域に特定のカテゴリーを割り当てるものです。その目的は、各ピクセルに「床」「壁」「窓」「テーブル」などのカテゴリーを付与し、物体を正確に特定して境界を定義することで、シーンを包括的に理解できるようにすることです。

物体検出では、周囲にバウンディングボックスを持つ物体に焦点を当て、画像分類では画像全体に単一のラベルを付けます。一方、セマンティックセグメンテーションでは、シーンをより細かく分析することができ、より深い解釈が可能になります。セマンティックセグメンテーションはコンピュータビジョン分野の基盤技術であり、自動運転車、医療画像、ロボットなど、さまざまな分野で活用されています。

近年では、バーチャルインテリアデザインにおいても重要な要素となっています。空間を最初にキャプチャする際、利用可能な主要データによって空間全体の構造や外観が描き出されます。セマンティックセグメンテーションは、Matterport 空間のコンテンツに対する理解を深めるうえで重要な役割を果たし、移動、編集、インデックス化、削除など、要素に対する正確な操作を可能にします。

Matterport空間のあらゆる要素を効果的に変更するためには、空間の主要な構成要素を識別する詳細なセマンティックセグメンテーションが必要です。


家具除去におけるセグメンテーションの役割

デジタルツインの画像や3D構造から家具を除去するには、まず家具に属するピクセル／メッシュ面を特定する必要があります。これらのピクセル／面を取り除くと、多くの場合、情報が欠落します。これは、デジタルツインのキャプチャ時に家具の背後や下にある領域を見ることができないためです。

そのため、家具を除去した後には、こうした欠損部分を埋めるために、信頼性の高い画像／3Dコンテンツを生成する必要があります。このプロセスは「画像インペインティング」と呼ばれます。

インペインティングは、画像編集や修復に用いられる高度な技術で、画像内の欠損または損傷した部分を補完し、画像全体が自然で完全に見えるようにすることを目的としています。主な目的は、これらの領域を周囲の画像とシームレスにつなぎ合わせ、画像の構造的完全性と視覚的連続性を維持することです。

多くのインペインティング手法では、除去対象と、その後に補完する領域を正確に指定するセグメンテーションマスクに依存しています。家具のセグメンテーションマスクに生じる差異や人為的なアーティファクトは、インペインティングの結果に大きな影響を与える可能性があります。例えば、以下のようなケースがあります。

• 家具ではなく建物の一部を除去してしまうと、重大な構造上の幻覚が発生する可能性があります。例えば、床や壁の一部を補完する代わりに、実際には存在しない部屋へつながるドアの開口部が生成される場合があります。

• 家具のセグメンテーションが不正確で、物体の一部を正しくマスクできていない場合、必要な「空白領域」（視点によって通常は壁や床として認識される領域）ではなく、意図しない偽の物体が描画される可能性があります。

• 実際に存在する家具がセグメンテーションされなかった場合、偽陰性が発生し、最終結果に家具の残骸が残ることがあります。

したがって、高品質な家具除去を実現するには、正確なセマンティックセグメンテーションを取得することが非常に重要です。


Matterportのセマンティックセグメンテーション手法

1. データ
Matterportでは、360度パノラマ画像に対して等距円筒図法（equirectangular projection）を使用したセマンティックセグメンテーションを行い、1フレームの画像内に可能な限り広範な視覚情報を取り込みます。コンテキストはコンピュータビジョンタスクにおいて重要な役割を果たしており、特にVision Transformerなどの最新のニューラルネットワークフレームワークを使用する場合に重要です。

2. カスタムオントロジー
当初、MatterportではADE20Kオントロジーの一部を使用していました。これは建築環境で一般的に見られる150のカテゴリーを含むものです。しかし、この方法だけでは特定のニーズを完全に満たすことができませんでした。

Matterportのプランでは、取り外し可能な家具をすべて除去しながら、造り付けの家具は残すことが目標です。一般的な公開データセットでは、これらの異なるタイプの家具を一つの一般的なカテゴリーにまとめていることがあります。例えば、独立型のクローゼットと造り付けクローゼットを、単純に「クローゼット」というカテゴリーに分類する場合があります。

そのため、特定のニーズに対応するには、その他のいくつかのタスク固有の要素を考慮し、家具の細かな区分についてアノテーションを行ったカスタムデータセットを作成する必要があります。

3. ネットワークアーキテクチャ
Matterportでは、さまざまなAIアプリケーションで成功を収めているVision Transformerアーキテクチャの機能を活用することを決定し、セグメンテーション実験の基盤として特にViT-Adapterを選択しました。このモデルは、もともと画像入力から単一の特徴ベクトルを生成するために設計されたVision Transformerを改良し、単一のベクトルではなく特徴マップを必要とする画像から画像へのタスクにも対応できるようにしたものです。

ViT-Adapterは360度の等距円筒画像に特化してトレーニングされたものではありませんが、このタイプのデータを処理する際に優れた性能を示しました。また、前述したオントロジーの違いを解決することを目的として設計されたものではないにもかかわらず、良好な結果を示しています。

4. デプロイメント
最近、Matterportではセマンティックセグメンテーションと深度推定をパイプラインの主要な処理工程へと移行しました。そのため現在では、画像を1枚キャプチャするたびにセマンティックセグメンテーションが実行されます。推論処理はクラウド上で実行されるため、突発的なトラフィック変動に対応でき、メンテナンス作業を簡素化するとともに、よりスムーズなアップデートを可能にします。

5. 3Dセマンティック理解
Matterportは、3D空間におけるセマンティック理解において独自の強みを持っています。3Dコンテキストをセマンティックセグメンテーションに組み込むことで、キャプチャされた空間内の空間的・意味的なつながりをより深く理解できます。Matterportでは、革新的に3Dドールハウスビューを活用し、複数の視点から得られた情報を組み合わせることで、予測精度を大幅に向上させています。この高度な手法により、より正確で意味のある変更を実行することが可能になります。

その典型的な例が家具除去のシナリオであり、環境の2Dおよび3Dの特徴を複雑かつ正確に理解する必要があります。

Defurnishingの技術的課題と限界

最先端のセマンティックセグメンテーションモデルであっても完全ではなく、未知の新しいデータへ効果的に汎用化することには困難が伴います。この現実を踏まえ、Matterportではエラーを修正したり、代替手段を生み出したりするための戦略を策定する必要があります。

教師ありセマンティックセグメンテーション手法は一般的に最良の結果を生み出しますが、オントロジーを定義・管理する作業には大きな課題があります。これらのオントロジーは特定のアプリケーションに応じて容易に変化するため、大幅な調整を行う際にはデータのアノテーションを頻繁に実施する必要があります。そのため、モデルを自己教師あり方式でトレーニングできればできるほど、新しいオントロジーに合わせてセグメンテーションモデルを調整するために必要な時間、労力、コストを削減できます。一方で、こうしたオントロジーの設計自体にも多くの課題があります。家具除去を例にすると、Matterportの目標は「独立型」の家具を取り除きながら、「造り付け」の設備は残すことです。

家具が「造り付け」に該当するかどうかを判断することは複雑な作業であり、通常は判断の一貫性と再現性を確保するための包括的なルールセットが必要です。明確なガイドラインがなければ、データアノテーションの品質が低下し、その結果としてセグメンテーションモデルの性能にも影響を及ぼす可能性があります。

---

今後の展望

自己教師あり学習
Matterportでは、以前から自己教師あり学習の研究を進めており、画像ベースのさまざまなモデルが成功を収めている現在、この分野への投資をさらに深める絶好のタイミングを迎えています。

自己教師あり学習には大きなメリットがあります。例えば、アノテーションデータへの依存を最小限に抑え、トレーニングプロセスを高速化し、特定タスクにおける性能を向上させることができます。

3Dコンテキストの統合
ワークフローに3Dコンテキストを統合することは、プロセスをさらに進化させる有望なアプローチです。現在、Matterportのデータ集約手法は受動的なもので、複数の視点から投影された特徴に対してヒューリスティックな方法で重み付けを行っています。トレーニング段階で3Dコンテキストを統合する方法を研究することで、視点に依存しない特徴を発展させ、モデルの理解能力を高められる可能性があります。

さらに、Matterportではエンドツーエンドの3D技術の可能性についても研究しており、3D表現を直接処理してセマンティック理解を行うことで、結果を改善できるかどうかを検討しています。これには再構築手法の再評価も含まれます。Neural Radiance Fields（NeRF）などの最先端技術やその他の革新的なアプローチを採用することで、現在の手法そのものを根本的に変え、モデルの理解能力と性能を大幅に向上させられる可能性があります。

マルチタスクモデル
複数のタスクを同時に実行できるマルチタスクモデルという考え方は、これまで大きな注目を集めてきました。しかし、こうしたモデルは一つの統合されたシステムとして維持する必要があるため、複数のモデル間で共有バックボーンを採用する戦略がより魅力的になります。

Matterportが技術を進化させる中で、マルチタスクモデルのメリットと複雑性の間で適切なバランスを取ることが、ワークフローと成果を改善するうえで重要なポイントとなります。

オープンボキャブラリーモデル
もう一つの注目すべき発展分野がオープンボキャブラリーモデルです。従来のモデルは固定されたオントロジーに制約されるため、顧客ニーズの多様性に対応する際に限界があります。

一方、オープンボキャブラリーモデルはこうした制約から解放され、あらかじめ定義されたカテゴリーに縛られることなく、より幅広い物体や概念を識別できます。

この適応性はMatterportにとって非常に価値があり、さまざまな空間や用途において、より幅広いセマンティック理解を実現できます。オープンボキャブラリー方式を採用することで、顧客ごとの多様なニーズに対応する能力を大幅に高めるとともに、Matterportのアセットと他のツールとの相互運用性を強化することが期待されます。

---

まとめ
空間に対するセマンティック理解を拡張することで、さまざまな業界における多くの新しいアプリケーションが可能になります。単一のオントロジーですべての顧客ニーズを満たすことはできないため、Matterportでは、オープンボキャブラリー技術や、厳格なオントロジーの枠組みに制約されないその他のアプローチに大きな価値を見出しています。

もう一つの目標は、リソースとさまざまなツールとの互換性を高めることです。そのために複数の統合機能を開発しており、最終的に生成される空室状態の空間が正確で、視覚的にも一貫性のあるものとなるよう取り組んでいます。

---

Matterport PRO3は、プロフェッショナル向けの3D空間スキャナーで、1億3,400万画素の高画質撮影に対応しています。Matterport Capture室内環境3Dスキャンソフトウェアと組み合わせることで、ワンクリックでさまざまな広さの空間を素早く3Dスキャンし、高精度な2D平面図や3Dバーチャル空間をすぐに生成できます。

 

---

Matterportの製品情報についてもっと詳しく知りたい方は、下記よりお問い合わせください！

- お問い合わせ -

3DMartでは、3Dプリントだけでなく、「3Dプリント代行」、「3Dスキャンサービス」、「空間3Dスキャンサービス」の3つのサービスを提供しています。

最新情報はこちらから：
Facebook | Instagram | LinkedIn