Matterport は、家具を移動することなく、家のどの部屋でも改装された空間に変えることができます。
家具を一切動かさずにリビングルームを完全に模様替えすることを想像してみてください。それが Matterport の目的です。
Matterport は人工知能の概念を応用し、3D セマンティック理解とインライン描画の高度なテクノロジーがどのようにしてデジタル ツインに一連の刺激的な新しいアプリケーションをもたらすことができるかを探ります。
Matterportは当初、現実世界の空間をリアルかつ静的に再現することに注力し、バーチャルツーリズムや様々な消費者向けアプリケーションの確固たる基盤を築きました。しかし、静的な再現だけでは、これらの空間を真に変革し、潜在的な用途を評価し、日々のメンテナンスや運用を管理するには不十分です。そこで同社は、セマンティック理解を活用し、物件に関するより深い洞察と貴重な情報を提供する、高度な物件インテリジェンスツールの開発に取り組んできました。
現在、同社は人工知能生成技術の最新の進歩により、Matterport スペース内で新しいコンテンツと体験を創出することに注力を広げ、ユーザーがこれらのデジタル環境でインタラクトし、認識する方法を豊かにしています。
Matterport は、機械学習と人工知能の分野での 10 年の経験と新しい生成 AI ツールのパワーを組み合わせ、Project Genesis を通じて新しいデザインや家具のアイデアを実現し、ボタンをクリックするだけで実現できるようにしています。何よりもまず、あらゆるスペースを即座に改装できるようになります。
家具の移動とは何ですか?
デファニッシングは、デジタル画像処理と3Dモデリングにおける重要な技術です。空間画像から家具や可動式オブジェクトを取り除き、空間を空っぽに見せることを指します。
このアプローチは、インテリアデザイン、不動産、仮想ステージなど、未使用のスペースの視覚化を必要とするアプリケーションにとって、スペースの可能性を明確に示すため、非常に重要です。
家具の取り外しは、すべての Matterport デジタル ツイン全体で開発されている機能であり、次の 3 つのステップで構成されます。
1. 再構築:まず空間をキャプチャして再構築し、デジタル ツインを作成します。
2. 理解:次に、再構成された空間で意味理解が実行され、削除する家具アイテムに属するピクセル (画像内) とグリッド面 (ドールハウス ビュー内) が具体的に識別されます。
3. 合成：家具で隠れている部分を直接撮影していないため、家具を取り除いた画像には空白のピクセルと穴が現れます。画像内の「空白部分」は内部的にレンダリングする必要があり、メッシュの穴は埋めてテクスチャを適用する必要があります。
3DMartによるMatterportの2024年冬リリース発表記事では、メーカーのダスト除去機能をプレビューできます。このブログシリーズのこのセクションでは、自動ダスト除去の重要な第一歩となるセマンティックセグメンテーションに焦点を当てます。
以下は、Matterport がこの冬に公開したビデオの中国語版です。
セマンティックセグメンテーションを理解する
セマンティックセグメンテーションは、画像を複数の領域に分割し、各領域に特定のカテゴリを割り当てるという重要なコンピュータービジョンタスクです。各ピクセルにカテゴリ（「床」、 「壁」、 「窓」、 「テーブル」など）をラベル付けすることで、物体の位置を正確に特定し、その境界を定義することで、シーンの包括的な理解を促進することが目標です。
物体検出はバウンディングボックスを持つ物体に焦点を当てますが、画像分類は画像全体に単一のラベルを適用します。しかし、セマンティックセグメンテーションはこれとは異なり、きめ細かなシーン分析を可能にし、解釈の深度を向上させます。セマンティックセグメンテーションはコンピュータービジョンの基盤技術であり、自動運転車、医療画像、ロボット工学などに応用されています。
近年、セマンティックセグメンテーションはバーチャルインテリアデザインの重要な要素となっています。空間の初期キャプチャー時に利用可能な一次データから、その空間全体の構造と美観が概観されます。セマンティックセグメンテーションは、 Matterportの空間コンテンツの理解を深める上で重要な役割を果たし、要素の移動、編集、インデックス作成、削除など、正確な操作を可能にします。
Matterport スペースのあらゆる側面を効果的に変更するには、スペースの主要なコンポーネントを区別するための詳細なセマンティック セグメンテーションが必要です。
家具撤去におけるセグメンテーションの役割
デジタルツインの画像と3D構造から家具を除去するには、まず家具を構成する個々のピクセル／メッシュ面を特定する必要があります。これらのピクセル／面を除去すると、多くの場合、情報が欠落します。これは、デジタルツインのキャプチャ時に家具の背後や下側の領域が見えないためです。
そのため、家具を撤去した後、これらの隙間を埋めるために信頼性の高い画像/3Dコンテンツを生成する必要があります。このプロセスは「イメージレンダリング」と呼ばれます。
画像内レタッチは、画像の編集と修復に用いられる高度な技術であり、画像の欠損部分や損傷部分を補い、完全で自然な外観を実現することを目的としています。その主な目的は、これらの領域をシームレスに再構築し、周囲の画像と完璧に調和させることで、画像の構造的完全性と視覚的な連続性を維持することです。
多くのインペイント手法は、特定の除去領域とそれに続くインペイント領域の正確なセグメンテーションマスキングに依存しています。家具のセグメンテーションマスキングに影響を与える差異や人工的な痕跡は、インペイントの結果に大きな影響を与える可能性があります。例えば、
• 家具ではなく建物の構造の一部を削除すると、重大な構造上の錯覚が生じる可能性があります (たとえば、床や壁の一部が汚れるのではなく、存在しない部屋への出入り口が作成される可能性があります)。
•家具のセグメンテーションが正しくない場合、つまり、オブジェクトの一部が適切に隠されていない場合、意図せずに、目的の「空きスペース」 （視点によっては、通常は壁や床として解釈されます）ではなく、誤ったオブジェクトが描画される可能性があります。
•実際の家具が分割されていない場合、偽陰性が発生し、家具の残りの部分が最終結果に表示される可能性があります。
したがって、正確なセマンティックセグメンテーションを確保することは、高品質の家具撤去結果を実現するために非常に重要です。
Matterportのセマンティックセグメンテーション手法
1. データ
Matterportは、等角投影法を用いて360度パノラマ画像にセマンティックセグメンテーションを実行し、単一フレーム内で可能な限り広い背景を捉えます。コンテキストはコンピュータービジョンのタスクにおいて、特にVision Transformersなどの最新のニューラルネットワークフレームワークを使用する場合に重要な役割を果たします。
2. オントロジーをカスタマイズする
当初、メーカーは建築環境で一般的に見られる150のカテゴリーを含むADE20kオントロジーの一部を使用していました。しかし、このアプローチでは特定のニーズを完全に満たすことができませんでした。
Matterportのアプローチは、取り外し可能な家具をすべて排除し、組み込み家具は維持することを目指しています。公開データセットでは通常、これらの異なる種類の家具を一般的なカテゴリに分類しています（例えば、独立型ワードローブと組み込み式ワードローブを単に「ワードローブ」として分類するなど）。
したがって、特定のニーズを満たすためには、他のいくつかの特定のタスク要因を考慮し、家具の細分化の注釈を含むカスタム データ セットをコンパイルする必要があります。
3. ネットワークアーキテクチャ
Matterportは、自社のプロジェクトにおける様々なAIアプリケーションで成功を収めてきたビジュアルコンバーターアーキテクチャの機能を活用することを決定し、特にセグメンテーション実験の基盤としてビジュアルコンバーターアダプターを選択しました。このモデルは、元々画像入力から単一の特徴ベクトルを生成するように設計されたビジュアルコンバーターを改良し、単一のベクトルではなく特徴マップを必要とする画像間タスクを処理できるようにしています。
ViT アダプターは 360 度アイソメトリック画像用に特別にトレーニングされたわけではなく、もともと前述のオントロジーの矛盾に対処するように設計されていなかったにもかかわらず、このデータ タイプの処理において優れたパフォーマンスを示しました。
4. 展開
Matterportは最近、深度推定と並んでセマンティックセグメンテーションをパイプラインの中心的な位置に引き上げ、撮影されたすべての画像に対してセマンティックセグメンテーションを実行するようになりました。その結果、プラントの推論はクラウド上で実行されるため、突然のトラフィック変動への耐性が向上し、メンテナンスが簡素化され、よりスムーズなアップデートが可能になります。
5. 3Dセマンティック理解
Matterportは、3D空間セマンティック理解において独自の優位性を有しています。セマンティックセグメンテーションに3Dコンテキストを組み込むことで、キャプチャされた空間内の空間的およびセマンティックなつながりをより深く理解できます。メーカーは、3Dドールハウスビューを革新的な方法で活用し、複数の視点を組み合わせることで、予測精度を大幅に向上させました。この高度なアプローチにより、より正確で意味のある変更が可能になります。
典型的な例は家具のないシーンで、環境の 2D および 3D の特徴を複雑かつ正確に理解する必要があります。
脱家具化の技術的課題と限界
最先端のセマンティックセグメンテーションモデルでさえ完璧さを達成することはできず、新しい未知のデータに効果的に一般化することは困難です。この現実を踏まえ、Matterportはエラーを修正したり回避策を講じたりするための戦略を開発する必要があります。
教師ありセマンティックセグメンテーション手法は一般的に最良の結果をもたらしますが、オントロジーの定義と管理には大きな課題があります。これらのオントロジーは特定のアプリケーションに合わせて容易に変換・変更できるため、大規模な調整時には頻繁なデータアノテーションが必要になります。したがって、モデルのトレーニングが自己教師型であるほど、新しいオントロジーに基づいてセグメンテーションモデルを調整するために必要な時間、労力、リソースは少なくなります。これらのオントロジーの設計には多くの課題があります。例えば、Matterportは「組み込み」部品を保持したまま「自立型」家具を分解することを目指しています。
家具が「埋め込み」に該当するかどうかを判断するのは複雑な作業であり、通常、判断の一貫性と再現性を確保するために包括的なルールセットが必要となります。明確なガイドラインがなければ、データアノテーションは低品質の結果を生み出す可能性が高く、セグメンテーションモデルのパフォーマンスに悪影響を与える可能性があります。
未来を見据えて
自己監視学習
Matterport は以前から自己教師あり学習を研究しており、さまざまな画像ベースのモデルの導入が成功したことで、この分野への投資を深める絶好の機会が到来しました。
自己監視学習には、注釈資料の必要性を最小限に抑え、トレーニング プロセスを加速し、特定のタスクのパフォーマンスを向上させるなど、大きな利点があります。
3Dコンテキストの統合
3Dコンテキストをワークフローに統合する方法を探求することは、将来有望な進歩への道筋となります。現在、Matterportのデータ集約方法は受動的であり、複数の視点から投影された特徴にヒューリスティックな重み付けを適用しています。トレーニングフェーズで3Dコンテキストを統合する方法を研究することで、視点に依存しない特徴を開発し、モデルの理解能力を向上させることができます。
さらに、当社はエンドツーエンドの3Dテクノロジーの可能性を探求し、3D表現を通して意味理解を直接処理することで結果を改善できるかどうかを検証しています。これには、再構成手法の再評価も含まれます。Neural Radiation Fields（NeRF）などの最先端技術やその他の革新的な戦略を採用することで、現在の実践を根本的に変え、モデル理解能力とパフォーマンスを大幅に向上させる可能性があります。
マルチタスクモデル
マルチタスクモデルが複数のタスクを同時に実行できるという考え方は、これまで注目を集めてきました。しかし、これらのモデルは統合されたシステムとして維持される必要があるため、複数のモデルにまたがる共通のバックボーンを採用するという戦略がより魅力的になっています。
工場が進歩するにつれて、マルチタスク モデルの利点と複雑さの適切なバランスを見つけることが、ワークフローと結果を改善する鍵となります。
オープンエンド語彙モデル
もう一つのエキサイティングな開発分野は、オープンボキャブラリーモデルです。従来のモデルは固定されたオントロジーによって制限されており、顧客ニーズの広範さによって制約を受ける可能性があります。
しかし、オープンエンドの語彙モデルはこれらの制限から解放され、より広範囲のオブジェクトと概念を認識することができ、事前定義されたカテゴリによって制限されません。
この適応性はMatterportにとって非常に貴重であり、様々な空間やアプリケーションにおけるより広範なセマンティック理解を可能にします。オープンエンドな語彙アプローチを採用することで、多様な顧客ニーズへの対応力が大幅に向上し、当社の資産と他のツールとの相互運用性も向上します。
結論は
空間の意味的理解を拡張することで、複数の業界にわたる幅広いアプリケーションが実現可能になります。単一のオントロジーではすべての顧客のニーズを満たすことができないことを認識し、Matterportは、オープンレキシカル技術や、厳格なオントロジーフレームワークに制約されないその他の手法に価値を見出しています。
もう一つの目標は、様々なツールとのリソースの互換性を向上させることです。そのため、空きスペースの最終的な表示が正確で視覚的に一貫性のあるものになるよう、複数の統合を開発しています。
Matterport PRO3は、1億3400万画素の高画質を実現するプロフェッショナル向け3Dパノラマ/空間スキャナーです。Matterport Capture屋内環境3Dスキャンソフトウェアと組み合わせることで、ワンクリックで様々なサイズの空間を素早く3Dスキャンし、高精度な2Dフロアプランと3D仮想空間を瞬時に生成できます。
Matterport製品について詳しく知りたいですか? 下記からお問い合わせください。
-お問い合わせ-
SanDiMa は3D プリントだけではなく、「 3D プリント製造」 、「 3D スキャン サービス」、「 空間 3D スキャン サービス」という 3 つの主要な OEM サービスも提供しています。
私たちのファンページをフォローして最新ニュースを入手してください:
フェイスブック|インスタグラム|リンクトイン