シーズ例
「LayoutNet」による空間構成

技術背景

LayoutNetというCNNを使うことで室内のパノラマ画像/全天球画像から室内の3Dモデルを作り出すことが可能。

LayoutNetというCNNを使うことで室内のパノラマ画像/全天球画像から室内の3Dモデルを作り出すことが可能。

Zou, C., Colburn, A., Shan, Q., & Hoiem, D. (2018). LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2051–2059. https://doi.org/10.1109/CVPR.2018.00219


LayoutNetでは元画像となるパノラマ画像と、その画像についてマンハッタンワールド仮説のもとで抽出した3軸を表す画像との2つを入力とし、ポイントクラウドを生成する。

LayoutNetでは元画像となるパノラマ画像と、その画像についてマンハッタンワールド仮説のもとで抽出した3軸を表す画像との2つを入力とし、ポイントクラウドを生成する。

Zou, C., Colburn, A., Shan, Q., & Hoiem, D. (2018). LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2051–2059. https://doi.org/10.1109/CVPR.2018.00219

(参考)マンハッタンワールド仮説

人工建造物には互いに直行する支配的な3軸が存在し、建造物を構成する面はそれらに垂直または平行に配置されているという仮説である。
今回で言えば、ある一つの壁は隣接する壁に対して90度の角をなし、床面とは垂直であるという制約になっている。
軸の色分けは3軸によるものである。

マンハッタンワールド仮説によるline segmentはこちらの論文のものが基本だと思われる。
https://www.ri.cmu.edu/pub_files/2009/6/cvpr09lee.pdf

概要

  • LayoutNetの技術をもとに浴室内の3Dのポイントクラウドを生成、その上でカビの繁殖シミュレーションを行えるようなウェブアプリケーションを作成。
  • 実装にはWebGLを利用しており、サーバーでPointCloud形式(.pcd)のファイルを書き出しフロントのレンダリングモジュールからpcdファイルを読み込むことで、 HTTPリクエストドリブンでレンダリングを実現している。

浴室内の全天球写真

arrow_downward

3Dのポイントクラウドを生成

arrow_downward

カビの繁殖シミュレーションを作成

PROJECTS LIST