技術背景
LayoutNetというCNNを使うことで室内のパノラマ画像/全天球画像から室内の3Dモデルを作り出すことが可能。
Zou, C., Colburn, A., Shan, Q., & Hoiem, D. (2018). LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2051–2059. https://doi.org/10.1109/CVPR.2018.00219
LayoutNetでは元画像となるパノラマ画像と、その画像についてマンハッタンワールド仮説のもとで抽出した3軸を表す画像との2つを入力とし、ポイントクラウドを生成する。
Zou, C., Colburn, A., Shan, Q., & Hoiem, D. (2018). LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2051–2059. https://doi.org/10.1109/CVPR.2018.00219
（参考）マンハッタンワールド仮説
人工建造物には互いに直行する支配的な3軸が存在し、建造物を構成する面はそれらに垂直または平行に配置されているという仮説である。
今回で言えば、ある一つの壁は隣接する壁に対して90度の角をなし、床面とは垂直であるという制約になっている。
軸の色分けは3軸によるものである。
マンハッタンワールド仮説によるline segmentはこちらの論文のものが基本だと思われる。
https://www.ri.cmu.edu/pub_files/2009/6/cvpr09lee.pdf
概要
- LayoutNetの技術をもとに浴室内の3Dのポイントクラウドを生成、その上でカビの繁殖シミュレーションを行えるようなウェブアプリケーションを作成。
- 実装にはWebGLを利用しており、サーバーでPointCloud形式(.pcd)のファイルを書き出しフロントのレンダリングモジュールからpcdファイルを読み込むことで、 HTTPリクエストドリブンでレンダリングを実現している。
浴室内の全天球写真
arrow_downward
3Dのポイントクラウドを生成
arrow_downward
カビの繁殖シミュレーションを作成
