主にドローンで撮影した動画を元に3DGS空間を生成し、最終的にはその空間をFPVドローンで飛行することを目標とします。長くなるので使用するアプリケーション毎に紹介していきます。
1. 3DGSデータを作成する
2. 衝突判定の生成と3DGSデータの公開
3. 3DGS空間でFPV飛行
使用したのはM4 Mac mini 32GBとメモリー大きめのものです。ただし、実際のところGPUはフルに稼働しますが、メモリーの要求はそれほどでも無いと思います。
[ プログラムを用意する ]
https://github.com/harry7557558/spirula-studio
Spirula Studioというプログラムを導入して下さい。macOS, Ubuntu, Windowsで稼働します。
[ データの準備 ]
3DGSを作成するためのデータは写真や各種動画が使用できます。今回使用するのはAvata360で撮影した360度動画です。360度動画が情報量の多さでお勧めです。色んな角度で飛べば普通のドローン動画でも大丈夫です。
[ データセットの作成 ]
ホーム画面から「写真や動画からデータセットを作成」に入る。
Avata360の360度動画である拡張子OSVのファイルをドロップする。
「データセットを作成」を押す。
4GB強のOSVで45分ほどデータセットの作成は完了しました。D-Log Mの動画には自動的にLUTが適用されます。
「関心領域」を押す。
[ 関心領域/POI設定 ]
関心領域の設定は必須ではありませんが、適切に設定を行うと学習時間の短縮になります。また、あまりにも学習後のデータが大きいと別の記事で紹介する衝突判定のデータ作成に影響が出る場合があります。
とりあえず結果が欲しい場合には、このステップはスキップして次の学習に進んでも良いでしょう。
このデータは体育館の内部なので「シーンを囲むボックス」が領域設定に適しています。
おぼろげに見える点群を頼りにBOXで必要な範囲を囲みます。視点の角度は左ボタンを押してグリグリします。大きさはマウスならホイールの回転、トラックパッドなら二本指ドラッグです。全体を移動させる時は右側にある矢印が十字に重なったアイコンを掴んでドラッグします。
おそらく最初に現れたBOXは角度があっていません。特に真上から見た回転方向の調整が必要です。私は左側にあるボックス1の回転の数値をいじって調整しています。壁と思われる部分のすぐ外にボックスが来る様に調整します。
完了したら「保存」を押してからウインドウを閉じます。
[ 学習 ]
「学習を開始」を押します。
この例では5時間半ほどで学習が完了しました。
完成した3DGSのファイルは”splat.ply”というファイルで元動画と同じフォルダーに作成されたdataset/outputの中に入っています。
no comment untill now