【Luma AI】iPhoneで簡単に3DCGを生成する【フォトグラメトリ × LiDAR × 3D生成AI】

2022年11月12日

こんにちは！
XRクリエイターの伊東（@ALAKIWebVRAR1）です。

※TwitterでもAR/VRの事を中心に情報発信中です。
よかったらフォローお願いします！
Follow @ALAKIWebVRAR1

AR / VRが普及する状況で、3DCGの需要は高まっている印象を受けますが、ゼロからモデリングして3DCGを制作するのはとてもコストがかかる方法です。

今回は、「Luma AI」という新しいサービスを使って、お手持ちのiPhone一つで現実の物をスキャンして、簡単に3DCGを生成する方法をご紹介します。

この記事の目次

1 今までの3Dスキャン技術
2 LUMA AIとは
3 Luma AIの始め方
4 スキャン開始
5 生成された3DCGの確認
6 最後に

今までの3Dスキャン技術

近年では、モデリングをせずに現実の物をスキャンして3D化する「フォトグラメトリ」「LiDAR」という2つの方法が誕生しました。

フォトグラメトリ

「フォトグラメトリ」は、写真から3DCGを生成する技術です。
あらゆる角度から対象物を撮影し、特徴点と言われる対象物の輪郭となる部分を写真から検出して、物を立体的に捉えて3DCGを生成する技術です。
弱点としては、例えば背景と対象物の色が同化していたり、撮影環境の明るさなどに精度が大きく影響することです。

LiDAR

一方「LiDAR」は、レーザーを照射して物の奥行を調べながら3DCGを生成する技術です。
フォトグラメトリに比べて撮影環境による影響は少ないですが、細かい形状が取れなかったりします。

「フォトグラメトリ」と「LiDAR」を掛け合わせて、お互いの弱点を補うサービスも存在しています。

LUMA AIとは

さらに、最近注目を集めるのが、「AI」による3DCG生成技術です。「フォトグラメトリ」と「LiDAR」の掛け合わせでは取り切れなかった部分を、AIによって補完する方法です。

そして、AIによる3DCG生成技術を採用した新しいサービスが、今回ご紹介する「Luma AI」です。
現在はベータ版として公開されており、申請をすればサービスを利用することができます。

Luma AIの始め方

サービスを利用するには、Luma AIのサイトにアクセスして、「waitlist」のページから申請を行います。

※申請にはApple IDまたはGoogleアカウントが必要になります。

どんな用途でLuma AIを使用するのか、といった質問に答えると、申請が完了します。
私の場合、自動返信のメールは届きませんでしたが、2〜3日ほどでベータ版使用許可の案内がメールで届きました。

メールには、Discodeへの招待URLが記載されているので参加しましょう。

Luma AIは、3DスキャンアプリをiOSアプリとして開発していますが、AppStoreで一般公開はされておらず、「TestFlight」というテストアプリを検証するツールからインストールすることができます。DiscodeからTestFlightへのリンクが記載されているので、そこからテストアプリをインストールしましょう。

スキャン開始

インストールができたら、早速アプリを立ち上げてみましょう。

Luma AIを使ってスキャンされたデータのサンプルが一覧になっています。

新しくスキャンを開始するには、画面下部の「+」のボタンをタップしてください。

①対象物の大きさを認識

最初に、対象のオブジェクトを画面中央の十字に合わせ、十字を中心にして周囲をスマホで回るように指示があります。
この時点では、対象物の周りを360度回る必要はなく、左右45度ずつ程度回れば、大まかにサイズ感は認識できているようです。
ある程度回ったら画面をタップします。

②認識された大きさの調整

対象物の大きさを表す直方体が表示されました。
大きさや位置がずれている場合は、青色の矢印を引っ張って、サイズを調整します。

ピンチイン・ピンチアウトで拡大縮小ができ、画面右側と下側についているメモリの部分をスライドさせることで、
上下左右に直方体を移動させることができます。

調整できたら、「Confirm」ボタンをタップしてください。

③スキャン

先ほどの工程で表示された直方体を、縦に3分割するように、ピンク色の線出てきた輪が表示されました。
ピンクの輪の外側には、スマホの形をした水色の箱が中に浮いています。

水色の箱の場所・向きに自身のスマホを合わせるように移動させると、自然と画面中央がオブジェクトの中央と重なり、同時にピンク色の線の一部が水色に変わりました。

このような流れで、オブジェクトの周りをぐるっと1周 × 3段分まわり、ピンク色の線の部分を全て水色にするのがスキャン工程のゴールです。

とても直感的で、初見でも迷いなくスキャンを行うことができる素晴らしいUIだと感じました。

スキャンが終われば、アップロードボタンを押して、変換完了を待ちます。

生成された3DCGの確認

変換状況の進捗を確認する場合は、アプリの最初の画面の「Your Capture」の部分に表示されるサムネイルをタップして確認することができます。
スキャンデータが変換されるまで数十分かかりますので、気長に待ちます。

変換が完了すると、以下のような画面になります。

3つのプレビューモードがあります。

①オブジェクトの周りをぐるっと回る自動アニメーションモード

対象物の周りをさまざまな角度から撮影したような動画を確認することができます。
対象物だけではなく、周りの景色もしっかりと記録されていることがわかります。

②180度パノラマモード

①版の表示を、ユーザーが操作できるモードです。
横にスワイプするとシーンが180度まで回転できます。

③3Dオブジェクトモード

対象物のオブジェクトのみ、3Dデータとして表示を確認することができます。
対象物を中央に置くようにしてスキャンしただけで、正確にオブジェクトの輪郭を判別して、3Dデータ化されていることがわかります…！
今回は机の色と同型色のネコのぬいぐるみという意地悪なシチュエーションでしたが、問題ありませんでした。
これは、冒頭で書いた「LiDAR」センサーが仕事をしているおかげかと思います。そこにAIによって境界線を判別し、このように対象物だけの3Dデータを抽出することができるのだと推測します。