はじめに
PCや家庭用ゲーム機のハードウェアの性能向上に伴い、ゲームエンジンでは、より高いポリカウントのメッシュや高解像度のテクスチャをレンダリングできるようになり、ゲームデザイナーはAAAタイトルでこれまで以上にリアルな環境を作り出すことができるようになりました。しかし、このような超高品質のゲームアセットを作成するプロセスは、同様に時間と複雑さを増しています。特に、可能な限りリアルにすることを目的とする場合はなおさらです。
今にして思えば、フォトグラメトリーへの移行は、超リアルなゲーム内アセットへの需要の高まりと、ゲームエンジンの継続的な進化もあって、ほぼ論理的に進んでいます。今では、誰もが一連の写真を撮影し、それを加工して、数時間から数日のうちに、非常にリアルな外観のモデルとそれに合ったテクスチャーを作成し、ゲームアセットとして使用することができるようになりました。
フォトグラメトリーは何年も前から存在していましたが、4年前のゲーム開発者会議（GDC）で『スター・ウォーズ バトルフロント』の制作における成功例として紹介されて以来、より多くの開発者が次のツールとして検討するようになりました。Virtuos社でもフォトグラメトリーの導入を進めており、現在はエンド・ツー・エンドのゲーム制作プロジェクトにおいて、フォトグラメトリーを用いて詳細な環境を構築しています。
スパークスのフォトグラメトリーの創世記
Virtuos社のフォトグラメトリー活動の大部分は、ベトナムのホーチミン市にあるVirtuos社のスタジオ、Sparx*で行われています。スターウォーズなどの大ヒット映画の視覚効果で知られるSparx*は、私たちの写真測量の探求をスタートさせるための才能と必要な設備を備えています。
Sparx*では以前から映像作品にフォトグラメトリーを使用していましたが、それは主に実物をモデリングする際の正確なガイドとして使用されていたもので、実際のモデルは、実物を撮影した写真からテクスチャを再投影して、その後手作業で作成していました。
フォトグラメトリーが、リアルな3Dオブジェクトを効率的に作成するためのツールとして真剣に検討されたのは、2018年末、ディズニー・プラスの「The Mandalorian」のために、スタジオでデータを処理して除光した後、ロケーション全体を初めてUnrealで再構築した時でした。その後の数年間、Sparx*はこの技術の研究とテストに多くの時間とリソースを費やし、同時にプロセスの構築と必要なハードウェアの取得を行いました。
現在、Sparx*では、まだリリースされていない多くのゲームプロジェクトで、すでにフォトグラメトリーを多用しています。その先頭に立っているのが、シニアアートディレクターのKristian Pedlow氏と、シニアテクニカルアーティストのMinh Son氏です。彼らはSparx*の「Photogrammetry Strike Team」のメンバーであり、スタジオ内のフォトグラメトリーに関するあらゆることを担当するスタッフです。
写真はこちら Kristian（左）とMinh Son（右）。
現実を捉える：Sparx*のスキャン取得方法
スパークスのフォトグラメトリー・ストライクチームは、フォトグラメトリー・スキャンを行う前に、まず撮影に必要な機材を集めます。
- フルフレームのボディカメラ（現在はSony A7IIを使用しています）。
- 適切なフルフレームのプライムレンズとズームレンズ（現在は28-70mmのズームレンズを使用しています。
- X-riteカラーチェッカー
- リングライト（被写体を確実に照らすためのもの）
- ライトディフューザー
- フォリッジカッター
- Googleマップなどで対象物に付ける旗
- 物体に名前をつけたり、スケールを確認するための板と定規
- 懐中電灯（紅葉用）
- オーブ（クロームとグレーの2種類）
- オブジェクトのキーイングに使用する黒の布（緑や青よりも黒の方が効果的です）
Minh Son: “通常の遠征期間は、その土地の広さや、選んだバイオームで獲得したい資産の数に応じて、数日から1週間程度です。まず、最大で1日かけて選んだエリアを偵察し、その間に必要なアセットをリストアップします。その後、数日かけて計画的にすべての対象を取得し、取りこぼしがないようにします。
屋内外を問わず、撮影前にはまず、ホワイトバランスや色補正のためにカラーチェッカーで写真を撮影します。また、スケール感を把握するために、定規を使って写真を撮ることもあります。”
予備の写真が撮れたら、キャプチャを開始できます。今回の撮影では、大きく分けて3つのカテゴリーのスキャンを行います。「アセット」、「サーフェス」、「フォーリッジ/アトラス」です。
アセット
フォトグラメトリーの文脈では、アセットとはスキャンされ、個別に処理される実世界のオブジェクトを指します。
最初に、ストライクチームはアセットの全体像を撮影し、画像の位置合わせを行う際に欠落している部分がないことを確認し、手動での位置合わせの必要性を最小限に抑えようとします。次に、カメラをアセットに近づけて細部まで撮影します。アセットに鋭角な部分がある場合は、3回目の撮影が必要になることもあります。
Minh Son: “上の例のように硬い影が出ている場合は、偏光フィルターを使って撮影してみると、指向性のある光の強さを多少抑えることができるかもしれませんが、後の段階ではやはりデライトの段階が必要です。”
“正しく撮影するためには、撮影の合間に必ずカメラを動かすようにしています。固定された三脚の上でカメラを動かさずにパンしたり回転させたりすると、わずかなオフセットでジオメトリが重複することがあります。また、以下のようなカメラのグルーピングは避けることをお勧めします。”
サーフェス
周囲の風景を撮影する必要がある場合は、環境面も写真測量で取得します。
表面の撮影では、三脚や一脚を使ってカメラを取り付け、下の画像のようにカメラが常に表面に対して垂直になるようにしています。
Minh Son: “また、ズームレンズよりもプライムレンズの方が出力の質が高いため、プライムレンズでの撮影もテストしています。この例では、Sigma 50mm F1.4 EX DG HSMで表面を撮影しています。
また、広角レンズを使って全体像も撮影しています。これはスケーリングのためだけではなく、必要に応じてSubstance AlchemistやUnity ArtEngineを使って、1枚の画像をもとにPBR素材を生成するためでもあります。下の例は、Sigma 12-24mm F4.5-5.6 EX DG HSMで撮影した画像を加工したものです。”
葉巻/アトラス
葉のアトラスキャプチャーは、多くのストレージオーバーヘッドなしに植物の正確なスキャンを提供するために頻繁に行われます。
以前は、カッターで数本の枝や小枝を切り取り、ジップロックバッグに入れて保管し、スタジオにサンプルを持ち帰ってさらに撮影を行っていました。しかし、すぐに、アトラスをブルースクリーンの上に置き、手持ちのライトで8つの角度から照らしながら、可能な限り現場で撮影を行った方がはるかに効率的であることに気づきました。
これまでのところ、この方法はうまくいっていますが、チームはブルースクリーンをシンプルなグレーのタープに変更することを検討しています。ブルースクリーン上の物体には青い影がかかり、取り除くのが困難になる可能性があるため、この方が良いかもしれません。
Minh Son: “撮影の際に一番悩むのが照明条件です。写真測量には曇りの日が理想的ですが、ベトナムの気候では晴れの日に撮影することがほとんどです。特に森の中では、木に覆われている部分があるため、影や露出オーバーの照明に対処しなければなりません。場合によっては、日陰の部分でアセットを撮影し、その間に明るい場所があることもあります。
そのために、リング型の懐中電灯で照らすようにしています。また、すべてをRAW画像形式で撮影し、Photoshop / Lightroomで加工する際に、影やハイライトを処理できるようにしています。”
まとめてみました。スキャンデータの処理
撮影から戻ったチームは、データをカタログ化し、スタジオで処理して、取得したデータをUnityやUnrealなどのゲームエンジンで使える3Dオブジェクトにする必要があります。
Kristian: “処理の過程で、撮影した写真の中にピンボケや影の部分があり、使用できないものが出てくることがあります。そこで、私たちはできるだけ現場で処理を行うようにしています。撮影後、カメラのSDカードを交換し、その場で処理が可能なノートパソコンで素早く画像を揃えます。こうすることで、高品質な撮影が可能となり、翌日に同じ場所に戻る必要がなくなります。”
Minh Son: “画像の処理については、現在、Photoshopで色補正を行い、Reality Capture（RC）でメッシュを再構築しています。処理後は、メッシュを切り出してRCでポリカウントを減らし、ローポリとハイポリをエクスポートしてマップベイクを行うこともあります。場合によっては、ZBrushにインポートして、オブジェクトの穴を埋めたり、モジュラーピースにスライスしたりして、さらにタッチアップすることもありました。
マップのベイク処理は通常、Substance Designer/PainterとxNormalで行われます。これらのソフトウェア、特にSubstance PainterとxNormalは、200m以上の3角メッシュまで扱うことができるからです。
ベーキング処理の後、ベースカラーのテクスチャーを、テクスチャーのシャドウとハイライトを除去するデライタリング処理にかけます。作業するアセットに応じて、Unityのデライタリングツールか、Agisoftのデライタを使います。
この時点で、アセットは国内のアセットライブラリに保存され、将来的に使用されることになります。”
Sparx*とVirtuosにおけるフォトグラメトリーの未来
フォトグラメトリー・ストライクチームは、今のところ設立されて間もないチームです。このチームは、フォトグラメトリーを必要とするプロジェクトの経験があり、クライアントから依頼されたスキャンを撮影するためのノウハウを持ったシニア環境アーティストを中心に構成されています。
将来的には、チームのメンバーを増やし、より多くの人材を育成し、プロセス全体を担当するチームリーダーを設置する予定です。ストライクチームの最終的な目標は、フォトグラメトリーに特化したアーティストを加えることです。
一方、Sparx*はフォトグラメトリーのサービス範囲を拡大し続けています。スタジオがフォトグラメトリーを採用するきっかけとなったのは、自社のアセット制作能力を強化するためにフォトグラメトリーを使用したことでしたが、Sparx*では、フォトグラメトリーで再現する特定のバイオームやアセットをクライアントに提供することを始めました。今のところ、COVID-19パンデミックの影響で制限されているため、ベトナムの環境しか利用できませんが、理想的には近隣の国に移動して、より幅広いソース素材にアクセスできるようにしたいと考えています。
これは、Virtuos社のゲーム開発サービスの一環として、フォトグラメトリーを積極的に取り入れようとする、人員と機材の質の向上のための継続的な努力の結果です。
- Virtuosについての詳細なニュースは、www.virtuosgames.com/en/newsをご覧ください。
- ビジネスに関するお問い合わせは、 [email protected]までご連絡ください。
Virtuosについて
2004年の設立以来、Virtuosはシンガポールに本社を置き、アジア、ヨーロッパ、北米にスタジオを展開しており、現在ではゲーム開発におけるリーディングスタジオとなりました。コンソールやモバイルゲーム向けのゲーム開発とアート制作に長けた2000名のスタッフが在籍しており、プロジェクトを通じて、パートナ様の業務効率や収益を高めています。これまでに、1300以上のプロジェクトに参加することができ、デジタルエンターテインメント業界を牽引するトップ20社様のうち18社様とお取引をさせていただいています。
詳細についてはこちらをご覧ください: www.virtuosgames.com/ja
