マーカレスパフォーマンスキャプチャ技術の将来予想

昔話で記憶で書くけど95年くらいかな、ようやくMacで動画を扱えるようになったので、Centris660AVを買って色々とRCA端子から動画を取り込んで動画圧縮を試して切手大のカクカクした動画を見ていた。もちろん不可逆圧縮だから、一回エンコードしたらそれでおしまい。時間と画像の美しさを比較するにしても、時間がかかりすぎる割にはわずか数秒のクリップしか出来ない。ああ、確かハードディスクも10MB=10,000円とか言われていた時代だからね、もったいなくて60秒の取り込みなんかできなかったし、処理が追いつかずすぐにハングアップした。

実際にエンコードして、MotionJpeg が一番時間がかからずまあまあきれいだったと思った。動画圧縮の仕組みもその時に一応調べたが、フィルムやヴィデオと違って、フレーム単位で考えていないので面白いと思った。前のフレームと、次のフレームの間で、どれくらいフレーム内の動き情報に変化があるのか、その差分を演算するので、最小限の能力しか使わないという合理的な方法だった。いわばアニメのセルの口や手のパーツを付け替えるだけで、全部を作画をするのではなく、枚数を省略するようなものだと思う。まあそんな時代から、今では無圧縮で膨大なデータを扱えるようになり、PCでヴィデオや映画が誰でも難なく扱えるようになったのだから、過去の試行錯誤はなんだったんでしょうね。

さて、現在4K〜8K超とカメラの解像度と進んでいくと、この先なにが起きるのだろうか。映画の魅力であるフィルム的なマジックが、高解像度で消えてしまうのではないかという意見には、ある程度賛成する。では高解像度は映画になにをもたらすのだろうか。

この記事を読んで、単眼のカメラで、モーションキャプチャーと3Dが同時に構築される技術にビックリした。

リアルタイムかどうかは別として、ここまで2Dのカメラで3Dが撮影・再現できるのなら、映像(と撮影)の意味合いすら変わってしまうのではないだろうか。少なくとも現在の飛び出すだけの3Dはまがい物となることは確か。もっと細かでリアルな画面内の深度が求められるようになり、その時に必要になるのが、カメラの高解像度なのだと思う。以前に高解像度カメラはセンサーになると考えたことがあるが、それは、写るものをすべて3次元データにして座標を記録するという意味だった。今回の技術も高解像度になれば、その再現性も高まるだろう。背景との分離も容易になるはず。モーション(被写体の動き)に関しては、それほど解像度の精度は必要ないかも知れないが、表面の衣類の皺の変化や模様の再現には画像の高解像度は重要になると思う。あとハイフレームレートも動きを追うための精度の高い記録には必要になるだろう。でも動きの細かな再現は、この先物理シミュレーションを使った動き検知のアルゴリズムで行ってしまうことになるのかもしれない。ひとつだけ予想するならば、今後、撮影とVFXはますますリアルタイムの同時進行で、作業はシームレスになっていくということだ。VR撮影に一人称的な長回しカメラとは、違う方法論が見えてくるのではないだろうか。

リュミエール兄弟の発明したシネマトグラフは、撮影、現像、上映の三つの機能を持ったマシンだった。21世紀の次世代カメラは、3D撮影、(広義の)VFX、モニターが1台でできるようになるのではないか。

Pocket
LINEで送る

ヴィデオゲームが映画に至る時代の忘備録

映画とゲームの癒合と聞いて最初に思い出すのが、90年代後半あたりに読んだ雑誌で紹介されていたマシニマだった。FPSゲームのQuarkを操作してゲーム画面を撮影してCGI映画を作るという逆転の発想に大いに驚いた。これだとゲーム操作ができれば、例えばスターウォーズなどの映画を基にしたゲームでも、誰でも簡単に別視点からの映画や外伝が簡単に作れるのではないかと思っていた。

その前に94年にプレイステーションが登場した時に、銀座のソニープラザの大型プロジェクターで見た、グラフィックやゲーム演出の面白さに目を奪われて、その場から動けなくなった。もちろん即買いしてやり込んだ。翌年の日本映画ベストワンは「バイオハザード」だと言いまくって、映画関係者の顰蹙を買ったが、その後「ゲーム批評」誌で、伊丹+黒沢の「スイートホーム」が元ネタだとゲームディレクターが語っているのを読んで秘かに溜飲を下げたものだ。

94年にドリームワークスが鳴り物入りで結成されたときに、ウィンドウズ95でシリコンバレーを席巻したマイクロソフトと提携して、デジタルに疎かったハリウッドを揺るがしていた。その時に、マルチメディアブームと相まって登場したPCゲームが、「Steven Spielberg’s Director’s Chair」。これ日本語化されていたかな。店で輸入盤ソフトの箱を眺めていたんだっけか、AT互換機を持ってなかったから、購入しなかった。いま予告編を見たら、タランティーノが役者で出ていることを知った。

そういえば、この頃に学生時代の後輩にバッタリ会って、今何しているか訊いたら、ファイナルファンタジーの映画に参加していて、ハワイのスタジオに行っていると言ってた、そういう混沌とした時代だったと思う。

2001年頃にオープンソースのCGソフトウェア Blenderが出てきて、しかもアニメーション機能まで付いているので興奮した。ちょうどAdobeのAfterEffectsのサイトで、ILM出身のVFXアーティストが予算無し(no-budget)の短編『The Last Birthday Card』で、リアルな車の衝突事故、ヘリの襲撃、銃撃戦のシーンをVFXで再現していて、ここまで市販ソフトでリアルな表現が予算規模に関係なくできるのかと驚いた(現在は映像は見ることができないようだ)。彼がヴィデオで、フィルムルックを作るソフトを開発してことにも触発された。こういう流れが DOFアダプターへの関心に繋がっていった。ある意味 low-budget/no-budgetで、映画を製作する方法の模索については昔から一貫しているので、いまゲームエンジンにたどり着いたのは必然なのだと思う。

いま、ニール・ブロムカンプのOatsStudiosが、ヴィデオゲームとVFX映画の融合を模索しているのを見ると、何十年か経てここまで来たんだなあと改めて感心する。そして果たしてどこまで行くかとても楽しみ。

 

Pocket
LINEで送る

映画のヴァーチャル・プロダクション

果たしてゲームエンジンで、映画は製作できるのだろうかと考えているときに、タイミング良くこの記事に出会った。

「インディ映画製作者が、ヴァーチャルプロダクションを考慮すべき理由」という興味深い内容の記事だった。VFXを重視した映画では、プリプロダクション、撮影、ポストプロダクションの境目は増々曖昧になって来ている。そして制作は現実からヴァーチャル空間へと移行していく。いや、その境目も曖昧になって来ているというべきだろう。さらに付け加えるなら、実写とアニメーション、ゲームの境界線すら溶けかかっていることがわかる。

 

プリプロダクション段階では、ピッチヴィズ(Pitchvis)で企画書を3Dアニメーション化して、出資者に映画企画の魅力を訴える。『ワールド・ウォーZ』の脱出シーン。

実際に撮影された脱出シーン

プレヴィズ(Previs)は、画コンテ(ストーリーボード)の3D動画(アニメーション)版と言える。複雑な撮影シーンを事前に視覚化することで、各セクションが共有のイメージを具体的に掴むことができる。カメラアングルを自在にシミュレートできるので、撮影、美術だけでなく、製作部も撮影現場の機材の規模を見積もることができる。ここで重要なのは、プレヴィズは撮影前のコンテではなく、仕上げの最終イメージとほとんど変わらない映像で検討作業ができるという点だろう。

CGソフトMayaを使ったプレヴィズ。ヴァーチャル空間のカメラの動きをモーションコントロールで記録して、現場で全く同じカメラワークを再現も可能になっているとのこと。

 

撮影では、演技とカメラワークをリアルからヴァーチャル空間に落とし込む時には、モーション・キャプチャー(Motion Capture)と、ヴァーチャル・カメラ・システム(Virtual Camera System (VCS))が必要になる。モーション・キャプチャーについては、価格とシステムが日々技術更新されているので、実際にゲームエンジンでどこくらい容易く使えるのかを含めて、もう少し調べてみたい。記事によると、業界標準はMotive by Optitrack。日本での取扱はこちら、イイお値段ですね。低予算ではSmartsuit Proということですが、こちらも国内だとなかなかイイお値段。

年間6万円のライセンスのモーション・キャプチャーもありますね。

ヴァーチャル・カメラ・システムもよく理解できていない。ソフトウェア内のカメラならアフターエフェクツや3DCGソフトに搭載されている。ヴァーチャルカメラだと、カメラを物理的に操作できて、その動きを記録するからポスプロでカメラワークが変更可能ということかな。


『レディ・プレイヤー1』のメイキング映像を見ると、ヴァーチャルセットでスピルバーグが手にしているのは、ヴァーチャルカメラだろうか。この場合、カメラで撮影はせずにモニタリングだけだとは思うが。こうなってくると、VR空間をカメラで覗くというのは、果たして非現実のARなのかという疑問が出てくるが、もうそのあたりの細かい違いは言葉遊びなのか。

IMAX® Presents: Steven Spielberg & Ready Player One

 

あと撮影で気になるのは、セットや小道具あるいはキャラクターをどう作るのかですね。フォトグラメトリー(Photogrammetry )は、CGソフトを使ったモデリングや3Dスキャンではなく、写真から3Dモデルを作成します。小道具から、セットそのものまで。こちらの記事が素晴らしくわかりやすいです。Photogrammetryのススメ ~ソフト比較と質感設定~

YAMAHA WR250R by kazukisakamoto on Sketchfab

実景もドローンを使ってデータをキャプチャーすることで、巨大な建造物(屋内も)や広大な屋外ロケーションのモデリングができる。

私がフォトグラメトリーのことをはじめて知ったのは、『マッドマックス/怒りのデス・ロード』のVFX。イモータン・ジョーの砦を写真撮影からモデリングしたと読んで驚いた。

ポストプロダクションは、リテイクやスタッフの確認作業の協業の話になるので割愛。今後、更に調べてみたいのは、風、雨、煙などの自然表現や衣装や髪の質感などの物理シミュレーションが、どれくらい簡単にできるのかですね。

Pocket
LINEで送る

Lytroの閉鎖

ライトフィールド技術を使ったシネマカメラを開発中だった、Lytroが整理中との情報が流れてきた。ブログで注目のテクノロジーと書いていたので非常に残念だ。しかし正直な話、カメラが完成するのだろうかという疑問と、完成しても映画/映像業界のニーズがあるのだろうかという問題を抱えていたと思う。まだVR市場が本格的に立ち上がっていない現状では、それらの疑問に答えを出す前に、開発は中止されてしまうのだろう。

カメラで「空間を切り取る」のではなく、カメラで「空間全体を記録する」ことへのニーズはこの先かならず来るはずだが、まだそこまでの画面の深度は必要とされていないのだと思うし、本当にそこまでの膨大なデータが必要なのかという疑問もある。またライトフィールドカメラだけで、映像が完結するのかという点もあるだろう。いくら撮影後からフォーカス深度を変えられるからと言っても、VR内のVFX合成の他に何に使えるのか今ひとつわからない。結局は、「撮影後にピントを合わせられる」初期のスチルカメラ用のLytroが、すぐに飽きられてしまった失敗から変わらなかった気もする。難しいですね。

3D→VR/ARに変化するに従い、空間(時間)の「記録」から「生成」(リアルタイムや複数の視点)にフェイズが移っていくような気がしています。要するに、記録したデータから、どのような生成が行われるのかに焦点が移っていると思います。マテリアルとしてのデータ自体のモノから、イベントとして活用できるデータのコトへ、ということなのかもしれないです。

しかしライトフィールド技術は、何らかの形で復活すると思います。それはVR市場が成熟して、その時により細密な空間のデータが必要になる時期が来るはずです。それまでしばらく待つことにします。

Pocket
LINEで送る