Metaが出願した新しい特許は、ビデオゲームやVRアプリケーション向けに、よりリアルなリップシンクやフェイシャルアニメーションを実現する可能性のある技術を紹介！としていて、どのような画期的なものなのかを伝えていますね。
Metaが出願した新しい特許は、ビデオゲームやVRアプリケーション向けに、よりリアルなリップシンクやフェイシャルアニメーションを実現する可能性のある技術を紹介しています。よりリアルな顔の動きを持つNPCやプレイヤーアバターの作成は、VRゲームを含め、よりリアルで魅力的、かつ没入感のあるゲームや体験への扉を開くことになります。
近年、ビデオゲームのグラフィックが進化し、ほぼリアルなキャラクターを作成できるようになりましたが、そのキャラクターのリアルな話し方や表情を表現することは、開発者にとっての課題となっています。ゲームユーザーの脳は、他人の顔を見たり読んだりすることに慣れているため、ビデオゲームのキャラクターの顔アニメーションがどんなに優れていても、不気味の谷の領域に簡単に入り込んでしまい、キャラクターが『不気味』あるいは『不愉快』になってしまうことがある。Metaの特許は、リアルなリップシンクや表情を即座に生成することを可能にし、開発者の時間を節約し、プレイヤーの没入感を高めることができるのです。
この特許では、ユーザーの発話をリアルなリップシンクやフェイシャル・アニメーションに変換するさまざまな方法が詳述されており、開発者はシステムの使用方法を柔軟に選択することができます。特許に記載されている方法のひとつは、複数の人が50の異なる音声バランスの文章を読む様子を音声と映像で記録したデータセットを使用し、システムがそれぞれの文章を読むときの表情をトラッキングするものです。各文章を読み上げる際の個人の顔と口の動きを追跡することで、システムはこれらの動きから、瞬きや眉毛の上げ下げといった微妙な動きも含めて、キャラクターをリアルにアニメーション化することができるのです。
Meta Quest ProやPico Neo 4 Proなどの次期VRヘッドセットには、顔や目の追跡機能が組み込まれていますが、VRゲームやソーシャル体験のファンにとって最も興味深いのは、この特許に記載されている他の可能性のひとつでしょう。既存のデータセットに基づいて顔のアニメーションやリップシンクを生成できることに加え、この特許では、VRヘッドセットに内蔵されたカメラを使って同じことを行える仕組みも説明されています。この機能により、VRユーザーは自分の表情を正確に模倣したアバターを持つことができ、マルチプレイヤーゲームやVRチャットのようなソーシャルVR体験において、よりリアルで没入感のある体験ができるようになるかもしれません。
ValveのSourceエンジンでは、台詞の音素（言葉を構成する個々の音）ごとに顔の動きをモデル化するアニメーションシステムが採用され、Team Bondiでは、32台の高解像度カメラでL.A. Noireの俳優の演技を撮影するMotionScan技術を採用するなど、ゲーム用にリアルな顔を作ることは常に手の届かないことのように思われてきました。今回のMetaの特許は、この課題に対する大きな技術的進歩を示すものであり、ゲームやVR体験における高品質でリアルな顔アニメーションの新時代を切り開くきっかけになるかもしれません。
関連リンク
関連リンク
これで口元やフェイスの表情などが劇的に進化するかというところであって、その辺に期待が集まる話といえそうですね。主にVRに活用されそうですが、他にも応用が利きますよね。