マイクロソフトとデルフト大学の研究者が、人工知能 (AI) ベースのアプローチを提案し、表情に基づいて顔のしわを合成します

合成データは、オブジェクトの識別、シーンの理解、アイ トラッキング、ハンド トラッキング、身体全体の分析など、さまざまなコンピューター ビジョン タスクに頻繁に使用されています。 しかし、顔関連の機械学習のためのフルフェイス シンセティックスの開発は、人間の頭蓋骨をモデル化することの難しさによって大幅に妨げられてきました。 映画やビデオ ゲーム用にリアルなデジタル ヒューマンが作成されていますが、通常、各キャラクターには多くの芸術的な時間が必要です。 このため、文献での顔のトレーニング データの合成には、単純化または特定の顔の特徴 (目の周りの領域やホッケー マスクなど) への焦点が伴います。

実際の顔データと人工の顔データの分布の不一致により、ドメインのギャップにより一般化が困難になります。 このため、合成データは、現場で実行する必要があるジョブの実際のデータを完全に置き換えることはできないと考えられています。 モデルがドメインの違いを無視するように促されるドメイン適応と敵対的ドメイントレーニングは、このドメインギャップを埋めるための不可欠な方法でした.

手続き型サンプリングは、革新的な 3D 顔をランダムに生成し、人間の支援なしでレンダリングできます。 この技術は、視覚効果 (VFX) 業界が実物そっくりの人物を合成するために使用する方法の大幅なスケーリング制限を克服することで、これを実現します。 比類のないリアリズムを備えた総合的な外観を作成することにより、ウッドらは. ソースでのドメイン ギャップを最小限に抑えることで、問題に直接対処することを目的としています。 彼らのアプローチでは、パラメトリック 3D 顔モデルを、テクスチャ、髪、アパレルなど、アーティストが作成した優れた要素の膨大なコレクションとプロシージャルにブレンドします。

ランドマークの位置特定と顔の解析のために合成データでトレーニングされた機械学習アルゴリズムは、単一の本物の画像を使用することなく、最先端技術と同等のパフォーマンスを達成しました。 ただし、この手法の 1 つの欠点は、動的な式依存のしわがないことです。 このホワイトペーパーでは、表情ベースのしわを実装するための使いやすく効率的な計画を提供します。 このメソッドは、ニュートラル エクスプレッション スキャンからのみテクスチャを作成します。これは、基になる顔ジオメトリのすべてのエクスプレッション関連の変形中に静的なままです。

彼らの主な目標は、ポーズをとった顔の高解像度スキャンを使用して、識別のために複雑なしわ効果を抽出することです。 これらの潜在的なしわを保存するために、アルベドとディスプレイスメント テクスチャのしわマップを作成します。 ソーススキャンに描かれているもの以外の表現の合成中に折り目とニュートラルサーフェスを混合し、顔メッシュの張力を利用して動的なしわ効果を作成します。

アニメーションも補足資料の一部です。 初期の VFX テクニックでは、最初はリンクル マップを使用してアーティストが定義したバンプを記述したり、動的なリンクルを模倣するために法線マップを使用したりしていました。 ただし、これらの戦略には 3 つの欠点があります。 まず、ランドマークのローカリゼーションなどの顔関連のタスクに不可欠な影とシルエットは変更されておらず、基礎となるジオメトリの変化を模倣しています。 第二に、アプローチは拡散テクスチャにもアルベドにも影響しません。 スケールは、最後の最も重大な欠陥です。

この手法には、各キャラクターのブレンドシェイプのしわマップとマスクを手動で作成することが含まれます。 対照的に、彼らの自動化されたメッシュ テンション主導のアプローチは、スキャンからのアルベドとディスプレイスメント テクスチャの本物のしわを組み込み、アイデンティティと表現の数とともに有機的に成長します。 さらに、最もニュートラルなテクスチャから信じられないほどのしわをコピーすることにより、表情スキャンなしでアイデンティティを管理します。

彼らは、顔関連のタスクのための合成物の開発を促進するために、次の特定の貢献をしています。

  • 動的な表情ベースのしわのアイデンティティと表情が成長する、容易に拡張可能なシステム。
  • 表面法線の推定と顔のキーポイントのローカリゼーションのパフォーマンスと SOTA合成システム。
  • しわが学習活動にとって重要な目の領域の重要なポイントを特定するための新しい評価尺度とデータ
This Article is written as a research summary article by Marktechpost Staff based on the research paper 'Mesh-Tension Driven Expression-Based Wrinkles for Synthetic Faces'. All Credit For This Research Goes To Researchers on This Project. Check out the paper and project.
Please Don't Forget To Join Our ML Subreddit


Aneesh Tickoo は MarktechPost のコンサルティングインターンです。 彼は現在、ビライにあるインド工科大学 (IIT) でデータ サイエンスと人工知能の学士号を取得しようとしています。 彼はほとんどの時間を機械学習の力を利用することを目的としたプロジェクトに費やしています。 彼の研究対象は画像処理であり、それに関するソリューションの構築に情熱を注いでいます。 彼は人々とつながり、興味深いプロジェクトで協力するのが大好きです。


Leave a Comment

Your email address will not be published. Required fields are marked *