LipSync V 事前解析とマイク入力音声のリアルタイム解析 | 音声解析リップシンクミドルウェア CRI LipSync
株式会社CRI・ミドルウェア

型番説明

・マイク入力からの音声をリアルタイムで解析し、即時に口パターンを出力・事前に音声ファイルをテキストで出力し、口パターンをテキストで出力・CGツール上での編集にも対応 ■対応プラットフォーム iOS / Android / Windows

提供SDK

CRIWARE SDKに同梱 (ライブラリ、サンプル、ドキュメント)

Windows版コマンドラインツール (サンプル、ドキュメント)

LipSync V (リアルタイムライブラリ) 、Windows版コマンドラインツール (サンプル、ドキュメント)

対応ゲームエンジン

Unity / Unreal Engine 4

―
単独で使用するツールのため、エンジン対応はありません。

Unity

この製品について

CRI LipSyncは、ディープラーニングによる音声解析技術を活用し、音声データから自然な口パターンを自動生成する音声解析リップシンクミドルウェアです。ゲーム内の会話シーンなどで、セリフに合わせた自然な口の動きを生成します。

■特徴・音声データの入力から自然な口パターンを自動生成
入力された音声データの波形を解析し、自動で最適な口の形を出力します。また舌の位置や両唇音による口の開閉など、実際の発音に即して再現することが可能です。

・2D/3Dモデルの両方に対応
生成した口パターンは様々なモデルデータに組み込みやすい形式で出力されます。2D/3Dの両方に対応しており、幅広い用途・ジャンルでより豊かなゲーム体験を実現します。

・言語に依存しない多言語対応
日本語のみならず、あらゆる言語で口パターンを生成することができます。あらかじめ各言語の辞書データなどを用意する必要もありません。複数言語でワールドワイド展開をするタイトルの開発を大幅に効率化します。

・幅広い声質に対応
老若男女さまざまな声質のセリフを解析することができます。音程の高さ・低さに関わらずあらゆる声質に対応し、口パターンを生成します。

■主な機能・開発効率化に貢献
手作業で事前に作りこむ必要がないため、開発を効率化します。

・各種ゲームエンジンに対応
Unity、Unreal Engine 4環境での開発にご使用頂けます。

・マルチプラットフォーム対応
スマートフォン、PlayStation 5、Xbox Series X/S、Nintendo Switch、PlayStation 4、Xbox One、PC上で動作します。

・ADXとの連携
サウンドミドルウェア「CRI ADX®」と連携し、再生した音声から簡単に口パターンを取得できます。

・歌唱データも解析可能
通常の会話だけでなく、歌声の解析にも対応しています。