商用のAI音声合成ソフトとして、SynthesizerV AI や CeVIO AI、A.I.VOICEなどがありますが、個人でAI音声合成ソフトを開発する動きが最近出てきています。なかには無償で使えるものもあり、AIきりたんなどで知られるNEUTRINOもその１つです。
NEUTRINO以外にも、個人開発のAI音声合成がいくつか出てきています。この記事では、そんな個人開発のAI歌声合成に関する最近の動向として、TALQu、つくよみちゃんコーパスを使った音声合成、NNSVSを、簡単にご紹介します。また、1周年を迎えたNEUTRINOの最近のトピックについても取り上げます。
深層学習系読み上げソフト「TALQu」
Haruqaさんが、深層学習(ディープラーニング)の技術を活用した読み上げソフトを開発、公開しています。無料で利用できます。
⚡️「TALQuのデモまとめ」（作成者: @niconicoHaruqaさん） https://t.co/kxCIKIFbWt
— Haruqa@UTAU系VTuber🍀新人AI系VTuber (@niconicoHaruqa) 2021年3月2日
深層学習系TTSのTALQuのリリース前のデモとか収録風景とかリリース動画のまとめ
まとめモーメントを更新しました( ˘ω˘ )
中の人志望の有志が現れたら、音源追加の支援も行うとのこと(上記boothの説明文参照)。
なお、Haruqaさんは、本読み上げソフト以外にも、UTAU音源や、後述するAI歌声合成ソフトのNNSVSモデルなども公開しています。
つくよみちゃんコーパスを使った音声合成
フリー素材キャラクター「つくよみちゃん」の音声コーパスが公開されています。声優統計コーパスと呼ばれる台本を読み上げた音声素材です。
✨つくよみちゃんコーパス公開！✨
— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) 2021年2月26日
■Vol.1 声優統計コーパス（JVSコーパス準拠）
⇒https://t.co/tfqAFxQEds
高音ウィスパー系の14歳前後のアニメキャラクター風ボイスを目指して作りました。
一部の言葉にふりがなやアクセント記号を追加した台本も同梱しています。（詳しい説明もあります） pic.twitter.com/VtJ6ji2Qu3
ニコニコ動画にも投稿しました！
— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) 2021年2月26日
コメントで盛り上げていただけると嬉しいです！
■商用利用もOKなアニメ声コーパス登場！ つくよみちゃんコーパス Vol.1 声優統計コーパス（JVSコーパス準拠）
⇒https://t.co/yZHgsvd6Jo #sm38337188 #ニコニコ動画
本コーパスを活用してトークソフトを開発する動きが出てきています。
作りました。
— シロワニさん (@shirowanisan) 2021年3月6日
この動画では、フリー素材キャラクター「つくよみちゃん」（© Rei Yumesaki）を使用しています。
音声合成には、フリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。@TYC_Project
■イラスト素材：花兎*様
■つくよみちゃんコーパス（CV.夢前黎） pic.twitter.com/m1ieNO5N46
✨驚きのクオリティ✨
— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) 2021年3月6日
シロワニさん様が、先日公開した「つくよみちゃんコーパス」（https://t.co/tfqAFxQEds）を使って、つくよみちゃんをトークソフト化してくださいました！
是非動画をご覧ください！
ちゃんと声の特徴が出ています！
※ソフトは非売品です。お問い合わせはシロワニさん様へ。 https://t.co/UsLLF11f1D
■NVIDIA/tacotron2 で日本語の音声合成を試す (1) - 事始め｜npaka｜note
— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) 2021年3月7日
⇒https://t.co/jFacrVHm8z
■(2) - JSUTで学習
⇒https://t.co/xsPiPseFly
■(3) - つくよみちゃんコーパスで学習
⇒https://t.co/Gren5JXxsM
つくよみちゃんコーパスをご活用いただきましてありがとうございます！
歌声合成ライブラリ「NNSVS」
機械学習ライブラリPytorchを使ったオープンソースの歌声合成ライブラリが、山本りゅういちさんによって開発、公開されています。
NNSVS: Pytorchベースの研究用歌声合成ライブラリ https://t.co/2vGPiOb67F via @r9y9 一億年ぶりにブログ書いた。絶賛開発中となっております
— 山本りゅういち / Ryuichi Yamamoto (@r9y9) 2020年5月10日
UTAUで音源を自作できるように、NNSVSも音源を自作できます。NNSVSは自作の歌声データベースを使って、AI歌声合成を自作する事ができます。
有志によって作られた歌声データベースを使うためのレシピや、学習済みモデルが、既にいくつか公開されています。
以下に、NNSVSを使った動画をいくつかピックアップします。
NEUTRINO 1周年
「AIきりたん」などで知られる、ニューラルネットワークを用いた歌声シンセサイザー「NEUTRINO」が公開一周年を迎えました。新規歌声ライブラリの追加予定も告知されています。
本日、NEUTRINO公開一周年を迎えることができました。
— SHACHI_NEUTRINO (@SHACHI_NEUTRINO) 2021年2月21日
いつもご利用いただいている皆様に深く感謝いたします。
来月のアップデートで新規歌声ライブラリ（男性）を追加予定です。表現の幅を広げていけたら幸いです。
これからもアップデートを続けて参りますのでどうぞよろしくお願いいたします。
くろ州さんが、NEUTRINO 1周年に合わせて、1年間の動きを振り返る記事を公開しています。
書きました。
— くろ州の記事と作品 (@96s_kM4osM) 2021年2月22日
AIシンガーきりたん、NEUTRINO登場からの1年間を振り返る #くろ州ドットコム https://t.co/MDu6PkvOoq
また、東北きりたんおよび東北イタコのライブラリを商用利用する際の取り扱いが変わり、楽曲利用ライセンスが不要になりました。
NEUTRINOの東北系ライブラリを利用する場合、以前は商用利用する楽曲を1曲1000円（税抜）で登録していく形式でしたが、手続きの簡略化のために楽曲利用ライセンスが不要になりました。
— SHACHI_NEUTRINO (@SHACHI_NEUTRINO) 2021年3月3日
可能であれば有償ソフトも利用するなど、何かしらの形の東北ずん子プロジェクトを応援していただければ幸いです。 https://t.co/9QiLmaF9v9
おわりに
以上、個人開発のAI歌声合成に関する最近の動向をご紹介しました。
このような動向を見ると、筆者はUTAUを連想します。商用のVOCALOIDに対して、フリーソフトで音源を自作できるUTAUは、独自の技術やコミュニティを発展させていきました。個人開発のAI音声合成も、商用とは違った、独自の発展をしていくのかもしれません。
