週刊ボカフロ

ボカロ、音声合成ソフトとそのキャラクターに関するニュースをまとめるブログです。

個人開発のAI音声合成の動向ピックアップ:深層学習系読み上げソフト「TALQu」、つくよみちゃんコーパスを使った音声合成、歌声合成ライブラリ「NNSVS」、NEUTRINO 1周年

商用のAI音声合成ソフトとして、SynthesizerV AI や CeVIO AI、A.I.VOICEなどがありますが、個人でAI音声合成ソフトを開発する動きが最近出てきています。なかには無償で使えるものもあり、AIきりたんなどで知られるNEUTRINOもその1つです。

NEUTRINO以外にも、個人開発のAI音声合成がいくつか出てきています。この記事では、そんな個人開発のAI歌声合成に関する最近の動向として、TALQu、つくよみちゃんコーパスを使った音声合成、NNSVSを、簡単にご紹介します。また、1周年を迎えたNEUTRINOの最近のトピックについても取り上げます。

 

深層学習系読み上げソフト「TALQu」

Haruqaさんが、深層学習(ディープラーニング)の技術を活用した読み上げソフトを開発、公開しています。無料で利用できます。

haruqa.booth.pm

中の人志望の有志が現れたら、音源追加の支援も行うとのこと(上記boothの説明文参照)。

 

なお、Haruqaさんは、本読み上げソフト以外にも、UTAU音源や、後述するAI歌声合成ソフトのNNSVSモデルなども公開しています。

haruqa.github.io

 

つくよみちゃんコーパスを使った音声合成

フリー素材キャラクター「つくよみちゃん」の音声コーパスが公開されています。声優統計コーパスと呼ばれる台本を読み上げた音声素材です。

 

コーパスを活用してトークソフトを開発する動きが出てきています。

 

歌声合成ライブラリ「NNSVS」

機械学習ライブラリPytorchを使ったオープンソースの歌声合成ライブラリが、山本りゅういちさんによって開発、公開されています。

dic.nicovideo.jp

UTAUで音源を自作できるように、NNSVSも音源を自作できます。NNSVSは自作の歌声データベースを使って、AI歌声合成を自作する事ができます。

有志によって作られた歌声データベースを使うためのレシピや、学習済みモデルが、既にいくつか公開されています。

以下に、NNSVSを使った動画をいくつかピックアップします。

www.nicovideo.jp

www.nicovideo.jp

www.nicovideo.jp


NEUTRINO 1周年

「AIきりたん」などで知られる、ニューラルネットワークを用いた歌声シンセサイザー「NEUTRINO」が公開一周年を迎えました。新規歌声ライブラリの追加予定も告知されています。

くろ州さんが、NEUTRINO 1周年に合わせて、1年間の動きを振り返る記事を公開しています。

 

また、東北きりたんおよび東北イタコのライブラリを商用利用する際の取り扱いが変わり、楽曲利用ライセンスが不要になりました。

 

おわりに

以上、個人開発のAI歌声合成に関する最近の動向をご紹介しました。

このような動向を見ると、筆者はUTAUを連想します。商用のVOCALOIDに対して、フリーソフトで音源を自作できるUTAUは、独自の技術やコミュニティを発展させていきました。個人開発のAI音声合成も、商用とは違った、独自の発展をしていくのかもしれません。