ITAコーパス、およびイタコ姉さま、ずんだもん、めたんちゃんの読唇DB(ITAコーパス マルチモーダルデータベース)を公開しました*1https://t.co/MVVBzsidELhttps://t.co/yMGxb1E0uM
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
明日の音学シンポジウム発表に先立って,ITAコーパスの文章リストを公開しました!引用元にあるように,読唇DBも同時公開です.https://t.co/6ia9yFtfx3 https://t.co/pVVcvhzk0z
— M. Morise (忍者系研究者) (@m_morise) 2021年6月17日
高い、使いにくい、読みにくい──音声合成研究者を悩ませるハードルを解決する“台本”、明治大学らが発表 - ITmedia NEWS https://t.co/AAGQ0nZRSV 本日学会発表のITAコーパスについて,ITmedia様から記事が出ました!
— M. Morise (忍者系研究者) (@m_morise) 2021年6月18日
まずITAコーパスですが、著作権フリーの音声合成用収録台本になりますo(≧▽≦)o
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
ITAコーパスの文章の中にいろんな音素が入っているのでこれを読むと音声合成に使えます⁽⁽ฅ₍₍⁽⁽ฅ•ω•ฅ₎₎⁾⁾ฅ₎₎
これまで、著作権フリーでかつ安心して使える音声合成用の台本がなかったので今回作らせていただきました(っ´∀`c)
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
著作権フリーなので改造もOKだし、再配布もOKだし、読み上げた文章自体を販売するとかもOKですヽ(•̀ω•́ )ゝ✧
音声合成用の台本って作るの大変なので、今回みんなで使えるように作らせていただきました٩(๑>◡<๑)۶
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
日本の音声合成界の大事な資産になると思いますヾ(❀╹◡╹)ノ゙
ITAコーパスの情報はこちらです(*´∀`*)
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
---
分野横断的研究を加速させるコーパスをという思いを込めて,Inter-field Task Accelerating (ITA)コーパスと命名しました.
---
とのことなので、いろんな分野で使ってもらいたいです☆(ゝω・)vhttps://t.co/vhN8cSkkQ9 pic.twitter.com/U8JFohf1qM
これで、イタコ姉さまの名前が音声合成の歴史に残りますねヽ(•̀ω•́ )ゝ✧
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
ITAコーパスマルチモーダルデータベース。
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
読唇、音声合成、ボイスチェンジャー、リップシンクなどの研究に使える「口の動き画像と声のデータ集」になります(っ´∀`c)
東北イタコ姉さま、ずんだもん、四国めたんちゃんの3人のデータになりますo(≧▽≦)ohttps://t.co/yMGxb1E0uM pic.twitter.com/8KByivvkib
このたび、ずんだもんが女の子に変身できるようになりました(*´∀`*)
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
イタコ姉さまは既に良質のボイスロイドがあるのでTTS(しゃべる音声合成)の追加作成予定はありませんが、ずんだもん、四国めたんちゃんはせっかくデータができたのでこれをキッカケになにかしたいと思っています (〃ゝ∇・)ゞ
研究面では、口の動きがしっかりとデータとして撮られているので口の動きから音声合成を作る、といったものに使えるかと思います☆(ゝω・)v
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
誰か作ってください\(🎾ず・ω・だ🎾)/
また、同じセリフで3キャラが読み上げているのでボイスチェンジャーの研究などにも使えるかと思います*2
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
これもなかなかないデータなのでぜひぜひ、研究に使っていいものできたら教えてください٩(ˊᗜˋ*)و
一緒に製品化しましょう٩(๑>◡<๑)۶
また、口の動きと声があるので正確なリップシンクの研究にも使えるかと思いますo(≧▽≦)o
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
将来的には口の動きだけで声を合成できるようになると思っています(⋈◍>◡<◍)。✧♡
— 東北ずん子(公式)💚AIで歌う準備中!! (@t_zunko) 2021年6月17日
そうすると、自分の声が自分の耳にフィードバックされることなく好きな声を自分の耳に戻せるので気持ちの良い世界になると思っていますヾ(❀╹◡╹)ノ゙
今回公開されたものは、東北イタコの音声合成DBを制作するクラウドファンディングで集めた資金を活用して制作されたものになります。