image

東北イタコは歌いたい!しゃべりたい!東北イタコ音声合成データベース制作プロジェクト

image paypay banner

こんにちは、東北ずん子です\(💚ず・ω・だ💚)/
ずん子の姉、イタコ姉さまが「もっともっと歌いたい!」ということでこのたび「東北イタコ歌唱音声合成データベース制作」のクラウドファンディングをさせていただくことになりました!!!
イタコ姉さまがもっと歌える世界を作る入り口をつくるのが今回のプロジェクトになります!!!
ぜひ支援、応援してくださいねヽ(o'∀'o)ノ

イタコ姉さまは、東北ずん子、きりたんの姉で「イタコ専門学校を首席で卒業」した19歳の才女です(ж^□^ж)ノ
なんと、キツネが取り憑いているので髪の毛は銀色のさらさらの毛なんです。

 

これまで、UTAU音源、そしてボイスロイドなどでみんなに遊んでもらうことで広がってきました!
そしてアニメずんだホライずんではも大活躍してくれました(〃'▽'〃)

アニメ:ずんだホライずん

声優は木戸衣吹さん。
今回も木戸衣吹さんにイタコ姉さまの声の魂を吹き込んでもらいます||*´∀`)。o○(ワクワク)

東北イタコ キャラクターボイス:木戸衣吹
『アイドルマスター ミリオンライブ!』(矢吹可奈)、『アイカツフレンズ!』(湊みお)、『ロケッティア』(キット)などに出演している


今回のプロジェクトの目的は、「AIシンガー」になるための準備となる「東北イタコ歌唱データベース」を作って研究者に向けて公開することです。
それだけだとちょっとわかりづらいので、東北きりたんでやったプロジェクトをちょっと紹介します。

2019年に東北きりたん歌唱データベースを研究者向けに公開しました!
こちらは明治大学の森勢先生との共同プロジェクトになります。

歌唱データベースを公開したことで、いろいろな音声合成研究者の皆様がきりたんを上手に歌わすことにチャレンジしてくれました。
そして、その結果生まれたのがAIきりたんです(」・ω・)」きり!(/・ω・)/たんー!
AIきりたんはNEUTRINOというソフトで公開されました(*´∀`*)
これまでの歌唱ソフトと違って「キャラクターの歌い方の特徴」がしっかりと入ったものとしてできあがり、すごくすごく多くの人に使ってもらうことになりました!!
AIきりたんの楽曲、よかったらきいてみてください(ж^□^ж)ノ

研究にも使える歌唱データベースという形で公開したことで、オープンソースのnnsvs(https://github.com/r9y9/nnsvs)できりたんデータベースが音声合成のデータに使われていたり、音響学会ではきりたんデータベースが話題になったり、エンドユーザー向けに留まらず歌声合成の研究基盤の作成・活性化に役立っています!

そして、次はイタコ姉さまで同じようなことに挑戦するというのが今回のプロジェクトです。
研究者向けに音声合成の元となるデータを公開します(ж^□^ж)ノ
音声合成ソフトができるかどうかは正直わかりませんが、きりたんの時のように誰かが作ってくれると信じています!
そして、作ってくれなかったらしっかりと運営が責任を持って作ってくれそうな人に営業していきます(๑•̀ㅁ•́๑)✧

イタコ姉さまの歌唱データベース制作ではきりたん歌唱データベース制作のときのフィードバックをしっかり入れてさらによい物を作れる体制でがんばります!


○歌唱DB制作 明治大学 森勢先生 @m_morise
きりたん歌唱データベース制作の企画を作り、そして実際に作ってくれた方です。
歌唱データベース制作の全体を見てくれます!
歌唱データベースでは実際に一般的に流行った曲を歌ってもらうことで今風の歌い方を収録する内容になります!

○プロジェクト管理 明治大学 小口さん @korguchi
プロジェクト全体の管理を担当してくださります。
小口さんは「いろんな音素の入った文章を音楽にして歌えるようにする」という研究成果を出したことのある人で、今回はイタコ姉さまの歌唱データベースで「足りない音」を上手く補完するような形にしてくれるスキルを持った人になります!

○アドバイザー SHACHIさん @SHACHI_KRTN
AIきりたんこと、NEUTRINOというソフトを作った方です。
AIきりたんで実際にきりたん歌唱データベースを使ったときのフィードバックをしてもらいます。
フィードバックをもらうことでさらによい歌唱データベースを目指します!

○ラベル付け Caparo Ululaさん @caparo_ulula
UTAUの原音設定で宇宙最速を目指す方です。
イタコ姉さまのUTAU音源の原音設定も担当してもらいました。
正確で早い原音設定スキルを持つ人です。
今回は歌唱データベースのラベル付け(実際に歌った曲のどこにどの音が入っているのか)を設定する作業をしてくれます。


歌唱データベース制作が決まったらこの豪華メンバーで実施させていただきます!


イタコ姉さまの歌唱データベース制作、決定しました!
ご支援ありがとうございます!

追加のゴールをこちらで発表させていただきます!!!

第2ゴール 900万円 150%
イタコ姉さまの読唇用トーク型音声合成データベース制作

第3ゴール 1300万円 217%
四国めたんちゃん、ずんだもんのの読唇用トーク型音声合成データベース制作
イタコ姉さまの追加ボイス150個に!

第4ゴール 1500万円 250%
リターンの追加ボイスを200個に!四国めたんちゃん、ずんだもんも200個に

第5ゴール 1700万円 283%
リターンの追加ボイスを300個に!四国めたんちゃん、ずんだもんも300個に

第2ゴール、第3ゴールが新しいチャレンジなのでこちらしっかり説明させていただきます!

これまで、音声合成というと【文字】を入力すると【読み上げ】が出来てくるという仕組みでした。
これはこれですごいのですが今後は【口の動き】から【読み上げ】ができる世界が誕生すると思っています。

そのためには、口の動きと実際に読み上げた文章、両方のデータを作っていく必要があります。
ストレッチゴールの第2,第3ゴールではこの読み上げた口の動きと声のデータを両方セットにして研究者向けに公開するデータベースを制作させていただきます!

ちょっと想像してみてください。
口の動きから声が生まれると、男性が好きな女の子の声になったり、女性が好きな男の子の声になったりすることができちゃいます!
今回はあくまでも研究データ制作なのでいきなりそこまでたどり着く可能性はそれほど高くありませんが、そのデータがなければ世界はアップデートされません。
みんなで研究できるデータを作る、そして口の動きだけでなりたい声になれるための仕組みの基本を作る、というのが目的になります!!

読唇の技術を使って、そこから声を作っていく。
読唇術については人間でやっている方が既に存在します。
そこをコンピューターがやってくれるようになれば口の動きから音声合成をリアルタイムで作り出すことができる!
そのための準備をさせて欲しい、という内容になります。

追記:読唇についての詳しいことをこちらの記事でまとめてもらえました(>∀<●)
詳しいことがわかるのでぜひご覧くださいませ

 

プロジェクトの体制は以下になります。

○読唇用データ撮影の協力、映像の処理 九州工業大学 齊藤先生
齊藤先生は読唇の研究を行っている研究者の方です。
これまでも読唇用に数字の読み上げた口の動きのデータを公開したりと、積極的に活動を行っている方になります。
今回は読唇用のデータ撮影の協力、そして撮影した口の動きをデータ化するなど映像処理を行ってもらいます。

○読み上げ文の作成 細田さん
研究者向けに公開するためには読み上げ文章が必要です。
音声合成用の読み上げ文章を1から作成して、そちらを「ITAコーパス」という名前で公開します。
権利についてはパブリックドメイン(誰でも自由に使える)とし、今後の音声合成研究、読唇研究に役立てるようにさせていただきます!

○音声部分の統括 明治大学 森勢先生
こちらの読唇用のデータベース制作でも森勢先生に統括をやってもらいます。
今回は、読み上げ文の作成から収録、編集、音素ラベル付けまでとさまざまな工程があるのでそれらで技術的助言などを行っていただきます。

○プロジェクト管理 明治大学 金井さん
読唇音声合成用データベース制作のプロジェクト管理を行ってもらいます。
音声だけではなく、映像も今回は関係するのでそのつなぎの部分もやっていただきます。
第3ゴールを達成すると3人分の読唇に使える音声合成データをつくることになる、という大きなプロジェクトですが、その全体を見渡してもらいます。

 

お礼メールコース:500円
支援者に対してお礼のメール、進捗報告のメールをさせていただきます!

追加ボイスコース:5,000円
500円コースに加え、
イタコ姉さまの追加ボイス(100個)を送付させていただきます。

       
(参考 以前作った追加ボイス)

グッズいろいろコース:18,000円
5,000円コースに加え
缶バッジ、
ポストカード、
布ポスター(横150cm×縦60cm)
を送付させていただきます。


(18,000円のコース以上のリターンになるイタコ姉さま布ポスター)

ポッキースタンドもあるよコース:25,000円
18,000円コースに加え
イタコ姉さまのポッキースタンド、
を送付させていただきます。


(ポッキースタンド)

お礼ボイスコース:40000円
25000円コースに加え
イタコ姉さまからのお礼ボイス(お名前を読み上げさせていただきます)
クリアファイル
を送付させていただきます。


(クリアファイルのデザイン)

ににこ先生サインコース:60,000円
40,000円コースに加え
東北ずん子小説(ずん好き)3巻に江戸村ににこ先生のサインを入れて
送付させていただきます。


(江戸村ににこ先生がサインを入れる小説)

追加布ポスターに木戸衣吹さんのサインコース:100,000円
60,000円コースに加え
追加の布ポスター(25,000円コースとは違うデザイン)に木戸衣吹さんのサインを入れたもの、
アクリルフィギュアを送付させていただきます。


(追加布ポスター用イタコ姉さまイラスト)

 

秘密の追加ボイスコース:6000円

5000円の追加ボイスとは違う、別の追加ボイス100個を送付します。
東北ずん子ワールドの誰の追加ボイスになるかはまた決まってません。

※feverの東北ずん子コイン終了時にリターンとさせていただく物と同じ物になります。
※feverの東北ずん子コインを持っていない人で東北ずん子コイン用の追加ボイスが欲しい、という要望がありましたのでクラウドファンディング最終日限定で追加させていただきました。

PERSONAL RECOMMEND あなたへのおすすめプロジェクト