image

ずんだもんは、四国めたんも「ささやきたい」「歌いたい」音声合成制作!

image


 

ご支援、応援、本当にありがとうございます\(💚ず・ω・だ💚)/
皆様の支援のおかげでゴールを達成することができましたので、追加のゴールを発表させていただきます(*´∀`*)

 

最終ゴールでは、ずんだもんの追加ボイスをさらに追加、そしてずんだもんの研究者向け読唇データベースの制作を行います。
前回作った読唇データベースでは1種類のボイスにつき約400文章を読み上げましたが、今回は4600文章を読み上げる形となります。

新たに大量の文章を読み上げるデータとなるので、読唇での音声合成研究だけでなく、新しい音声合成システム、ボイスチェンジャーなどの研究にも応用できるデータとなります(ノ≧ڡ≦)ノ

読唇用データについての詳細は以下のような物になります。
明治大学の森勢先生が現在新しく制作しているROHAN4600というコーパス文を読み上げます。
ROHAN4600は、4600文章が入っている、音声合成に使える台本となります。
文章を読み上げ時にカメラで撮影をし、九州工業大学 齊藤先生が口の動きのデータをまとめてくれる形となります。
こうして作ったデータを研究者向けに配布する、というプロジェクトになります。
いわゆるAIといわれている機械学習に適した大規模なデータ制作を行います。

※読唇データベースについてはすでに制作が始まっているデータですので、All-in-one方式(ゴール未達成でもプロジェクトは実施する)となります。

※読唇データベース制作には、東北ずん子のTポイントファンクラブで得た資金も利用させていただきます。(200万ポイント突破までの資金利用になります)

 

第5ゴールはめたんちゃんのAI歌唱を実現することになります(*´∀`*)
話すことができ、さらに歌えるキャラになることで、今後大きな成長が期待されます。
その成長を地域に還元するため、四国めたんちゃんについては四国での利用をライセンス料無しで利用できるような形にしたいと思います(*ゝω・)ノ

第4ゴールでは、ずん子やずんだもんの相棒、めたんちゃんのVOICEVOXささやき声も作ります!
めたんちゃんのセクシーなささやき声、期待していてください!!

 

第3ゴールでは、5000円以上の支援者さんのリターンをゴージャスにするため、追加ボイスの数を増やしたいと思います!
こちら、追加ボイス新規収録させてください(>∀<●)
追加ボイスについては、支援者さんにアンケートを採ってそこから色々と作り込んでいきたいと思っています(*ゝω・)ノ

 

第2ゴール達成しましたら、ずんだもん3Dモデルを無料公開させていただきます!

もともと販売用に準備していたずんだもんの3Dモデルですが、今後のずんだもんがいろいろと面白い動きをとりやすいような(ボイスチェンジャーにチャレンジするとか)布石を作らせてください!
 

 

 

ついにVOICEVOXというAI音声合成でしゃべれるようになったずんだもん。

次はAIでうたいたい、そしてもっと先に行きたい!
ちょっと難しい音声合成にも研究的なチャレンジをさせてください!!

 

ずんだもんは、ずんだの妖精。
ずんだ餅を食べれば食べるほど知性が上がっていく謎の生き物です。

もともと、東北ずん子の「ずんだアローの弓」として生まれてきたのがずんだもん。
それが色々あって、妖精の姿に変身できるようになりました。(ヘルメットとモリ(銛)がぶつかったパワーで妖精姿になりました)

そして、ずんだ餅をたくさん食べて人の姿を手に入れ、ついにしゃべれるようになったのが去年です。
VOICEVOXというソフトで無料で誰でもしゃべらせることができるようになりました!

 

せっかくしゃべれるようになったのだから、次は歌声が欲しい!
AIきりたん、AIずん子、AIイタコの誕生により、一気にAI歌唱が盛り上がっている現在、ここでずんだもんも歌えるようになりたいです!
NEUTRINOというソフトにずんだもんが対応すれば、「無料でしゃべれる」「無料で歌える」というすごく強い状態を作り出すことができます(ж^□^ж)ノ

そうすると、ずんだもんがさらに普及し、ずんだももっと広がり、世界にずんだの良さ、東北の良さを広めることができます\(💚ず・ω・だ💚)/

歌声ですが、目標としては「元気でお子様用ソングをしっかり歌えそうな声」をめざして作りたいと思っています。
JPOPなどはしっかり歌える声が増えてきていますが、まだまだ「元気でお子様ボイスで歌える」というAIシンガーキャラはあまりいません。
だからこそ、新しい声のチャレンジとしてやりたいと思っています。

SHACHIさんがつくった歌声音声合成ソフトで、一番最初はAIきりたんが公開されるところから始まりました。

そして一気に広がり、今では多くの人に使ってもらえる歌唱音声合成ソフトになっています。
現在、東北ずん子、東北イタコ、東北きりたんの東北3姉妹が無料で使えるようになっています。
東北3姉妹と一緒に歌えるような世界を作り出したいです!


今回NEUTRINO対応だけでなく、VOICEVOXで「新しいスタイル(ずんだもんの感情ボイス)」を入れることも目的となります。
これまで、喜怒哀楽などは音声合成ソフトで対応できるようになってきました。

ただ、まだチャレンジできていない未踏の音声合成があります。
それが「ささやき声」です。

そもそも、ささやき声ができるのかどうかわかりません。
だからこそ「ささやき声」を収録してできるかどうかのチャレンジをしたいと思っています!

ささやき声ですが、ほとんどの声が無声化されいるのでこれまでの音素ラベリングの手法ではそもそもどこに有声音を当てはめていた部分をラベリングすれば良いのか、など難しいことがたくさんあります。

でも、ささやき声がもし音声合成で出せるようになったらメチャクチャ面白いと思っています!
そこにぜひチャレンジさせてください!!!

現在、九州そらちゃんで先行してささやき声のテストをしてもらっているところです。
検証中の物ですが、合成した声ができあがってきましたのでこちらで九州そらちゃんのささやき声を聞いてください!

VOICEVOXとは、ヒホさんが作り出した中品質の音声合成ソフトウェアです。
ずんだもん、四国めたんちゃんが無料でしゃべれるようになったソフトでもあります!

現在、九州そらちゃんがしゃべれるようになるよう、準備しているところです。
このVOICEVOXでずんだもんの新しい感情ボイス、「ささやき声」を作りたいと思っています!

 

 

 

 

●先行公開コース:500円

・NEUTRINOずんだもんの先行公開
・VOICEVOXずんだもん(ささやき声)の先行公開※
・ずんだもん3Dモデルの先行公開
・VOICEVOX四国めたん(ささやき声)の先行公開※
を行います。

※ささやき声が実現できるかどうかは現在九州そらのデータで検証中です。
もし、ささやき声が上手く実装されない場合は代替案として別の声を収録しそちらをVOICEVOXに実装します。

 

●追加ボイス+支援者限定の追加ボイスコース:5000円

・先行公開コースに加えて
・追加ボイス200個+支援者限定の追加ボイス100個(計300個を新規収録)
を送付します。

       

(参考 以前作った追加ボイス)

 

●ずんだもんぬいぐるみ等、グッズたくさんとお礼ボイスコース(2万3000円)

・追加ボイス+支援者限定の追加ボイスコースに加えて
・ずんだもんぬいぐるみ
・ずんだもんからのお礼ボイス
・チアガールポスター4点セット(A2のポスターを十字折りしたもの。ずんだもん、東北ずん子、東北イタコ、東北きりたん)
・ラバーキーホルダー5点セット(ずんだもん×2、東北ずん子、東北イタコ、東北きりたん)

 

 

●ずんだもんとお風呂コース(3万5000円)

・ずんだもんぬいぐるみ等、グッズたくさんとお礼ボイスコースに加えて
・ずんだもん入浴剤 3点
・ずんだもんの湯桶
・ずんだもん布ポスター(縦180cm×横60cm)

 

 

●サイン入り布ポスターコース(10万円)

・ずんだもんとお風呂コースに加えて
・ずんだもん追加布ポスター(伊藤ゆいなサイン入り)
・ずんだもん、デフォルメアクリルフィギュア

 

 

●大富豪コース(60万円)

・サイン入り布ポスターコースに加えて
・江戸村ににこがずんだもん(ヒト型)のイラストを直接描いたお皿(1点物)

 

 

●別枠:アクリルフィギュア4点セット(9000円)

・ずんだもん、東北ずん子、東北イタコ、東北きりたんのアクリルフィギュア4点セット
(チアガールイラストのアクリルフィギュア)

 

●別枠:めたんちゃんグッズ盛り合わせ(10,000円)

・四国めたんアクリルキーホルダー
・四国めたんアクリルフィギュア
・四国めたん缶バッジ×2
・四国めたん布ポスター(60cm×180cm)


 

今回のクラウドファンディングで集まった資金の利用用途はこちらのようになります。
貸借で分けるとわかりやすいので、自己資金を含めて記載しています。

PERSONAL RECOMMEND あなたへのおすすめプロジェクト