2022.02.01
簡単にテキストをもとに動画のようなものが再生されるプレゼンやブログを統合した仕組みの画像
チーム開発募集中

簡単にテキストをもとに動画のようなものが再生されるプレゼンやブログを統合した仕組み

更新日:2022.08.21
ビュー数 132
コメント数

5

更新日:2022.08.21
ビュー数

132

コメント数

5

背景

動画は後で編集できません。講座動画は今後陳腐化していきますが、書類はHTMLのように後で編集できる形が誕生しました。
動画もそうなっていいし、そうであるならHTMLより手軽なマークアップっぽい方式で内容を記述できればと考えています。
解説するキャラクターも2Dや3Dが増えてきて、音声技術での読み上げも定着してきました。新しい講座動画の作り方が誕生してもいいと考えています。

ゴール

動画版のHTMLが一般化すること

イシュー

+ どのように認知度を広めていったらいいか
+ 大きなサーバーで中央集権的なサービス化することが個人なので難しいと考えている
+ どのようにサムネイルの生成をすればよいか、必要ないか?
+ オープンソース化するうえで、既存の素材などがなかなか使えない

メイン機能

+ テキストから講座動画もどきを再生できる
+ WordPressのように投稿などの管理機能(現在はDBを直接操作している)

ターゲット(ペルソナ)

講座や解説動画を作りたい、または教育関係で授業のデジタル化を考えている人

補足
<使い方1>
+ 右に表示される「正の数と負の数」ボタンをクリック : データが入力されます
+ 再生ボタンを押す

そのほか、テキストを編集すると、それに応じてさいせいされます。
# がタイトル、## がサブタイトルです。
スタイル部分を編集すると、話速・ピッチが変更できます。

3DキャラクターはVroidで作成しました。

オープンソース化を狙っているため、Unity部分もアセットを使っているところをそぎ落とさないといけなかったりします…

開発の進捗動画

コメント

なる

すごいです!
ここまで作り込んで直感的に何ができるかがわかって良いなと思いました!
敢えてコメントさせて頂くとターゲットが少しずれていないかなと疑問に思いました。
現在のアプリだと「動画を作りたいエンジニア」に絞られてしまうかもしれません。
エンジニアにとっては十分CSSのように設定できて簡単そうかもしれませんが、まだ難しいと思います。
同じようなアプリnoteとQiitaでもマークダウンを使っているように、マークダウンであるだけでだいぶターゲットが変わってくるので
CSSのように設定できるのは色んな人に使ってもらうためにはハードルが高いかもしれません。

基本はボタンだけでの簡易カスタマイズにして、それ以降をいじりたい人は現状のカスタマイズを用いるような段階を踏んでも良いのではと思いました!
応援してます!

続きを読む

02/01 13:54

えむげん

コメントとおほめ頂きありがとうございます。
ついついCSS程度なら簡単と…考えてしまったのはご指摘の通りです、難しいですね。

GUIにしたほうが、おそらくキャラクターを切り替えるのも直感的にできるため、提示いただいた形に変えていこうかと思います。

02/01 15:48

ozuray

技術情報を発信したかったのですが、
動画を作成するのはハードルが高く諦めていました。
このようなサービスがあれば是非利用してみたいです!

こちらの開発ですが、
Text to SpeechのAPIは既に選定済でしょうか?
UnityのWebGLで開発という形でしょうか。

続きを読む

02/02 17:32

えむげん

ご意見ありがとうございます!

音声合成は、Unity側ではなく、クライアントのJavaScriptからブラウザ側の Web Speech API を呼び出してます。
サービスが終了する懸念・規模が大きくなった時の料金や他の人が利用することまで考えてしまった結果、Web Speech APIにしました。

Text to Speech だと、Unity側でAudioClipがとれるので口パクの制御もできそうだったので、ずっと悩んでます。

ちょっと前に、Docomoの音声合成APIが軒並みサービス終了になって…過敏になっている気もします。

構成は少し複雑でして…
+ サーバー側 ( php laravel , データベース )
+ クライアント
 + JavaScript ( テキストの解析、Unityへの命令、音声合成 )
 + Unity WebGL ( 3Dアバターの表示 )

この、クライアントのJavaScriptでテキストの解析と Web Speech API の呼び出しや、Unityのアバター側にいろいろ指示を出していて核になってます。
Unityはあくまで3Dアバターの表示になっていて音声合成にはノンタッチです。

理想は間違っていなさそうなので、コツコツ作っていきます。

続きを読む

02/02 19:07

ozuray

詳細な説明ありがとうございます!

音声合成は少しかじったことがあるので何かご協力できるかもと
思ったのですが、もうおおよその設計はできているのですね。失礼いたしました。

完成楽しみにしております!

続きを読む

02/02 19:25

えむげんのアイコン
えむげん
💡 🛠  アイデアマン / エンジニア

ゲームやツール開発をしています。C#からPHPなど広く薄く、いろんな便利なものだったり、楽しいものを作っています。
主にはダンジョンRPGと、単純なテキストから動画もどきのプレゼンが再生できるWebアプリの2種を開発しています。