Skip to content

kasi-x/fast_voice_emotion_analysis_with_bert

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

14 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

fast_word_emotion_analysis

音声の入力を受けとり、音節の切れ目で、それまでの感情を計算します。
arduinoを搭載した端末が人の感情の計算し、装着車の首に適切な量の電流を流し、適切なタイミングで会話の流れに沿った適切な感情のうなづきを、強制的に実行させます。
話を聞いてない人や耳が聞こえない方にオススメです。倫理審査が通らなかったため、デモ機はメガネを使った視覚によるうなずき命令装置となります。
文字起こしの精度よりも、適切なうなづきを行うための実行速度を重視します。根拠にした論文や目標にしている速度や精度、実際のナントカは聞いていただければ答えます。
Arduino側のコードは……デモ機の中にしか残ってないかも……

動作方法

srcの内部の二つのスクリプトを動作させ、バックグラウンドで動かし続ける。
(二つのスクリプトはfileのioを通じて同期させている。理由はデモ用に支給されたパソコンのスペックがあんまりであったため、処理の負荷を私用の携帯端末に分散させるためである)
初回は、whisperモデルやbertのモデルのダウンロードが走るため、時間がかかる。
また、cudaや音声入力の管理が必要なため、環境依存で修正しなければならない諸々が非常に多い。

Androidのアプリを作りBluetooth経由で動くようにもしたが……忙しすぎて気が狂ってたので、アプリのコードはどっかやってしまった。

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages