音声の入力を受けとり、音節の切れ目で、それまでの感情を計算します。
arduinoを搭載した端末が人の感情の計算し、装着車の首に適切な量の電流を流し、適切なタイミングで会話の流れに沿った適切な感情のうなづきを、強制的に実行させます。
話を聞いてない人や耳が聞こえない方にオススメです。倫理審査が通らなかったため、デモ機はメガネを使った視覚によるうなずき命令装置となります。
文字起こしの精度よりも、適切なうなづきを行うための実行速度を重視します。根拠にした論文や目標にしている速度や精度、実際のナントカは聞いていただければ答えます。
Arduino側のコードは……デモ機の中にしか残ってないかも……
動作方法
srcの内部の二つのスクリプトを動作させ、バックグラウンドで動かし続ける。
(二つのスクリプトはfileのioを通じて同期させている。理由はデモ用に支給されたパソコンのスペックがあんまりであったため、処理の負荷を私用の携帯端末に分散させるためである)
初回は、whisperモデルやbertのモデルのダウンロードが走るため、時間がかかる。
また、cudaや音声入力の管理が必要なため、環境依存で修正しなければならない諸々が非常に多い。
Androidのアプリを作りBluetooth経由で動くようにもしたが……忙しすぎて気が狂ってたので、アプリのコードはどっかやってしまった。