音声合成の処理を丸ごとスレッド分離して実行する #692
Conversation
There was a problem hiding this comment.
Synthesizerがstruct Synthesizer(Arc<_>)という構造になったことにより、Arcで包む意味が無くなったため。
(Python APIも同様)
追記: #662 のときには結局Arc<voicevox_core::blocking::Synthesizer>ってなってそうですが、今放置しておく理由も特に無いし、diff的にも別にいいかなと。
There was a problem hiding this comment.
Java APIと同様。
追記: こっちは #662 以降もそのままのはず (何故ならこっちはasyncなAPIなので)
| self.use_gpu | ||
| } | ||
|
|
||
| // FIXME: ブロッキング版を作る |
There was a problem hiding this comment.
async_zip さえ差し替えられればよいはず。
(tokio::fsはstd::fsの単なるラッパーなので、std::fsに置き換えた上で丸ごとスレッドに包めばよい)
tokio::fsの方、タスクキャンセルを考えると丸ごと包むのはやめた方が良いかも
|
|
||
| use super::InferenceRuntimeImpl; | ||
|
|
||
| pub(super) struct Synthesizer { |
There was a problem hiding this comment.
#662 のときになったら、これはvoicevox_core::blocking::Synthesizerとして配置(re-export)する。
| /// | ||
| /// # Performance | ||
| /// | ||
| /// CPU/GPU-boundな操作であるため、非同期ランタイム上では直接実行されるべきではない。 |
There was a problem hiding this comment.
すみません！ 前にもみたいなこと聞いたかもなのですが、これって何ででしたっけ 🙇
非同期ランタイムはRustの文脈（というよりtokio？）でグローバルにたった１つだけしかなく、別の非同期処理（ファイルI/Oなど）が実行されなくなるから、とかでしたっけ
| mod user_dict; | ||
| mod version; | ||
| mod voice_model; | ||
|
|
||
| #[doc(hidden)] |
There was a problem hiding this comment.
あ、ここ手元でcargo docで確認するときに外して、そのまま忘れてgit addしてしまったやつですね...
内容
Synthesizerの音声合成系のメソッドを、すべて丸ごとスレッド分離して実行するようにし、asyncのランタイムを阻害しないようにします。#545 の以下のタスクを完全に解決します。
関連 Issue
#545
その他