mutabilityとasyncnessを仕上げる

[qryxip]

内容

関連 Issue

Resolves #552.
ref #545

その他

• Criterionによるベンチを含め、decodeの並列実行機能(gpu_num_sessionsオプション)を剥がす
• styleIdとsession.runに渡す数値が異なっているVVMでも音声合成できるようにする #551 ベースで実装しなおす
  • とりあえずコンフリクト解消
• モデル実行部分以外のCPU-boundな部分もtokio::task::spawn_blockingで包む

[qryxip]

今この実装を自分で見直しているのですが、思い付くまま書き殴った設計そのままなので、その意味でも #552 ベースで書き直した方が良いかもと思ってしまいました。

(追記) 「余計な情報を持たないようにする」という方針は心掛けていて、それは体現できていると思うので、コンセプトについてはそのままにしたいと思います。

[Hiroshiba]

実装読みました！
コンセプトとしては、Inference Coreには一旦手を加えず、Statusをデータ周りと推論周りで二層構造にする形かなと感じました！
そういう目的であるということが分かりやすい構造体名になっていると嬉しそう？

あとInference CoreからStatusの関数を2回以上叩いている関数がちょくちょくあって、これもMutexにしとかないといけないはず。status.validate_speaker_idとか。
まあこっちをMutexにするのは面倒なので、Inference Coreからstatusを2回呼ぶような設計にしなければ一旦大丈夫かなと思いました！

[Hiroshiba]

こちらのブルリクエストのデータ構造みたいなのを書き下してみました！！
ちょっとこのプルリクエストで議論することかどうか微妙ですが、StatusはInference Coreと集約できそうなこと、Synthesis EngineはSynthesizerのimplそして実装していくのが将来的には良さそうかなとか思いました！！

flowchart LR
	276662["session.run"] --o 672471(["Onnx Session (Mutex)"])
	115090["Inference Core"] --o 605462["Status"]
	939501["Syntthesis Engine"] --o 115090
	132055["Synthesizer"] --o 939501
	939501 --o 707071(["OpenJTalk"])
	515265["metas"] --o 909525["metas"]
	605462 --o 326867["Loaded Models (Mutex)"]
	909525 --o 343936["metas"]
	343936 --o 628672["metas"]
	999221["predict"] --o 635888["predict"]
	635888 --o 276662
	927541["synthesis"] --o 394870["synthesis"]
	394870 --o 635888
	699899["load_voice_model"] --o 209723["load_model"]
	209723 --o 367614["load_model"]
	367614 --o 629577["insert"]
	678674(["metas"]) --> 684359(["metas"])
	367614 --o 920120["Voice Model"]
	163279(["Onnx Model"]) --> 672471
	subgraph 115090["Inference Core"]
		909525
		635888
		209723
	end
	subgraph 132055["Synthesizer"]
		515265
		999221
		927541
		699899
	end
	subgraph 326867["Loaded Models (Mutex)"]
		628672 --o 684359
		629577 --o 174035["Loaded Model"]
		subgraph 174035["Loaded Model"]
			684359
			672471
		end
	end
	subgraph 605462["Status"]
		276662
		343936
		367614
	end
	subgraph 920120["Voice Model"]
		163279
		678674
	end
	subgraph 939501["Syntthesis Engine"]
		394870
	end

Loading

[qryxip]

• Merge branch 'main' into HEAD
• Criterionによるベンチ(decode-with-gpu)の抹消 (ce2f8c0)
• num_gpu_sessionsオプションの抹消 (47a77ee)
• レビューの反映

[qryxip]

• CIを通すため、C APIのヘッダーとE2Eテストも元に戻す (b893fed (#553), 780d880 (#553))

[qryxip]

• Merge 'main' into HEAD (1e8886d (#553))
  • 以下のコンフリクトを解消し、動く状態に
    • #538 のコメントを反映 #546
    • ドキュメントを刷新する #532
    • styleIdとsession.runに渡す数値が異なっているVVMでも音声合成できるようにする #551

[qryxip]

このPRの

モデル実行部分以外のCPU-boundな部分もtokio::task::spawn_blockingで包む

ですが、結構小刻みで包むことになってしまいますね。
#553 (comment)の構造改革のときに操作全体を丸ごとspawn_blockingで包めるように設計する、というのがいいかもしれません。

[qryxip]

• Merge branch 'main' into HEAD
  • Fix: voicevox_json_freeの対象が漏れていたことの修正 #571
  • RustのdoctestをCI #573
  • VoiceModelのget_all_modelsがvvm以外のファイルも読み込もうとしてクラッシュすることの修正 #574
• synthesizer_get_metas_json → synthesizer_create_metas_json (mutabilityとasyncnessを仕上げる #553 (comment))

[qryxip]

• Merge branch 'main' into HEAD
  • Change!: C APIの名前を少し変更 #576
  • C-APIのnew_with_initializeで初期化した場合、metas jsonが空になってしまうことの修正 #575

[qryxip]

• C-APIのnew_with_initializeで初期化した場合、metas jsonが空になってしまうことの修正 #575 で追加されたテストを変更 (06fef88 (#553))
• コンフリクト解消が適当だったため同じ値の宣言が2つできていて、それがwarningを発していたので修正 (4891a9c (#553))
• create_metas_jsonの返り値を*const c_char → *mut c_charに (mutabilityとasyncnessを仕上げる #553 (comment))

[Hiroshiba]

とりあえず大まかな部分を見てみました！
以前見た時と大枠は全く変わってない感じという理解であってそうでしょうか？

この認識で問題なければ、Async周りとかをしっかりめにレビューしたいと思います！

[qryxip]

以前見た時と大枠は全く変わってない感じという理解であってそうでしょうか？

はい。 #551 のマージはしましたが、大きく変えないようにしました。

[Hiroshiba]

ほぼLGTMです！！
コメントしたところだけ変更もしくは再コメントいただけると！！！

これはこのプルリクエストで追加する必要はなく、ちょっとしたコメントなのですが、
Async/Mutexに関して、望んだ実装になっているかどうか（例えば同じモデルの同じセッションは同時に実行できないとか）をテストできると嬉しいのかなと思いました！
ソースコードから判断しようとすると間違えそうなので･･･。

[Hiroshiba]

（判断メモです）
パニックになってしまうのは結構きつい制約かなと思ったのですが、ユーザーがmodel_idを直接指定して実行する機会がないのでパニックで良さそうな気がしました！

[Hiroshiba]

多分このプルリクエストの範囲じゃないと思うんですが、InvalidStyleIdというよりはNonExistStyleIdかもと思いました。

[qryxip]

• Merge branch 'main' into HEAD
  • Revert #503 定数化されたものを関数へ戻します #557
  • Python APIのSynthesizerをclose()可能にする #555
• レビュー対応
  • mutabilityとasyncnessを仕上げる #553 (comment)
  • mutabilityとasyncnessを仕上げる #553 (comment)

[Hiroshiba]

あとエラーの形が調整完了すればマージかなと！

[Hiroshiba]

ほぼLGTMです！！

[Hiroshiba]

LGTM！！！

Async系のテストがあるとかっこよさそうですが、コンパイル言語だとモックとかも難しそうだから相当難しそう。

[Hiroshiba]

問題ないと思うのでマージします！

あ、以前描いたmarmaid、共有します。よかったらどうぞ 🙏

Details

flowchart LR
	276662["session.run"] --o 672471(["Onnx Session (Mutex)"])
	115090["Inference Core"] --o 605462["Status"]
	939501["Syntthesis Engine"] --o 115090
	132055["Synthesizer"] --o 939501
	939501 --o 707071(["OpenJTalk"])
	515265["metas"] --o 909525["metas"]
	605462 --o 326867["Loaded Models (Mutex)"]
	909525 --o 343936["metas"]
	343936 --o 628672["metas"]
	999221["predict"] --o 635888["predict"]
	635888 --o 276662
	927541["synthesis"] --o 394870["synthesis"]
	394870 --o 635888
	699899["load_voice_model"] --o 209723["load_model"]
	209723 --o 367614["load_model"]
	367614 --o 629577["insert"]
	678674(["metas"]) --> 684359(["metas"])
	367614 --o 920120["Voice Model"]
	163279(["Onnx Model"]) --> 672471
	subgraph 115090["Inference Core"]
		909525
		635888
		209723
	end
	subgraph 132055["Synthesizer"]
		515265
		999221
		927541
		699899
	end
	subgraph 326867["Loaded Models (Mutex)"]
		628672 --o 684359
		629577 --o 174035["Loaded Model"]
		subgraph 174035["Loaded Model"]
			684359
			672471
		end
	end
	subgraph 605462["Status"]
		276662
		343936
		367614
	end
	subgraph 920120["Voice Model"]
		163279
		678674
	end
	subgraph 939501["Syntthesis Engine"]
		394870
	end