Beatrice Trainer

--- license: mit pipeline_tag: audio-to-audio tags: - audio - speech - voice-conversion datasets: - reazon-research/reazonspeech - dns-challenge - libritts-r --- # Beatrice Trainer 超低遅延・低負荷・低容量を特徴とする完全無料の声質変換 VST 「[Beatrice 2](https://prj-beatrice.com)」のモデル学習用ツールキットです。 Beatrice 2 は、以下を目標に開発されています。 * 自分の変換された声を聴きながら、歌を快適に歌えるようにする * 入力された声の抑揚を変換音声に正確に反映し、繊細な表現を可能にする * 変換音声の高い自然性と明瞭さ * 多様な変換先話者 * 公式 VST での変換時、外部の録音機器を使った実測で 50ms 程度の遅延 * 開発者のノート PC (Intel Core i7-1165G7) でシングルスレッドで動作させ、 RTF < 0.2 となる程度の負荷 * 最小構成で 30MB 以下の容量 * VST と [VCClient](https://github.com/w-okada/voice-changer) での動作 * その他 (内緒) ## Release Notes * **2025-08-31**: Beatrice Trainer 2.0.0-rc.0 をリリースしました。 * **[公式 VST](https://prj-beatrice.com)、 [VCClient](https://github.com/w-okada/voice-changer)、 [beatrice-client](https://github.com/aq2r/beatrice-client) を最新版にアップデートしてください。新しい Trainer で生成したモデルは、古いバージョンの公式 VST、 VCClient、 beatrice-client で動作しません。** * RTF の目標値を 0.25 から 0.2 に変更しました。 * パッケージマネージャを Poetry から uv に変更しました。 * PitchEstimator の学習データに VocalSet を追加しました。 * PitchEstimator の出力値の上限を A5 付近から F6 付近に引き上げました。 * PitchEstimator が有声/無声の予測を行わないように変更しました。 * PitchEstimator のアーキテクチャで、活性化関数が欠落していた箇所を修正しました。 * PhoneExtractor のアーキテクチャに self-attention の追加や GRU の削除などの変更を行い、処理効率が向上しました。 * WaveGenerator のアーキテクチャに cross-attention によって話者性を注入する構造を追加し、話者類似性が向上しました。 * PhoneExtractor の出力に対して学習時にノイズを加算することにより、生成音声の品質が向上しました。 * PhoneExtractor の出力に対する [kNN-VC](https://arxiv.org/abs/2305.18975) に類似したベクトル量子化処理を追加し、話者類似性が向上しました。 * Discriminator に入力する波形に微細なノイズを加算する処理を追加し、学習の安定性が向上しました。 * GradientEqualizer は品質への寄与が確認できなかったため、削除しました。 * Data augmentation の処理にフォルマントシフトを追加し、話者類似性が向上しました。 * Aperiodicity loss の計算における半フレームのずれを修正しました。 * Aperiodicity loss を音量が非常に小さい部分では 0 とし、学習の安定性が向上しました。 * Loudness loss を追加し、生成音声の品質が向上しました。 * 学習率のスケジューリングを cosine から exponential に変更し、学習の延長が行いやすくなりました。 * チェックポイントファイルを圧縮して保存するように変更しました。 * コンフィグファイルで設定可能な項目を追加しました。 * 損失関数の値などによって品質が評価できると誤解されることを避けるため、TensorBoard への数値の記録をデフォルトで無効にしました。 * ハイパーパラメータの調整や、その他いくつかの変更を行いました。 * **2024-10-20**: Beatrice Trainer 2.0.0-beta.2 をリリースしました。 * **[公式 VST](https://prj-beatrice.com) や [VCClient](https://github.com/w-okada/voice-changer) を最新版にアップデートしてください。新しい Trainer で生成したモデルは、古いバージョンの公式 VST や VCClient で動作しません。** * [Scaled Weight Standardization](https://arxiv.org/abs/2101.08692) の導入により、学習の安定性が向上しました。 * 無音に非常に近い音声に対する損失の計算結果が nan になる問題を修正し、...

Source context: 0 downloads · 47 likes · Pipeline audio-to-audio · Repo fierce-cats/beatrice-trainer