Cadence Cv R1
Common Voice 日本語(CC0)のみで学習した、完全公開・完全再現可能な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム(cadence)を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています(リズム仮名化研究のベースライン。通常の TTS としてそのまま使えます — 推論時は cadence 非注入で、話者の弾き分けは...
Model source
- Kind
- Other
- File size
- 241 MB
- Base model
- litagin/Style-Bert-VITS2-2.0-base-JP-Extra
- Version
- vRevision d63a8a2
- Updated
- Oct 31, 2026
- Downloads
- 26
- Source
- Hugging Face
Source description
cadence CV-298 (cv_r1) — 日本語多話者 TTS / 声道リズム仮名化研究モデル
Common Voice 日本語(CC0)のみで学習した、完全公開・完全再現可能な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム(cadence)を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています(リズム仮名化研究のベースライン。通常の TTS としてそのまま使えます — 推論時は cadence 非注入で、話者の弾き分けは speaker embedding によります)。
- 話者数: 298(Common Voice 日本語話者、
cv_0001〜cv_0298) - 学習データ: Zenodo: DOI 10.5281/zenodo.21119791(CC0 / wav 18,015 / 44.1 kHz mono)
- 学習コード: slp-hu/Style-Bert-VITS2 (branch
layer-b-cadence-seq) — Colab ノート一式で誰でもゼロから再学習できます - 底モデル: litagin/Style-Bert-VITS2-2.0-base-JP-Extra(AGPL-3.0)からの warm-start(10 epoch / batch 16)
🔊 デモ
話者マップ(x-vector UMAP)から話者を選んで合成・複数話者の混合(virtual 話者)ができる インタラクティブデモ: https://huggingface.co/spaces/slp-hu/cadence-cv_r1-demo
Colab で試す場合は fork の README の Colab バッジ(合成ノート cv_r1_synth_colab.ipynb)から。
使い方(Python)
from style_bert_vits2.tts_model import TTSModel
from style_bert_vits2.nlp import bert_models
from style_bert_vits2.constants import Languages
from huggingface_hub import hf_hub_download
repo = "slp-hu/cadence-cv_r1"
model_file = hf_hub_download(repo, "model_name_e10_s9019.safetensors")
config_file = hf_hub_download(repo, "config.json")
style_file = hf_hub_download(repo, "style_vectors.npy")
bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
model = TTSModel(model_path=model_file, config_path=config_file,
style_vec_path=style_file, device="cuda")
sr, audio = model.infer(text="音声合成のテストです。", speaker_id=0)
※ コード側は fork(layer-b-cadence-seq)を使ってください(cadence 拡張層を含む state dict のため)。
同梱ファイル
| ファイル | 内容 |
|---|---|
model_name_e10_s9019.safetensors | 推論用モデル(10 epoch / 9,019 step) |
config.json / style_vectors.npy | 合成に必要な設定・スタイルベクトル |
speaker_map.json | 話者 x-vector の UMAP 2次元座標(デモの話者マップ用) |
reference_clips/ | 各話者の元音声サンプル 1 発話(Opus、CC0。合成音との聴き比べ用) |
評価(30 話者サブセットでの参考値)
- 合成音 → 原音話者テンプレートの top-1 話者識別率: 76.7〜83.3%(chance 10%)
- x-vector cos 類似度: 話者内 ≈ 0.43 / 話者間 ≈ 0.10
- UTMOS: 原音 2.37 / 合成 2.40(Common Voice はクラウド収録のため原音の UTMOS 自体が低めです)
評価は fork の colab/cv_r1_eval_speaker.ipynb で再現できます。
ライセンス
- 本モデル(重み): AGPL-3.0 — 底モデル(AGPL-3.0、継承元 Stardust-minus/Bert-VITS2-Japanese-Extra も AGPL-3.0)の派生物として同一ライセンスで公開します。商用利用・改変可。ただし派生モデルは AGPL-3.0 を継承し、ネットワークサービスとして提供する場合はソース開示義務があります
- 学習データ加工物: CC0(Zenodo DOI 10.5281/zenodo.21119791)
- コード: AGPL-3.0 / LGPL-3.0(fork リポジトリの LICENSE を参照)
利用上の注意
本モデルを、実在の人物になりすます目的、詐欺・なりすまし電話・ディープフェイク等の欺瞞的用途、 その他他者の権利を侵害する用途に使用しないでください。話者は Common Voice に CC0 で音声を提供した 方々であり、その意図を尊重した利用をお願いします。
研究背景・引用
本モデルは、話者の韻律リズム(cadence)を鍵付きで仮名化する研究(cadence プロジェクト)の 公開サブトラックとして構築されました。論文は準備中です。それまでの引用は本リポジトリと Zenodo データセット(DOI 10.5281/zenodo.21119791)をご利用ください。
Maintained by SLP Lab, Hosei University.
Sources
1 source
Sources
1 sourceVerified Oct 31
Download files
Repository files
File inventory only; completeness is unverified.
Model artifacts
1 artifact
Model artifacts
1 artifactmodel_name_e10_s9019.safetensors
safetensors · 241 MB · SHA-256 2706f42553e8…5a3f · Hugging Face
Download fileSource excerpts
3 excerpts
Source excerpts
3 excerpts--- license: agpl-3.0 language: - ja pipeline_tag: text-to-speech tags: - text-to-speech - style-bert-vits2 - japanese - speech-synthesis - voice-anonymization base_model: litagin/Style-Bert-VITS2-2.0-base-JP-Extra --- # cadence CV-298 (`cv_r1`) — 日本語多話者 TTS / 声道リズム仮名化研究モデル Common Voice 日本語（CC0）のみで学習した、**完全公開・完全再現可能**な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム（cadence）を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています（リズム仮名化研究のベースライン。**通常の TTS としてそのまま使えます** — 推論時は cadence 非注入で、話者の弾き分けは speaker embedding によります）。 - **話者数**: 298（Common Voice 日本語話者、`cv_0001`〜`cv_0298`） - **学習データ**: [Zenodo: DOI 10.5281/zenodo.21119791](https://doi.org/10.5281/zenodo.21119791)（CC0 / wav 18,015 / 44.1 kHz mono） - **学習コード**: [slp-hu/Style-Bert-VITS2 (branch `layer-b-cadence-seq`)](https://github.com/slp-hu/Style-Bert-VITS2/tree/layer-b-cadence-seq) — Colab ノート一式で誰でもゼロから再学習できます - **底モデル**: [litagin/Style-Bert-VITS2-2.0-base-JP-Extra](https://huggingface.co/litagin/Style-Bert-VITS2-2.0-base-JP-Extra)（AGPL-3.0）からの warm-start（10 epoch / batch 16） ## 🔊 デモ 話者マップ（x-vector UMAP）から話者を選んで合成・複数話者の混合（virtual 話者）ができる インタラクティブデモ: **https://huggingface.co/spaces/slp-hu/cadence-cv_r1-demo** Colab で試す場合は fork の README の Colab バッジ（合成ノート `cv_r1_synth_colab.ipynb`）から。 ## 使い方（Python） ```python from style_bert_vits2.tts_model import TTSModel from style_bert_vits2.nlp import bert_models from style_bert_vits2.constants import Languages from huggingface_hub import hf_hub_download repo = "slp-hu/cadence-cv_r1" model_file = hf_hub_download(repo, "model_name_e10_s9019.safetensors") config_file = hf_hub_download(repo, "config.json") style_file = hf_hub_download(repo, "style_vectors.npy") bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm") bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm") model = TTSModel(model_path=model_file, config_path=config_file, style_vec_path=style_file, device="cuda") sr, audio = model.infer(text="音声合成のテストです。", speaker_id=0) ``` ※ コード側は fork（`layer-b-cadence-seq`）を使ってください（cadence 拡張層を含む state dict のため）。 ## 同梱ファイル | ファイル | 内容 | |---|---| | `model_name_e10_s9019.safetensors` | 推論用モデル（10 epoch / 9,019 step） | | `config.json` / `style_vectors.npy` | 合成に必要な設定・スタイルベクトル | | `speaker_map.json` | 話者 x-vector の UMAP 2次元座標（デモの話者マップ用） | | `reference_clips/` | 各話者の元音声サンプル 1 発話（Opus、CC0。合成音との聴き比べ用） | ## 評価（30...
Source context: 26 downloads · 0 likes · Pipeline text-to-speech · Repo slp-hu/cadence-cv_r1
Source context: 18 downloads · 0 likes · Pipeline text-to-speech · Repo slp-hu/cadence-cv_r1
