sbv2_core

Crates.iosbv2_core
lib.rssbv2_core
version0.2.0-alpha8
created_at2024-09-11 10:39:18.99353+00
updated_at2025-08-31 21:26:58.341925+00
descriptionStyle-Bert-VITSの推論ライブラリ
homepage
repositoryhttps://github.com/neodyland/sbv2-api
max_upload_size
id1371819
size179,736
tuna2134@コマリン親衛隊 (tuna2134)

documentation

https://docs.rs/sbv2_core

README

SBV2-API

[!CAUTION] 本バージョンはアルファ版です。

安定版を利用したい場合はこちらをご覧ください。

[!CAUTION] オプションの辞書はLGPLです。

オプションの辞書を使用する場合、バイナリの内部の辞書部分について、LGPLが適用されます。

[!NOTE] このレポジトリはメンテナンスの都合上、tuna2134氏の所属するNeodylandへとリポジトリ所在地を移動しました。

引き続きtuna2134氏がメインメンテナとして管理しています。

プログラミングに詳しくない方向け

こちらを参照してください。

コマンドやpythonの知識なしで簡単に使えるバージョンです。(できることはほぼ同じ)

このプロジェクトについて

このプロジェクトは Style-Bert-ViTS2 を ONNX 化したものを Rust で実行するのを目的としたライブラリです。

JP-Extra しか対応していません。(基本的に対応する予定もありません)

変換方法

こちらを参照してください。

Todo

  • REST API の実装
  • Rust ライブラリの実装
  • .sbv2フォーマットの開発
  • PyO3 を利用し、 Python から使えるようにする
  • 組み込み向けにCライブラリの作成
  • GPU 対応(CUDA)
  • GPU 対応(DirectML)
  • GPU 対応(CoreML)
  • WASM 変換
  • arm64のdockerサポート
  • aivis形式のサポート
  • MeCabを利用する

構造説明

  • crates/sbv2_api - 推論用 REST API
  • crates/sbv2_core - 推論コア部分
  • scripts/docker - docker ビルドスクリプト
  • scripts/convert - onnx, sbv2フォーマットへの変換スクリプト

プログラミングある程度できる人向けREST API起動方法

models をインストール

https://huggingface.co/neody/sbv2-api-assets/tree/main/deberta からtokenizer.json,debert.onnx https://huggingface.co/neody/sbv2-api-assets/tree/main/model からtsukuyomi.sbv2 を models フォルダに配置

.env ファイルの作成

cp .env.sample .env

起動

CPUの場合は

docker run -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
ghcr.io/neodyland/sbv2-api:cpu
Apple Silicon搭載のMac(M1以降)の場合 docker上で動作させる場合、.envのADDRをlocalhostから0.0.0.0に変更してください。 
ADDR=0.0.0.0:3000

CPUの場合は

docker run --platform linux/amd64 -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
ghcr.io/neodyland/sbv2-api:cpu

CUDAの場合は

docker run -it --rm -p 3000:3000 --name sbv2 \
-v ./models:/work/models --env-file .env \
--gpus all \
ghcr.io/neodyland/sbv2-api:cuda

起動確認

curl -XPOST -H "Content-type: application/json" -d '{"text": "こんにちは","ident": "tsukuyomi"}' 'http://localhost:3000/synthesize' --output "output.wav"
curl http://localhost:3000/models

開発者向けガイド

Feature flags

sbv2_api、sbv2_core共に

  • cuda featureでcuda
  • cuda_tf32 featureでcudaのtf32機能
  • tensorrt featureでbert部分のtensorrt利用
  • dynamic featureで手元のonnxruntime共有ライブラリを利用(ORT_DYLIB_PATH=./libonnxruntime.dllなどで指定)
  • directml featureでdirectmlの利用ができます。
  • coreml featureでcoremlの利用ができます。

環境変数

以下の環境変数はライブラリ側では適用されません。

ライブラリAPIについてはhttps://docs.rs/sbv2_coreを参照してください。

  • ADDR localhost:3000などのようにサーバー起動アドレスをコントロールできます。
  • MODELS_PATH sbv2モデルの存在するフォルダを指定できます。
  • RUST_LOG おなじみlog levelです。
  • HOLDER_MAX_LOADED_MODElS RAMにロードされるモデルの最大数を指定します。

謝辞

  • litagin02/Style-Bert-VITS2 - このコードを書くにあたり、ベースとなる部分を参考にさせていただきました。
  • Googlefan - 彼にモデルを ONNX ヘ変換および効率化をする方法を教わりました。
  • Aivis Project - 辞書部分
Commit count: 633

cargo fmt