voice-generator-webui を AppleSillicon 上で動かしてみました
最初にポイントですが Python のバージョンが 3.10.6 でないとダメそうです
自分は 3.10.11 で試しましたがライブラリのインストールでハマったので素直に 3.10.6 を使うのが良さそうです
起動はできそうですが最新版への追従が微妙そうなので tts-generation-webui を使うほうが良さそうです
tts-generator-webui を M2 mac mini 上で動かしてみました
voice-generator-webui よりもこちらのほうが良いかなと思います
https://github.com/rsxdalv/one-click-installers-tts/archive/refs/tags/v6.0.zip これをダウンロードします
ダウンロードしたら解答しましょう
必要なものをすべてインストールしてくれるスクリプトがあるのでそれを実行します
途中 GPU を選択する部分があるので Apple M Series を選択しましょう
A) NVIDIA
B) AMD
C) Apple M Series
D) None (I want to run in CPU mode)
Input> C
conda や Python などを自動で installer_files 配下にダウンロード、インストールしてくれます
Python のバージョンは 3.10.14 でした (installer_files/env/bin/python
必要なライブラリがインストールされ localhost:3000 で起動すれば OK です
以下のような感じで起動すれば OK です
各音声モデルジェネレータごとにタブで分かれているのでわかりやすいです
React 版は localhost:7860/ で動作しているようです
tts-generator-webui を M2 mac 上で動作させてみました
次回はこれを使って音声モデルから適当な文章を喋らせてみようと思います
前回 RVC WebUI で音声を他の音声で推論する処理をやってみました
今回は音源に歌を準備し歌の BGM とボーカルパートを分割する方法を紹介します
BGM と声を分割したい音源を準備しましょう
適当な歌で OK です
できれば一人で歌っている歌がいいかなと思います
RVC WebUI を立ち上げ「Vocals/Accompaniment Separation & Reverberation Removal」を選択します
まず「Enter the path of the audio folder to be processed」に音源を配置したディレクトリを指定します
ファイルへのフルパスではなくディレクトリなので注意してください
このディレクトリ配下にファイルはすべて分割されます
次に「Model」を選択します
いろいろありますが今回は「HP3_all_vocals」を選択しました
分割の精度が悪い場合は HP2 など他のモデルで試してみてください
最後に「Convert」で分割を開始します
Success になれば完了です
分割したファイルは Retrieval-based-Voice-Conversion-WebUI-updated1006v2/opt 配下に flac 形式で保存されます
instrument_ で始まるファイルが 声のみで vocal_ から始まるファイルが BGM のみになります
RVC WebUI で音楽の BGM と声を分割してみました
おそろしく簡単にできすぎてびっくりします
前回 安定バージョンの RVC WebUI を動かし音声データからモデルを生成するところまでやりました
今回は作成した音声モデルを使って音声の変換をしてみたいと思います
音声を変換する音源を準備しましょう
何でも OK ですができれば単純な文章読み上げがいいかもしれません
自分は適当な歌を mp3 ファイルとして用意しました
RVC WebUI を起動してアクセスします
「Model Inference」タブを選択します
そして「Inferencing voice」に前回作成した音声モデルファイル (pth) を設定します
更に音声を変換したいファイルを「Enter the path of the audio file to be processed (default is the correct format example)」にフルパスで指定します
成功すると以下のようなログが流れて RVC WebUI 上で音声を再生できるようになります
ダウンロードも可能で audio.wav というファイル名で保存されます
2024-05-10 09:06:14 | INFO | infer.modules.vc.pipeline | Loading rmvpe model,assets/rmvpe/rmvpe.pt
2024-05-10 09:06:52 | INFO | httpx | HTTP Request: POST http://localhost:7865/api/predict "HTTP/1.1 200 OK"
2024-05-10 09:06:52 | INFO | httpx | HTTP Request: POST http://localhost:7865/reset "HTTP/1.1 200 OK"
聞いてみると学習させた音声モデルで変換されていることが確認できると思います
ValueError: mode must be 'r', 'w', or None, got: rb
音声を変換するファイルを指定した際にエラーになりました
av ライブラリのバージョンを下げるとうまく動作するようです
RVC WebUI で音声変換できるところまでやってみました
基本の流れは今回紹介した方法なのであとはモデルを生成するときのチューニングや学習させる音声データのクリーニング、分割をしてモデルの精度をあげましょう
できれば学習させる際の音声データは歌などではなく会話が良いかなと思います
そして変換/推論する際にもパラメータがいくつかあるのでこれもチューニングしましょう
推論する際は歌などでも全然 OK ですができれば推論もアカペラなど BGM がない音源を準備できると良いかなと思います
https://toranoana-lab.hatenablog.com/entry/2023/12/22/120000
前回 最新のコミットから起動してみましたが今回はリリースの安定版を動かしてみました
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/releases/tag/updated1006v2 から Retrieval-based-Voice-Conversion-WebUI-updated1006v2.tar.gz をダウンロードします
初回はモデルのダウンロードがあります
起動すると http://localhost:7865/ で起動します
前回同様です
ディレクトリがないエラーが出た場合は手動で作成します
前回はモデル生成時にセグメンテーションエラーになり RVC WebUI が落ちる挙動があったのですがそれがなく正常に終了します
モデルは ./assets/weights/mi-test.pth に作成されます
最新のコミットではなくリリースにある安定版を使うほうが今のところは良さそうです
次回は作成できた pth モデルを使って別の音声情報と音声を交換してみたいと思います
Retrieval-based-Voice-Conversion-WebUI というツールを見つけたので使ってみました
自分の音声から音声モデルを使って喋らせることができるようです
自動で Python3.8 がインストールされます
試しに Python 3.10 以上で試したのですがライブラリのインストールでエラーになったので3.8を使います
http://localhost:7865/ で起動します
なぜか hubert_base.pt やらいろいろ足りていないのでモデルをダウンロードします
https://github.com/RVC-Project/RVC-Models-Downloader/releases から rvcmd_darwin_arm64.tar.gz をダウンロードします
展開し Retrieval-based-Voice-Conversion-WebUI のルートに配置します
警告が出る場合は一度 Finder からクリックで起動して Open を選択することでターミナルからも実行できるようになります
実行すると必要なモデルを必要なパスに自動でダウンロードしてくれます
<
assets/hubert/hubert_base.pt がない場合は https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/hubert_base.pt こちらからダウンロードして配置してください
なぜか足りなかったので作成します
何でも OK です
パラメータはいろいろとチューニングできますが今回はデフォルトのままでいきます
まずは Train タブを選択します
UI 上にステップが記載されているのでそのステップ通りに進めます
ステップ1では名前とパラメータを設定します (基本はそのままで OK)
準備した音声ファイルを「Enter the path of the training folder」に入力し「Process data」を実行します
ステップ2の部分はそのままで OK です
あとはステップ3の「One-click training」を実行すれば OK です
これでモデルが生成できます
とりあえずモデルは生成できたので次回はこのモデルを使って話をさせてみます