【ボイスチェンジャー】なんJRVC部 5

2023/12/05(火) 17:00:39.54

Retrieval-based-Voice-Conversion──RVCについての情報交換とかのスレ
*これを使えばおっさんが誰でも自然な女性ボイスを出せるようになるわけではありません。
このソフトは特定のキャラや人物の声を出せるようになるためのソフトです
このソフトにしろ既存のボイスチェンジャーにしろ同様ですが、女性ボイスを出すためにはまずボイストレーニングが必要です。

wiki
https://seesaawiki.jp/rvc_ch/

※前スレ
なんJRVC部 4
https://fate.5ch.net/test/read.cgi/liveuranus/1699700267/

2023/12/07(木) 08:49:16.54

サンイチ
RVCは10月から更新ないんか

2023/12/07(木) 12:49:52.50

RVC V3待ちやな

2023/12/07(木) 14:03:24.59

今日から参戦しますのでよろしくな

2023/12/08(金) 10:01:50.68

vits2
学習させて使ってみたがヤバいな

2023/12/08(金) 11:18:12.96

Bert-VITS2、関西弁で学習させるとちゃんとアクセントも何故か関西弁になるらしい
感情も抑揚も文章の意味によって変わるし、学習爆速で質もVITSより高いし、TTS界隈的に普通にめっちゃすごいのでは……？

2023/12/08(金) 12:14:12.56

広まるにはMoegoeほどのインパクト（声優3000人分のモデルとか）が求められとるんやろうか

2023/12/08(金) 12:14:33.51

広まるにはMoegoeほどのインパクト（声優3000人分のモデルとか）が求められとるんやろうか

2023/12/08(金) 12:28:31.69

過疎すぎてもあれだけど広まりすぎても岸田ディープフェイクみたいな迷惑な輩も出るだろうしなぁ、あれはロゴを勝手に使ったのが問題なんだけど

2023/12/08(金) 12:38:00.14

https://github.com/crskycode/GARbro/releases/tag/GARbro-Mod-1.0.1.2
何とは言わんが今更ながら音声学習の素材集めに使えるやつを置いとくで

2023/12/08(金) 23:52:25.48

oobaかkoboldでvits2動けば捗りそう

2023/12/09(土) 00:50:31.40

猫旅団の投入が急がれる

ウクライナ軍陣地、ネズミ大発生　食料に被害、前線にネコ送り駆除
https://news.yahoo.co.jp/articles/1bbc5fcbbc76527803537beb871741b4b6d3c2b9
https://i.imgur.com/suWcEQr.jpg

2023/12/09(土) 00:58:08.89

誤爆すまん

2023/12/09(土) 01:38:05.89

すまん、https://github.com/litagin02/slice-and-transcribeについて教えてクレメンス。
「wavファイルをinputsディレクトリに入れてください」とあるが、「inputsディレクトリ」ってなんや？そんなのどこにもないんやが・・・。
導入に書いてあるコマンドでgitするだけじゃアカンのか？

2023/12/09(土) 01:43:19.23

>>59
すまんgitでの空のフォルダ管理が面倒なのでinputsディレクトリは、
手動でinputsフォルダ作ってそこにwavファイルをいれてくれ

2023/12/09(土) 01:58:07.28

>>60
slice-and-transcribeの中に「inputs」と「raw」フォルダを作ればええんかな？
やってみたらこんなエラー出たが・・・。
2023-12-09 01:55:55.9548834 [W:onnxruntime:, graph.cc:3553 onnxruntime::Graph::CleanUnusedInitializersAndNodeArgs] Removing initializer '139'. It is not used by any node and should be removed from the model.

2023/12/09(土) 04:02:34.04

今まで数日かけて学習させていたものと同等の結果が、
VITS2だと僅か数時間で得られるの本当に凄いわ

2023/12/09(土) 08:54:49.03

>>61
inputsフォルダだけでええで、rawは自動で作られる
そのエラーはエラーというより警告で無視していいやつや
分かりにくくてすまんな

2023/12/09(土) 10:03:17.71

>>63
作者様やったんか。ホンマサンガツやで。
しかしやっぱアカンな・・・。ご指摘の通り、inputsフォルダ作ってそこにWAVファイル入れてみたが、
Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not workと出る。
bingちゃんがpip install ffmpegせえ言うからやってみたけどアカンわ。

2023/12/09(土) 10:13:18.87

>>64
あーすまん、確かにpydubにffmpegが必要やったわ
Pythonライブラリじゃないんで、たぶん手動でインストールする必要ある（pipでは別に入れる必要ないっぽい）
「ffmpeg Windows インストール」とかでググって入れてくれ

2023/12/09(土) 12:17:37.96

適当にffmepg落としてきて環境変数のpathの欄にそのフォルダー入れとけば問題ないはず

2023/12/09(土) 13:28:05.85

bert-vits2は学習元はどれくらいの時間の音声用意してる？

2023/12/09(土) 13:33:27.23

>>67
（最終的に学習に使うwavの合計で）いつも40分前後でやっとるけど、RVCと同じくらいの15分とかの少ないデータ量でもそれなりにいけるっぽいで
あんま5分とかで回したことは無いけど行けそうな雰囲気ある
Irisia Projectの合計2時間でやったやつでも質がめっちゃ上がったという感じは正直ないから、長さはそんなにいらん気する

2023/12/09(土) 13:48:38.83

ffmpegはどうせvenv有効にするから venv\Scripts にビルド済みの ffmpeg ffprobe ffplay ブチ込んでるな
これはactivateが勝手にパス通すから環境変数弄んなくてもええぞ

>>67
あんま検証してないけど 8分 13分後 >>27 (全部)
質も重要やろうけど多分短くても感情表現色々混ってた方が向いてると思うで
これらを自動的に学習推論するみたいやし

2023/12/09(土) 16:14:48.08

ffmpegはインストールできたがやっぱり動かんな・・・。
Using cache found in C:\Users\user/.cache\torch\hub\snakers4_silero-vad_masterと出てる。
Silero VADをgit cloneして、そのフォルダの中にslice.pyを入れて起動させてみたがそれでもアカンわ。何が原因なんや・・・。

2023/12/09(土) 16:50:46.13

>>70
うーん、Using cache found in ...は別にエラーでは無くていつも出るやつなんやけど、
その下に何かエラー出とらん？
どこで処理が詰まっとるのかが分からんな

2023/12/09(土) 18:27:15.02

>>71
この手のエラーが10個くらい表示されとるが、これは無視してええやつなんよな？
2023-12-09 18:23:14.4986353 [W:onnxruntime:, graph.cc:3553 onnxruntime::Graph::CleanUnusedInitializersAndNodeArgs] Removing initializer '139'. It is not used by any node and should be removed from the model.
これらが表示されるだけで何も処理されず（rawフォルダも作成されず）に最初に戻されてるわ。
PS G:\Bert-VITS2\kakiokosi\slice-and-transcribe>

2023/12/09(土) 18:31:03.11

>>72
inputsフォルダ直下にwavファイルをちゃんと置いてる？
あーもしかして拡張子が大文字の.WAVかな？だったら今のやつだと想定してなかったんでとりあえず小文字.wavで試してくれ

2023/12/09(土) 18:37:18.71

拡張子大文字が問題だったなら修正したのでgit pullで更新で頼む

2023/12/09(土) 18:50:46.81

わざわざスマンな・・・。ギップルしたけどやっぱり変わらんわ。
多分ニキにとって当たり前の何かをワイがやってないんやと思うわ。ワイにはまだ早すぎたようや。
あんまり騒ぐのも申し訳ないので、ここらでROMるやで。ホンマサンガツな。これからもよろしくやで。

2023/12/09(土) 23:54:40.21

RVCリアルタイム変換で、4070Tiでも1.5秒くらい遅れるんだけどこんなもん?

2023/12/10(日) 03:22:59.36

俺も4日前からデビュー
よろしこ

2023/12/10(日) 11:01:26.41

>>68
㌧ｸｽ、目安にさせてもらいやす

2023/12/10(日) 11:05:31.81

>>76
CHUNKとEXTRAの設定次第だがそんなもん

2023/12/10(日) 20:39:10.73

滑舌どうしても悪くなるな…

2023/12/10(日) 21:56:56.76

>>79
そうかーもう少しなんとかなれば実用なんだけどなあ...

2023/12/11(月) 02:43:40.08

VRCでRVC使いたいけどなかなかうまく行かへんな

2023/12/11(月) 03:23:08.64

https://twitter.com/DannadoriYellow/status/1705387112772829660
WSL化, onnx化, serverでMMC以外を選択, 16K, で100~300msec辺りまで追い込めるけど品質は悪くはなるな
CHUNKを短くしてぶつぶつ言うのはLatencyMonで見て割り込み食ってる奴を排除しつつ詰めていくしかないなぁ
https://twitter.com/thejimwatkins

2023/12/11(月) 03:42:15.34

エラーが出まくったけどうごいてる。
(vit_env) C:\Bert-VITS2>python train_ms.py
加载config中的配置localhost　加载config中的配置10086　加载config中的配置1
加载config中的配置0　加载config中的配置0
加载环境变量
MASTER_ADDR: localhost,　MASTER_PORT: 10086,WORLD_SIZE: 1,
RANK: 0,
LOCAL_RANK: 0
12-11 03:35:00 INFO | data_utils.py:62 | Init dataset...
100%|███████████6/96 [00:00<00:00, 31921.13it/s]

2023/12/11(月) 03:43:25.76

12-11 03:35:00 INFO | data_utils.py:77 | skipped: 0, total: 96　12-11 03:35:00 INFO | data_utils.py:62 | Init dataset...
100%|███████████████████| 4/4 [00:00<?, ?it/s]　12-11 03:35:00 INFO | data_utils.py:77 | skipped: 0, total: 4
Using noise scaled MAS for VITS2　Using duration discriminator for VITS2
INFO:models:Loaded checkpoint 'Data/model_name1\models\DUR_0.pth' (iteration 0)
ERROR:models:enc_p.emo_quantizer._codebook.embed is not in the checkpoint
ERROR:models:enc_p.emo_quantizer._codebook.initted is not in the checkpoint
ERROR:models:enc_p.emo_quantizer._codebook.cluster_size is not in the checkpoint
ERROR:models:enc_p.emo_quantizer._codebook.embed_avg is not in the checkpoint
ERROR:models:emb_g.weight is not in the checkpoint
INFO:models:Loaded checkpoint 'Data/model_name1\models\G_0.pth' (iteration 0)
INFO:models:Loaded checkpoint 'Data/model_name1\models\D_0.pth' (iteration 0)

2023/12/11(月) 03:45:15.70

******************检测到模型存在，epoch为 1，gloabl step为 0*********************
0it [00:00, ?it/s]INFO:models:Train Epoch: 1 [0%]
INFO:models:[2.746347427368164, 2.83308744430542, 4.527602195739746, 24.40008544921875, 3.1789772510528564, 3.6999363899230957, 0, 0.0002]
Evaluating ...
INFO:models:Saving model and optimizer state at iteration 1 to Data/model_name1\models\G_0.pth
INFO:models:Saving model and optimizer state at iteration 1 to Data/model_name1\models\D_0.pth
INFO:models:Saving model and optimizer state at iteration 1 to Data/model_name1\models\DUR_0.pth
20it [00:23, 1.20s/it]
INFO:models:====> Epoch: 1
以下続く。
もう寝て朝に結果をみることにします。

2023/12/11(月) 04:30:56.33

BERT-VITS2の安倍晋三モデルとかあんのかよ
https://huggingface.co/AbeShinzo0708/Bert-VITS2_AbeShinzo

2023/12/11(月) 04:44:07.93

>>85
感情関連の扱いがメインブランチ最新版で微妙に変わってるっぽいから、事前学習モデルとの食い違いでエラー出てるっぽい
（enc_p.emo_quantizerやらがたぶんそれやな）
学習うまくいったかどうかぜひ報告してくれ

2023/12/11(月) 10:47:20.76

VITS2のアクセント予測の精度が高いとは思えないな　ところどころ間違ってる
学習を増やしてもどうせそれは直らない　結局ゴミじゃないか

2023/12/11(月) 11:24:21.80

アクセント取り出す部分はpyopenjtalk依存だからVITS2は悪くないはずやで
一応仕組み上はアクセント手動で修正できるはずなんやけど、前実験したら微妙だったから、うまくできるかは分からん

2023/12/11(月) 11:50:32.80

亡くなっている要人であれば問題は起きにくいのかもしれないが
過去の発言などと捏造してアップするような行為はまずいし
平常時も声の権利ってどう判断されるのかよく分からんな……まだ判例なさそうだし

2023/12/11(月) 14:58:00.02

>>81
そんなもんとは言ったけど
ソフトとハード突き詰めていけば
ほぼリアルタイムで十分な品質は夢じゃないぞ
OSがUbuntuのPCでMMVCServerSIO.py を実行した方が良いと思う
WindowsとLinuxベースの違いが少なからず遅延に影響してるはず

2023/12/11(月) 18:50:15.57

>>88
帰ってきたので、推論を試しました。
つくよみちゃんのデータ100件をもとに作成。G1000,G4000で聴き比べしましたが、G1000でも十分そのまんまの声になりました。
しかしながら、Emotionの値は0-9のどれにしても話し方が変わったようには思えませんでした。よって感情にかかわる学習はできていないように思います。
また、Languageは日本語に設定し、日本語の文章を読ませることはできますが、少しでも英語が入った文章、たとえば、（目的地までLet's go）などは、英語の部分を話さず飛ばして発話されます。
そこでLanguageをMIXにすれば英語も話してくれるかなと思いましたが、エラー（Error: No valid speaker format detected. Please check your input.）となり、音声を生成することができません。
Languageをautoにすると、英語部分も話すようになりますが、日本人がでLet's goというときのレッツゴーという発音ではなく、英語話者のでLet's goの発音になるので、違和感しかないですし、日本語部分も少し下手になるので、autoはダメだなと感じました。

2023/12/11(月) 19:15:18.60

英語の部分は全部カタカナにしてあげると、日本の発音で英語をよむね。
簡単に解決した。でもiphoneとかusbとかも発音してくれないから、アイフォン、ユーエスビーと書いてあげる必要がある。

2023/12/11(月) 19:22:49.95

いやマジでなんかTTSのスレになってないかｗ
ボイチェンとしての需要あんまないんか・・・？

2023/12/11(月) 19:28:07.42

RADEON 使ってるんで動かないウゴゴなっってたがONNX対応最新のをいれてみたらCPUで出来るようになっってんのな
Ryzen 5950X 22スレッドだかで1 Epochあたり21-24分掛かって草
まぁ軽いゲームや動画視聴くらいなら並列でも問題なく動くから良いや

2023/12/11(月) 19:32:46.34

>>95
たまたまTTSの話題が続いてるだけでしょ
俺はボイチェン目的でずっとここ見てる

2023/12/11(月) 19:43:12.78

>>93
おつ
英語読んでくれない問題は人力で頑張ってアルファベットをカタカナに変換するのを噛ませたりしとる人はおった、カタカナで打つのがまあ手っ取り早いな。
Emotionは今はうまく機能してないっぽくて、次verの2.2でちゃんと動くようになるっぽい
（つくよみちゃんなら元の音声読み上げが感情が平坦やからアレやけど、データに感情があればちゃんと文章によって感情が変わるはず、うまく学習できてれば）

2023/12/11(月) 19:44:07.41

ボイチェンもRVC v3来ないし、とくに話すこともないよなーっていう感じになっているのは正直ある
低遅延を売りにしとったやつもまだ来ないし

2023/12/11(月) 19:52:26.88

https://uploader.cc/s/jpb8g8axxnfus0w9judpi4kwspqr674m7arzcoyvncpf235p18055q2ziussa141.mp4
前適当に作った、ChatGPTのAPI使ってBert-VITS2ちゃんと（RVCで）お話するやつ

2023/12/11(月) 20:30:04.62

>>91
まあいいじゃん、そういうの

2023/12/11(月) 22:53:07.89

LLVCの事やったらDistil-Whisperと同じでpruningしてるから英語のみ特化になるんやな
論文読み込んで実装してグラボいっぱい借りて日本語でモデル特化で回さんといかんからそんな酔狂な奴はおらんやろなぁ

2023/12/11(月) 23:16:56.25

https://twitter.com/tarepan_mhhow/status/1720661932351607192
LLVCは日本語でも動くっぽいけど話者性がちょい微妙みたいやで（やってないので知らんがサンプル音声はどっかに上げてた）
ワイが言ったやつはParakeetのことやな
https://twitter.com/thejimwatkins

2023/12/11(月) 23:18:59.17

何か変なアカウントくっついたが何やこれ
Parakeetのところのボイチェン
https://www.parakeet-inc.com/parakeet-vc
ウェイトリスト公開して2ヶ月くらい経つけど音沙汰なし

2023/12/11(月) 23:31:09.16

>>104
5chにTwitterのURL貼ると何故か自動で5ch管理人であるジムのTwitterも貼られる仕様

2023/12/12(火) 15:38:30.65

好きな声にいい感じの曲AIカバーさせてんほりたいけど中々うまく変換できん
ボーカルぶっこ抜けば比較的キレイに歌ってくれるオススメの曲ないか？

2023/12/12(火) 19:08:25.98

おすすめ曲というか、原曲じゃなくて上手い歌ってみたとかでやるのおすすめ
原曲だと、どうしてもハモリとかが邪魔できれいにならない

2023/12/13(水) 13:56:01.01

Bert-VITS2、ver 2.2が来たけど、まだ事前学習モデルが壊れてるっぽくて質が2.1より落ちるから注意な
もう少しは2.1で様子見といたほうが良さそう

2023/12/13(水) 15:53:40.36

↑なおったっぽい

2023/12/13(水) 16:48:44.14

他の場所は普通なのに高い音のときだけオク下で変換するのやめちくり～
まるでサビだけオク下になるワイみたいだあ…(直喩)　AIなんだから難なく全部歌って、どうぞ

2023/12/13(水) 17:04:02.90

F0推定失敗してんやろな
RVCでンゴるのってF0推定失敗のせいやろ？

2023/12/13(水) 18:53:05.40

Vitsなおるのはや

2023/12/13(水) 19:01:53.74

2.2学習試してみたけど、感情プロンプト正直全く効かん、しばらくは様子見で2.1でええかもしらん

2023/12/13(水) 19:58:54.14

2.0なんか2.1なのかわかってないけど2.1に出来る？

2023/12/14(木) 06:17:34.46

というか、思ったほどよくないよね。RVCと差があまり感じられないんだけど。

2023/12/14(木) 06:58:39.84

Bert-VITS2の話なら、TTSとボイチェンは単純には比較できない気が

2023/12/14(木) 15:49:44.59

VC Client専用にPCを用意しようと思うんだけど、グラボって変換までの遅延と値段のバランスを考えると以下のどれがいいのかな
メインPC
→　VCC専用機(NVIDIA Broadcast→VoiceMeeter Banana(VST)→VCC→VoiceMeeter Banana(VST)→メインPC)
というような構成を想定(できるかまでは未確認)
・RTX3060 12GB
・RTX4060ti 16GB
・RTX4070
・RTX4070ti

2023/12/14(木) 23:21:48.17

遅延気にするならまずvoicemeeterは無い
DSP内蔵でエフェクトかけてライン戻しミキシングのできるオーディオインターフェイス買え
具体的にはio44とかの内蔵エフェクトやゲートが有能
どうしてもVST使いたいならむしろUAD-2つかえるuniversal Audio Apollo

2023/12/14(木) 23:25:14.36

>>117
特定のキャラや声優の声真似したいってんじゃなければ
普通のボイチェン使ったほうがいいんじゃない・・・？

2023/12/14(木) 23:49:04.75

中古の3090がいいと思うよ

2023/12/15(金) 00:42:49.55

Bert-VITS2.1用やけどエポック毎に推論してwav出力するスクリプト置いとくで
(独自のローカルデータセットでエポック毎の比較したい人向け)
https://pastebin.com/1GTSZqi5

ぶっちゃけpythonもtorchもよく解ってないんでそこんとこ堪忍な

2023/12/15(金) 00:45:53.38

>>0118-0120
回答ありがとうございます。
すみません、質問の内容を変えます。
皆さんはどのような構成でVC Clientを使用していて、どのぐらい遅延が発生しているのでしょうか？

2023/12/15(金) 00:47:04.95

Blue Cat’s ConnectorでPC間やDAW間を音声に戻さずに低遅延でデーター転送できるで
https://www.dtmstation.com/archives/55390.html
生音声入れるとこはDSP付きオーディオインターフェイス入れたほうが絶対ええけど
VCC用専用グラボのメモリはAIさわるなら16G欲しいなあグラボ買うには時期悪いから年明けまで待ったほうがええけど

2023/12/15(金) 01:37:57.12

>>121
>>123
よくわかんねぇけどすげぇ・・・
何故このスレにエンジニアが集っているんだ

2023/12/15(金) 11:46:59.73

志村けんさんのデータを作りたいがいい素材がない

2023/12/15(金) 12:37:04.27

>>120
結局VRAMが一番重要になるAIだと最良の選択肢だよは
今年でもちょいちょい新品の3090が13万前後で売ってたのマジで惜しい
中古はマイニング酷使でオイルブリードのリスクが高いのが本当になあ

2023/12/15(金) 16:41:11.97

特定の声以外は周波数やら何やらを利用してミュートするという準備が必要なんじゃないか

2023/12/15(金) 17:42:53.99

>>122
io44使ってRTX3090&i9 12900単機でVRCしてXSplit配信しながらの重さでこんな感じ
https://i.imgur.com/P4WqHpQ.png
https://i.imgur.com/bISStTi.png

2023/12/15(金) 17:55:08.84

学習ならVRAM必要だろうけどボイチェン用途でもそんなに重要なんか？

2023/12/15(金) 17:57:43.96

>>128
早速ありがとうございます。
chunk16ってすごいですね…変換後音声がプツプツってならないのですか？

2023/12/15(金) 18:05:33.74

>>130
なんないで
この下に下げると急に始まる

2023/12/15(金) 20:18:43.84

ダイエットは限界だ
しかし
車の修理

2023/12/15(金) 20:23:17.15

これで普通はリバウンドするんだろうけど
どこの国の責任だろう

2023/12/15(金) 20:28:02.69

またスクリプトきたんでほどほど書き込みせんと落とされるで

2023/12/15(金) 20:28:35.92

>>125
これ
まあ現実的じゃなかろうよ。

2023/12/15(金) 20:29:09.10

200スレ超えると
最後に書き込まれたスレ順で下半分落とされます

2023/12/15(金) 20:29:11.31

>>12
なんでゴリ押しなの危機管理能力0で来年アイランド2なんてないパターンやろw

2023/12/15(金) 20:30:07.64

手動で書き込みして抵抗した所でどうしようもない
落ちたらまた建て直せばいい

2023/12/15(金) 20:31:38.01

>>131
グラボの暴力ってすごいですね。
とりあえずio44ポチったのでそれも含めて現環境で色々試してみます。

2023/12/15(金) 20:36:57.84

もし無かった場合どうなるか見物だな

2023/12/15(金) 20:39:41.14

ただものじゃないぞ
+1.66%

2023/12/15(金) 21:03:06.62

>>125
その人のモノマネする人がyoutubeに上げてるやん
激似やしいけんか？

2023/12/15(金) 23:36:20.41

スクリプト荒らしなんなん？暇？糖質？

2023/12/15(金) 23:46:17.56

VC Client、少し前のアプデでchunk下げても変にはならんくなったけど、やっぱ滑舌や発音はかなりびみょくなる印象（Beatriceは知らん）
ずっと前の癖でいつも128くらいでやっとるな

2023/12/16(土) 00:20:04.24

VC Client1.5.3.17bに更新してchunk下げてみたら24が限界だったわ
この時CPU負荷(3700X)がフルコア全スレッドで90%越えてる
CUDA負荷(4070ti)は50%以下やからVC ClientはCPUも重要なんやな

2023/12/16(土) 00:22:12.67

indexが大きめだとCPU負荷が余計かかるという仕様もある、WSL使うとそれはなくなるらしい

2023/12/16(土) 03:16:49.97

>>145-146
indexの処理に使用しているfaissとかいうライブラリがwindowsだとうまく動かなくてCPU使用率が上がるとかなんとか。