【ボイスチェンジャー】なんJRVC部 5

2023/12/05(火) 17:00:39.54

Retrieval-based-Voice-Conversion──RVCについての情報交換とかのスレ
*これを使えばおっさんが誰でも自然な女性ボイスを出せるようになるわけではありません。
このソフトは特定のキャラや人物の声を出せるようになるためのソフトです
このソフトにしろ既存のボイスチェンジャーにしろ同様ですが、女性ボイスを出すためにはまずボイストレーニングが必要です。

wiki
https://seesaawiki.jp/rvc_ch/

※前スレ
なんJRVC部 4
https://fate.5ch.net/test/read.cgi/liveuranus/1699700267/

2024/01/05(金) 00:24:01.70

>>337
分かったで👌😊

2024/01/05(金) 00:30:39.14

>>337
サンガツ　動いたわ🤗
何回か３個セットダウンし直したんやが何か間違ってたんやろな
手間かけさせてすまんやで😞

2024/01/05(金) 03:52:05.74

>>336
なるほど～
まあ考えてみれば喘ぎ声や吐息って感情表現や抑揚だけじゃないもんな
喘ぎ声や吐息を構成する要素をマージするにはその構成キーを探し出してnsfwマージ専用のコマンドにしなきゃならんのかもな…

2024/01/05(金) 20:31:10.48

(Style-)Bert-VITS2の日本語から音素記号に変換するところに重大なバグがあったのに気づいて修正したから報告や
細かいことは置いておいて、今までは「車両を見つける」という文が、学習でも音声合成でも、本来は「シャリョオオ　ミツケル」なのが、「シャリ「ヨ」オオ　ミ「ッ」ケル」になっとったんや
そのせいでアクセントの学習もぶっ壊れるところがあったっぽい。
https://github.com/litagin02/Style-Bert-VITS2/blob/master/text/japanese.py
本家の人でもStyleの方でもダウンロードしてtext/japanese.pyに置き換えればそこが修正されるはずや（StyleならUpdate.batでもたぶんいける）。
ちょっと試したけどアクセント等が自然になった気がする（少なくとも悪くはならん）。
（また全部学習し直しや……）

2024/01/05(金) 20:38:57.41

マジかー
まあデータセット全部貯めとるから回し直すだけやけども

2024/01/05(金) 20:44:34.72

おｋー

2024/01/05(金) 22:03:59.47

>>341
学習中に残り時間とか表示してほしくて進捗をエポックごとじゃなくて全体を表示するように改造して使ってるんやがdevブランチにPRしてええかな？
それと書き起こしに「ヴ」があるとエラー出たから報告や

2024/01/05(金) 22:29:20.39

>>344
気軽に送ってくれてええで、ただ自分は目標エポックでかめにして途中で中断して選定するタイプやから、マージするかはちょっと分からん
ヴ問題はさっき気づいてアプデしたで

2024/01/05(金) 22:39:35.64

>>345
修正サンガツ
また何時間も学習回さなあかんな…

2024/01/05(金) 23:06:56.62

Style-Bert-VITS2なのですが Install-Style-Bert-VITS2-CPU.batで色々とセットアップとダウンロード後に
zipfile.ZipFile.__init__(self, filename)
File "zipfile.py", line 1269, in __init__
File "zipfile.py", line 1336, in _RealGetContents
zipfile.BadZipFile: File is not a zip file
Press any key to continue . . .
みたいな感じでエラーが出て起動せず困っております…
あまりにも初心者すぎて申し訳ないのですがいったい何が原因でしょうか

2024/01/05(金) 23:22:06.11

>>341
なんか中国人が話す日本語みたいとか言われてたのはバグのせいか？
画像生成AIでもtextencoderが壊れてるとかあったけど
このバグは根本的にやり直しになるのか・・・ヒェ

2024/01/05(金) 23:28:13.39

一応やけど、学習をし直さなくても一応アプデしても前のモデルは使えるは使えて、それだけでも少しは改善される可能性はあるで。
（特に「車両を見つける」とかはアプデ前はめっちゃ「みっける」って発音してたのが直ったりする）

2024/01/06(土) 01:00:38.74

>>348
韓国系の男性アイドルとかモンゴル人力士みたいな上手いけどなんか違和感ある日本語かな？そもそもそれ自体どうしてそうなるのかよく分かんないんだよね

2024/01/06(土) 05:10:33.74

どうしてもなにも、画像生成で指が増えたり減ったりするようなもんやろ
文章から感情や文脈を判断して自然な文章を読み上げるなんて少し前なら考えられんほどのオーバーテクノロジーやし、ポン出しでネイティブにも全く違和感のないものが出ると期待するのは無理がある
細かな違和感は今のところ手動調整していくしかないやろな

2024/01/06(土) 08:41:17.54

ポン出しで出たのを上に出てたVolcalShifterで微修正とかいう感覚やろか
出てきたものを微調整するのが今はちょっと音は敷居が高い感じはあるから、やっぱそこどうにかしたいな

2024/01/06(土) 10:42:15.55

>>352
自分は違和感ある単語を置き換えたり句読点を挟んだりしてイントネーション調節してるな
コツを掴めば5分の小説朗読なら30分くらい調教すればほぼ違和感なくなる
どうしても言わせたい単語をどうしても違和感なく言ってくれなかったときは困ったけど…

2024/01/06(土) 12:32:40.92

漢字を置き換る
前後を感情語（嬉しい！　びっくり！など）で挟む
改行する

とかで欲しいアクセントや情感探しとるな自分は　雑感では
一発で欲しいセリフが出る　２０～３０％
テキスト微調整の繰り返しででる　６０％　ってとこやろか
残りはどうしても出んからコマ切れに出力して切り貼りとかしてたが
今後は鉛筆カキカキやな
手間やが現状すでに棒読みのAV嬢よりずっとそそられると思うわ

2024/01/07(日) 00:37:57.48

Bert-VITS2の音素変換って総当たりの置き換えでやってるのね
中華系のVITSはpyopenjtalk使ってるイメージだったんだがpyopenjtalkそのまま使ってない理由とかあるんだろうか

2024/01/07(日) 01:07:07.32

Bert-VITS2は読み取得のところでpyopenjtalk使っとるで、総当たりしとるのはpyopenjtalkで読みを取得してからのところやな
そのまま使っとらん理由は、ちょうどいま自分が突き当たっとる問題なんやけど、pyopenjtalkまんまだと「!」とか三点リーダーが消えたり「。」と「、」の区別がつかなかったりで、
だから（学習データの関係上）記号は記号のままで使いたい、という理由やと思う（既存TTSやと「！」で強調とか効かんから利点はあるな）。
やけど、そこが原因で、昨日の修正でもまだアクセントがおかしくなる場合があることに気づいたから、それをどうにかしようと修正中や……

2024/01/07(日) 02:39:41.50

わぁい！わぁい！わぁい！わぁーい！とか同じ文章を読ませると
モデルによっては変な揺らぎでまともに発音しないな

2024/01/07(日) 04:41:32.29

もうほんとアクセント以外はほぼ完璧な気がするな～

ある意味恐怖

2024/01/07(日) 12:58:41.27

>>356
あぁなるほど記号か
pyopenjtalk使ってるのはpipに入ってるから知ってたけど全部それでやってると思ってたんや
わざわざサンガツ

2024/01/07(日) 14:26:45.17

>>341
ちょっと書いたけど、そもそもBert-VITS2のアクセントの取得法がミスってて、この修正でもアクセントがおかしいまま学習・推論されるバグがあったから、
とりあえず修正した（はずの）やつを置いとくで、何度もすまん（「私はそれがいい」→「ワ↑タシ↓ワ　ソ↑レ↓ガ　イ↓イ」だったのを「ワ↑タシハ　ソ↑レガ　イ↓イ」に修正）、
https://github.com/litagin02/Style-Bert-VITS2/blob/fix-g2p-again/text/japanese.py
改善はたぶんアクセントだけやから、正直どこまで効果があるかは分からんしまだこれを本流にするかは決めとらん、なかなか評価もしにくい
（あとアルファベットが学習時・推論時に無視されるのも直した）

2024/01/07(日) 16:18:17.33

Install-Style-Bert-VITS2-CPU.bat を使わせて頂きました

languageが[EN][ZH]の時は[音声合成]ボタンで音声を生成してくれるのですが
日本語[JP]だとエラーがでてしまいます
プロンプト？には↓のように表示されます。何か考えられる解決方法はありますのでしょうか。

File "C:Style-Bert-VITS2\Style-Bert-VITS2\venv\lib\site-packages\pyopenjtalk\__init__.py", line 209, in run_frontend
_global_jtalk = OpenJTalk(dn_mecab=OPEN_JTALK_DICT_DIR)
File "pyopenjtalk\openjtalk.pyx", line 142, in pyopenjtalk.openjtalk.OpenJTalk.__cinit__
RuntimeError: Failed to initalize Mecab

2024/01/07(日) 16:19:48.00

当初の修正でヤバげな発音が大体直って
後はアクセントが多少おかしいのがアレぐらいに思っとったんやけど
つまりこれでワイにとっては完全版になるんか
日本語の解釈処理だけでここまで変わるってことは根本はとんでもない代物なんやな
また回し直してみるわ

2024/01/07(日) 22:34:03.11

普段お絵描きAIばっか使ってるけど
音声AIが面白いことになってるらしいと聞いて遊びに来たで
文章のみから勝手に感情まで付けて読み上げてくれるってすごいなぁ
ずんだもん喋らせて喜んでたくらいの自分からするとタイムマシンに乗せられたような気分や

Style-Bert-VITS2使わせてもろとるけど導入もめちゃ簡単で感謝やで

2024/01/08(月) 10:51:10.77

すげー！ちょっと入れてみよ

2024/01/08(月) 12:31:53.47

マルチ投稿っぽくてスマンがStyle-Bert-VITS2を使うアプリを作ってみたんで紹介しとくで

https://twitter.com/Zuntan03/status/1744195658029117523
https://twitter.com/thejimwatkins

2024/01/08(月) 13:36:39.72

Style-Bert-VITS2は学習も簡単にできるのがいいな
分割とか文字起こしも内蔵してるから適当な音声ファイルぶっこんでやれば学習できる
あとモデルのマージも出来るんで適当な２キャラで学習したあとにマージすれば適度に学習本を特定されにくいレベルになる
ただ感情のスタイル指定がなかなかうまくいかないな

2024/01/08(月) 14:22:34.67

>>365
いやなんだこれすげぇなｗ
ボイチェンやらTTSと全く別の方向性で進化してるやん

2024/01/08(月) 15:58:23.67

Style-Bert-VITS2を使わせてもらってるんですけどスタイルの指定方法の音声ファイルを入力の方がエラーが出て使えないんですけど使うにあたっての条件等があるのでしょうか？

2024/01/08(月) 16:24:34.37

>>368
すまんバグや、あんま音声ファイル使わんから気づかんかった
たぶん修正したはずなのでアプデして試してみてくれ

2024/01/08(月) 17:32:08.79

Style-Bert-VITS2試しに学習しようとしたらエラーおきたからデータが悪いのかと思いデータセット作成ツールから文字起こし選択するもこっちもエラー
もう分からん…

2024/01/08(月) 17:33:38.30

>>370
どんなエラーや？

2024/01/08(月) 18:03:06.02

Style-Bert-VITS2もテキストいるのか……

2024/01/08(月) 18:07:03.42

？
そりゃテキストを音声に変換するAIだし当然だろ
ボイチェンならrvc

2024/01/08(月) 18:57:06.81

Elevenlabsはテキスト必要ない

2024/01/08(月) 19:11:13.79

>>371
今グラボ1070使ってるんだけどfloat16ってやつがサポートされてないっぽいから？
まったくわからんすまん

2024/01/08(月) 19:16:43.42

インストールファイルをダブクリしたら黒い窓がててきて途中で止まるわ

2024/01/08(月) 19:20:47.88

>>374
へぇー
じゃあ、こんにちはみなさん
とかって喋らせたい時はどうやって入力すんの？

2024/01/08(月) 19:30:38.80

>>375
学習時の前処理のところで「bfloat16を使う」を外してみたらどうや？

2024/01/08(月) 19:32:35.54

>>377
有料だけど音声アップロードするだけで喋ってくれる
発音は結構怪しいけれども
https://elevenlabs.io/

2024/01/08(月) 19:45:36.70

Bert-VITS2は声音だけじゃなく喋り方の癖やら感情表現も学習してくれるのが売りやからな、音声少し与えて喋らせるだけのゼロショットとはちょっと方向性が違う気がするで
（ゼロショット方面やと最近はBert-VITS2開発陣ががんばって作っとるFish Speechとかいうやつがあるからそっち期待やな）

2024/01/08(月) 19:55:05.99

テキストが要らないって結局良くわからん
学習のときに音声のテキスト起こしが要らないということ？
それはstyleの機能の一つで自動でできるぞ

2024/01/08(月) 19:57:16.65

あ、そうなの
colabでもできる？

2024/01/08(月) 19:58:52.94

>>379
ほえー
音声入力もできるんだね

2024/01/08(月) 20:04:28.19

>>378
完全に見落としてました…
チェック外して再度行ったところ今度はValueError: need at least one array to concatenateというものに変わったのですがこれも分からないです

2024/01/08(月) 20:08:29.36

>>382
使ったことないけどできるんじゃないの
ここのデータセット作りってやつね
https://github.com/litagin02/Style-Bert-VITS2/

2024/01/08(月) 20:21:51.25

colabでも無理やりデータセットづくりは使えるは使えるけど公式で出しとるやつには乗っ取らんな
（次verで乗っける予定や）

>>384
どのステップの段階でそのエラーが出てる？

2024/01/08(月) 20:46:53.48

どのライブラリなのか分からないけどStyle-Bert-VITS2の文字起こし精度高いよね
喘ぎ声混じりのエロゲ濡れ場シーンでもかなり正確

2024/01/08(月) 21:18:15.45

>>387
OpenAIが作ったWhisperってやつやで
この文字起こし認識失敗すると大体「ご視聴ありがとうございました」になるのが不思議や

**361** · 2024/01/08(月) 22:24:29.67

自己解決。cドライブ直下でインスコし直しで解決しました。わーい

2024/01/08(月) 22:39:05.92

>>388
なんどか名前だけ聞いたことあるけどWhisperだったのか
確かに「ご視聴ありがとうございました。高評価とチャンネル登録をお願いいたします」って出てるの時々あるな
つべの動画から学習してるんだろうか？

2024/01/08(月) 23:14:52.80

>>369
アップデートしたところ使える様になりました
ありがとうございます

2024/01/09(火) 00:07:37.49

Whisperはネット動画の音声と字幕から学習しとるんやけど
この字幕データがまあまあ正確に付いとる動画であっても
動画の最後にそれを破って話してもいない「ご視聴ありがとうございましたチャンネル登録高評価よろしくお願いします」が入ってたりすることが多いんや
BGMやらガヤしか入っとらん状況でいきなりそうなるもんやから、同じようによく分からん音声を食わされるとそう誘導される訳や

2024/01/09(火) 00:27:04.69

>>386
一番初めの段階ですね、変換に入る前です
ディスコの投稿遡って調べても同じ症状の人いなさそうだからおま環なのかな

2024/01/09(火) 00:30:34.79

>>393
変換とは？前処理は成功してる？

2024/01/09(火) 01:03:01.44

>>394
間違えた変換じゃなくて学習ですね、学習を開始のボタン押してすぐエラーがでます
前処理は成功してます

2024/01/09(火) 01:06:57.52

>>395
スタイルベクトル作る所で失敗しとる気配がする、エラーの前後がコマンドプロンプトでどうなっとるか教えてほしい
（あとwavsフォルダにwavファイルに対応したnpyって拡張子のファイルたちがあるかどうかも）

2024/01/09(火) 01:27:40.41

>>396
コマンドプロンプトがこれです
npyの拡張子は見当たらないです
https://i.imgur.com/2pXBvSc.png

2024/01/09(火) 01:36:19.79

>>397
やっぱり前処理段階で失敗しとるな、前処理の所でwavファイルに対応するnpyファイルとbert.ptファイルが生成されるはず
前処理で何か警告とかエラーとか出てない？

2024/01/09(火) 01:51:56.44

>>398
いつもはmanaって名前のフォルダなんですけど今回testって名前のフォルダにして前処理したらnpyが作られました…謎すぎる…グラボのアプデしたからかな？
それで今学習回してるところですこんな時間までお付き合い頂いてありがとうございました
https://i.imgur.com/D0dT0T2.png
https://i.imgur.com/mlsKhjB.png

2024/01/09(火) 02:12:51.83

>>398
音声合成までいけた！本当にありがとうございました！
しかしこれいいなRVCも凄かったけど自分で音声読み上げしなくていいのが特に楽で

2024/01/09(火) 09:04:13.24

>>399
横からだけど、自分もmanaって名前で作ったモデルあるけどちゃんと生成までいったから名前は関係ないと思う
ただこっちもちょっと失敗しちゃってesd.listに文法ミス（たぶん|の数の不一致）があったみたいなんだけど、そのままesd.listが文法おかしかった
所の手前までで破損しちゃった……

2024/01/09(火) 18:49:53.09

https://github.com/litagin02/Style-Bert-VITS2/releases/tag/1.3
Style-Bert-VITS2のバージョン上げたで。日本語処理部分のバグを直したり、アクセント調整機能つけたり（万能ではない）、colabに学習データセット作るやつもつけたりいろいろ。

2024/01/09(火) 18:54:36.24

>>402
サンガツ！！！

2024/01/09(火) 19:04:20.91

colabで開くリンクつけて～

2024/01/09(火) 19:08:35.99

>>404
あれREADMEにはつけとるはずやで

2024/01/09(火) 19:21:07.70

見たらついてたわすまんな

2024/01/09(火) 20:09:34.99

>>402
おー、アクセント調整ほしかったやつだありがとう
ちょっとの調整でかなり自然に話してくれるようになった

2024/01/09(火) 20:53:50.45

>>402
アクセント調整凄くイイ！🤩
ここまでくるとマウスで０と１切り替えられるようになるよう
図々しくリクエストしちゃうやで！！

2024/01/09(火) 20:59:44.90

読めない漢字があると事前学習止まるって見て結構たくさん修正いるかなとおもったけど
人物名とかの難読を除けば「ヶ」と「乃」くらいで殆ど修正しないで済んだ

2024/01/09(火) 21:06:02.79

分割もしてくれるのね、ありがたい

2024/01/09(火) 21:11:25.32

>>408
それはやりたいんやけど、今使っとるGradioっちゅう簡易的なGUIツールじゃ難しそうなんや……
そのうちすごい人が別のツールを作ってくれるの待ちやな

2024/01/09(火) 21:17:48.23

javascriptで拾ってもフォーム部品単位だろうしなあ

2024/01/09(火) 21:25:44.09

moegoeみたいにC#でフロントエンド作るのも良いかもしれん

2024/01/09(火) 21:33:55.18

https://i.imgur.com/xs4ppuN.png
こんな感じでエラー吐いて起動しないんじゃけど何かおかしいんじゃろうか
キャッシュ削除とか再インストールとか色々やってみたんだけど駄目だったので知恵をお借りしたい

2024/01/09(火) 21:34:01.45

RVCのほうで、事前学習モデルをこれに置き換えるとよいかもという噂があるらしい（AI HUBの人たちが事前学習モデルを改良したらしい？）
https://huggingface.co/ORVC/Ov2Super/tree/main

2024/01/09(火) 21:36:37.83

>>414
インストールは終わっとるみたいやから、そのままApp.batダブルクリックで開かんかな？
何か下の方にエラーが隠れとるからそれが出るかも知らんが。

2024/01/09(火) 21:55:25.99

>>416
ダメでした…
app.batとMerge.batは同様のエラーで起動せず
Style.batは一応起動しました

2024/01/09(火) 22:17:08.50

>>417
その同様のエラーってのを教えてほしい
画像の下の方にもっとエラー内容が書かれとらん？

2024/01/09(火) 22:23:21.93

>>418
https://i.imgur.com/HoxzKaY.png
続きはこんな感じでした

2024/01/09(火) 22:34:21.03

>>419
分からんな……
何かライブラリがダウンロードしてきたっぽいzipファイルが壊れてるっぽいエラーやから、もう一回全部消してやり直してみるくらいしかアドバイスできん、すまん

2024/01/09(火) 22:42:02.46

import中にモジュールがzipダウンロードするのが失敗してるとかかな？
ファイアウォールが通信をブロックしてないかとか、proxy経由する必要があるとか、そんな感じ？

2024/01/10(水) 00:47:08.20

>>419
BadZipFile…

2024/01/10(水) 08:54:42.55

やってみたけどすげえー
https://files.catbox.moe/bc6oj6.wav

2024/01/10(水) 11:47:36.46

Style-Bert-VITS2の1.3はスタイルの設定もかなり良くなってるね
いままであまり区別出来てなかった通常の会話とエロ声がちゃんと分別できるようになった

2024/01/10(水) 12:06:44.11

colabでは生成できないの

2024/01/10(水) 12:25:51.53

音声合成WebUI立ち上げるやつは一応一番下に載せとるはずやで

2024/01/10(水) 13:26:04.81

「ずんだもん読み上げに感情を与える」ページを見ながらマージに挑戦中なんだけど、教えていただきたいことが…
「デフォルトのjvnv-F1」と「デフォルトのjvnv-F2」のマージはmodel_assetsフォルダを弄ることなくMerge.batから成功
しかし「Zuntanさんの10kステップ(v2.1とv2.3両方DL)」とのマージのやり方がわからない（自分なりにやったらモデルファイルのマージボタンでError吐いた）

まず基本的なフォルダ構造からわからんです
「mergeフォルダを作って～」というのはmodel_assetsフォルダ内に作るって事なんだろうか？
「そこに2つのモデルを入れて」というのはどこのフォルダの何を入れるんでしょう？
「片方のモデルのconfig.jsonも入れて」というのはmergeフォルダ直下に放り込むんでしょうか？
わからん　もう・・・なにもかもが・・・

2024/01/10(水) 13:33:49.75

>>427
その記事はBert-VITS2本家のやつやからStyle-Bert-VITS2の情報とは違うで（mergeフォルダを作ってconfig.json入れてとかそこらへんは本家でsimple_merge.pyを使う場合の話や）
Style-Bert-VITS2ならMerge.batからやるだけや、デフォルトのjvnvモデルのマージに成功してるんならそのやりかたでええで。
あとたぶんZuntanさんの10kステップのやつはBert-VITS2本家のやつやからStyle-Bert-VITS2では使えんで

2024/01/10(水) 13:44:46.41

あー、本家情報と分家情報の段階からの勘違いだったかー、これは酷い
お手数おかけしました

2024/01/10(水) 13:46:12.73

たしかに紛らわしいなｗ

2024/01/10(水) 13:55:40.12

Dataフォルダ内の自動削除もつけてほしいなー

2024/01/10(水) 14:45:44.67

Dataは残したままの方が良くない？
Inputの方は移動後は消しちゃって良さそうな気がするけど

2024/01/10(水) 14:47:47.95

ドライブの容量食う

2024/01/10(水) 15:02:25.55

追加で学習したりスタイル分けを作ったりに後からも必要やから自動削除機能は付ける予定はないで
colabでGoogle driveやったら自分でもういらんやつは消してくれ

2024/01/10(水) 15:17:49.23

スタイルってどこで保存できるの

2024/01/10(水) 15:45:19.70

説明書読んどらんのがよく分かるな

2024/01/10(水) 15:52:38.60

python webui_style_vectors.pyが起動できない