なんJLLM部

2023/03/16(木) 10:34:10.55

!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
はい

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2023/05/22(月) 09:07:33.86

>>752
んーWebUI使ってへんねんけどなあ
sft版に学習させたからアカンのかな

2023/05/22(月) 09:29:04.54

ワイ赤ちゃん
画像側もワイの中で少し落ち着いたからこっちも手出してみたいんやがまずこれやってみるんや、みたいなんあったら教えてほしいんやが
すまんな

2023/05/22(月) 09:35:32.80

画像生成やっとったならPythonはもう入っているやろから
>>703落として書いてある通りに進めればええんちゃう？

モデルも勝手にダウンロードされるし

2023/05/22(月) 09:39:44.06

>>753
とりあえずwebuiからSeikaSay２叩いての再生には成功したけど、無限ループになってしまうけん。
とりあえず暫定メモ。

2023/05/22(月) 09:40:05.42

>>760
[ 使用した拡張 ]
janvarev/multi_translate
https://github.com/janvarev/multi_translate

[ 暫定実装手順 ]
※再生が止まらない模様。
　直すアイディア募集中！

以下追記箇所
./extensions/multi_translate/script.py

import subprocess

#"def output_modifier(string):"の下、"return res"の真上に以下の行を追加

"subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=res))"

2023/05/22(月) 09:40:36.73

>>761
google_translateものぞいてみたけど中身スカスカでようわからんかった。
以下該当箇所

./extensions/google_translate/script.py
def output_modifier(string):
"""
This function is applied to the model outputs.
"""

return GoogleTranslator(source='en', target=params['language string']).translate(string)

2023/05/22(月) 09:42:00.26

>>756
わかりやすい手順サンガツ！
試してみてみるで

2023/05/22(月) 09:45:54.42

>>758
もし良かったらrinna_dialogを触ってみてくれると嬉しいで
説明に分かりづらいところがあったら頑張って直すで🥺✨

https://github.com/AlgosErgo/rinna_dialog

2023/05/22(月) 10:04:08.18

やっぱりoutput_modifierの呼び出し元見つけなアカンかな
できれば拡張だけの範囲で済ませたいんやが……

2023/05/22(月) 10:04:39.32

すまん、ほとんどAIについて調べてばっかで学習とかはほとんどできてないんやが、rinna3.6bを学習させてみたいんやけどneoxってのはどういう意味や？学習方法が特殊なんか？あと学習用のデータはどんな書き方がええんや？

2023/05/22(月) 10:07:13.90

UI周りばっかり触っとるせいでワイも学習方面まだなんもわらかん……😭

2023/05/22(月) 10:10:08.33

このスレで学習について言える可能性あるのは>>752ニキだけやで

2023/05/22(月) 10:55:17.46

>>764
初めて導入に成功したわ、ありがとナス
dialog.pyを書き換えたらモデルの保存場所とか変更できるよね？
モデル変えたらりんな以外も使えるかな？
りんな自体は会話ボットの域を出ない感じだな

webuiのoobaboogaは機能はともかく要求環境が複雑すぎて心折れた
AUTOMATIC1111目指してるみたいだけど初期ハードル下がらないと無理だろ

2023/05/22(月) 11:01:38.64

デフォりんなの扱い方は>>506も参考やで
音声出させるとそれなりにはかどるで

2023/05/22(月) 11:04:44.42

>>769
サンガツ！
保存先の変更はもうちょっと待ってクレメンス🥺💦
フルパス指定の問題はまだ放置したままなんや……

それとモデルの変更はモデル名を書き換えればワンチャンあるけど、動かすにはモデルごとに<NL>タグの置換とかの変更が必要やと思うで

りんなを賢くするにはLLMのLoRAに自信ニキをどこからから拉致ってこないとあかんね……

2023/05/22(月) 11:10:13.16

>>770
今のりんなをそこまで調教できるのはニキのセンスがなせる技やな
ワイはボイロとごっこ遊びくらいしかできンゴ

2023/05/22(月) 11:14:54.71

peftもloraもほとんど触れてないのにどんどんtodoが追加されていくで🥴
とりあえず今はwebuiからSeikaSayを上手く動かす事を解決せなあかんか……

2023/05/22(月) 11:15:59.15

>>752
おおーぜひ手順公開してほしい！

2023/05/22(月) 11:19:08.25

>>752
ワイからもオナシャス！

2023/05/22(月) 11:29:11.22

帰ったら弄るやつ
https://huggingface.co/jondurbin/airoboros-13b

2023/05/22(月) 12:04:53.41

>>764
サンガツ、対話型起動したわ
ちょっと会話進めたらりんなちゃんが延々と「はい」っていってくださいBot化したけどなｗ

2023/05/22(月) 13:13:14.94

>>766
neoxはモデル名やで、GPT系とはちょっと構造が違うんや
学習用データは海外ではchatGPTから作った会話形式のデータを食わせるのがブームや

>>774
>>775
今Lora学習やり直してて、いい感じなら公開しようと思っとる
環境公開とかはgithub使わんとあかんのかな、使ったことないんや🥺

2023/05/22(月) 13:16:37.53

noteとかで公開しとる人も多いし、別にどっかのうｐろだでもええやろし
何でもええんちゃうかな

2023/05/22(月) 13:21:03.76

>>778
はえーサンガツ
rinnaでもrlhfってできるんかな？
trlとpeftで容量少なくしつつできるみたいな記事見たんやけど

2023/05/22(月) 13:50:55.91

>>762
　google_translateの方に"subprocess.run("SeikaSay2.exe 略)"を追記したら、文章が確定された時には読み上げの再生が止まったけど

　ただ、やっぱりまだ生成中は文章が変わるごとに頻繁に再生されるのがアカンね

　あとは関数output_modiferの呼び出し元さえ分かれば、引数を追加して、文章が確定された場合にのみ再生するってできるんやが、フォルダひっくり返してもそれっぽいのが見つからンゴ……

2023/05/22(月) 13:55:32.02

>>777
使ってくれてサンガツ！
dialog.pyの設定項目にある会話履歴を書き換えて、あとは上手いこと誘導していくと、>>506ニキみたいに面白い会話も出来るみたいやで

2023/05/22(月) 13:59:46.83

>>778
やったぜ！めちゃ有難いで！
ワイもgithub初めて使ったけど、releaseでのバージョン管理と、readmeと、cloneだけでも凄く便利やと思ったで🥺✨

でもワイは正直gitコマンドもようわかっとらんレベルやから多分もっと上手い使い方とかあると思う😇

2023/05/22(月) 15:48:03.88

>>778
最近このスレのLlama13Bを6GBで動かすっての見てからいじりだしたけど、とにかく情報少ないからありがたい

2023/05/22(月) 15:50:11.89

当面LoRAについては>>778ニキのワンマンチームでやっていくしかないわ

ってかネットにかなりおるはずの日本語LLM研究者とか学生とか企業の人とか
rinnaの学習の情報ぜーんぜんあげてくれへん・・・
とりあえずGinZAっていう形態素解析のライブラリが面白かったからしばらく
そっちをいじることにしたわ

2023/05/22(月) 15:56:58.61

東工大や富士通が和製生成AI　「富岳」使い23年度中に
https://www.nikkei.com/article/DGXZQOUC223IT0S3A520C2000000/

東京工業大学や富士通などは22日、スーパーコンピューター「富岳」を使って2023年度中に高度な生成人工知能（AI）を開発すると発表した。
日本語を中心とした基盤技術を構築し、24年度から国内企業などに無償で提供する。米オープンAIの「Chat（チャット）GPT」などが世界で注目を集める中、日本の産学が連携して自前技術で対抗する。

開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模言語モデルを独自に開発する。AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使う。

2023/05/22(月) 16:24:33.80

正直知識量についてじゃなくてやりとりの理解度・精度なのよなあ

2023/05/22(月) 16:27:43.86

求められているのは自然な会話よな
情報はネットに繋ぐプラグインでもできればええし

2023/05/22(月) 16:57:26.26

>>781
【解決】
webuiからSaykaSay2.pyを叩いて音声合成ソフトにしゃべらせる方法について

.\text-generation-webui\modules\chat.py
186行目: def chatbot_wrapper(略):関数内
243行目: visible_reply = apply_extensions("output", visible_reply)でoutput_modifierを呼び出し
https://imgur.com/hoittju.png

追記箇所
275行目 : subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=visible_reply))
https://imgur.com/4yFMmnn.jpg

2023/05/22(月) 16:57:33.73

>>789
実際に読み上げさせたときの動画

before
https://imgur.com/KDe1kxR.mp4

after
https://imgur.com/MrGXEQR.mp4

2023/05/22(月) 17:03:03.85

結局extensionsからハミ出さざるを得なかった😭
ハミ出しちまったものはしょうがないのでここから新しくUI作ってwebuiから話者指定出来るようにしたら公開しようと思う

2023/05/22(月) 17:43:44.76

そこそこの理解度でタメ口や敬語を混ぜながら自然な会話をするAIと聞くとノルネが恋しくなるで……

2023/05/22(月) 22:47:37.03

Loraで学習ってさせたら例えばローリング・ストーンズの歴史とか曲名やらなんやら突っ込んだら、ストーンズ専門のLLMができるの？🥺

2023/05/23(火) 01:13:01.89

>>779
>>783
サンガツ、学習環境を上げてみたで
https://mega.nz/folder/hrs1QJLS#9rpOXXytn2tjUqzapT7_PQ

>>780
できるらしいけどRLHFは情報無さすぎてワイもわからん😭

2023/05/23(火) 01:14:07.77

光速で保存
今日はもう寝ちゃうけど起きたらまたやってみよう

2023/05/23(火) 04:32:11.79

>>794
もろたで！
readmeまでつけてくれてほんま感謝や愛してるニキ🤗

2023/05/23(火) 04:45:49.80

新しく拡張を追加しようと試みとるけど、
正規の呼出し手続きに則るなら、"/modules
/chat.py"だけやなく"/modules/extensions.py"の'apply_extensions'とMAPも書き換えないと"/extensions/拡張名/script.py"に手出し出来ないことに気付いたで🥺

呼出し元を2つも書き換えないと使えない拡張ってそれもう拡張やないやんけっ！😭

完全に誰得やけどここまできたら完成させてさっさと>>794ニキのLoRAで遊ぶで😇

2023/05/23(火) 15:11:47.53

extensionsイジってる内にまたvicunaが読みまなくなったので一旦放置😭
https://i.imgur.com/WaITCRk.png

2023/05/23(火) 15:12:02.81

さっそく>>794ニキのfinetune.py動かしてみたけどデコードエラーが出るンゴね……
cp932やからディレクトリのパスの書き方でワンチャンあるかと思ったけどアカン
cloneした方やとデコードエラー起こらなかったからとりあえずまた時間かけて1行ずつ読み直してくるで……
https://i.imgur.com/q4GfQz2.png

2023/05/23(火) 15:26:48.27

ワイもファインちゅんしたい🥺…

2023/05/23(火) 15:27:58.22

>>800
ほないっしょにちゅんちゅんしよか……🐣

2023/05/23(火) 15:31:53.49

どっかにencolding="utf8"を追加してやれば動くと思うけどなんか今日は頭が回らんのや……☔😭

2023/05/23(火) 15:46:05.08

generate.pyのfrom_pretrainedの指定2箇所のところ

"rinna/japanese-gpt-neox-3.6b"

じゃないかな

2023/05/23(火) 15:50:50.78

>>803
サンガツ！
探してみるで

2023/05/23(火) 15:52:44.57

ああいや>>799とは別の問題

2023/05/23(火) 16:01:26.55

>>805
ほんまや、すまんな
開いてからfinetune.pyにgenerate.pyが参照された痕跡がないのに気付くくらいやもん……ワイ完全にボケとるで😵

2023/05/23(火) 16:24:29.64

trainerを用いてpeftでチューニングした結果を保存する場合model.save_pretrained（保存先）をしないとうまく結果が保存されなかったンゴ

2023/05/23(火) 16:32:24.83

>>807
情報共有サンガツや🤗

2023/05/23(火) 17:07:03.09

なんか自分もJSON読み込むとこでうまくいかんから、以前作ったcsvを使って
読み込むとこにcsv読み込みのifも追加したわ
とりあえず学習が始まるとこまでいった

if data_path.endswith(".json") or data_path.endswith(".jsonl"):
data = load_dataset("json", data_files=data_path)
elif data_path.endswith(".csv"):
data = load_dataset("csv", data_files=data_path)
else:
data = load_dataset(data_path)

2023/05/23(火) 17:07:26.26

インデントが消えちゃってるけどその辺はよしなに

2023/05/23(火) 17:23:36.35

>>809
You saved me THAN－GUTS
JSON側のエンコード問題やったんかな
ワンチャン漁ってサクラエディタで開いた時はutf8になってたけど謎は深まるばかりや

2023/05/23(火) 17:25:25.27

あと>>803の元コードはローカルにrinnaのモデルを置く前提の書き方だったんやね
ワイはpaperspaceでやりたいから>>803みたいにオンラインでダウンロードする形に
どっちも変えるわ

2023/05/23(火) 18:49:56.20

https://i.imgur.com/CvWuTg6.png
食わせたのがコレ
https://i.imgur.com/pI00qod.png
うーんこれは……効いてなさそうやなあ

あと試しに>>794ニキの元々入っていたデータをgenerate.pyに読み込ませたんだけど、
adapter_config.jsonを読んでいるとこで
Extra data: line 16 column 2 (char 344)
が出てしまう　結局これも文字コードの問題かなんかなんかな？

2023/05/23(火) 19:38:22.09

>>811
>>813
ワイの環境はlinuxでエンコードはUTF-8だからそこの差分なんかなあ...
Windows版のPythonはファイル読むときcp932扱いになるらしく、UTFを読みたいなら環境変数のPYTHONUTF8=1にせんとあかんらしい

>>813ニキの学習がうまく行かんのも学習templateのjsonを文字化けして読み込んでるからかもしれん

2023/05/23(火) 19:41:53.66

なるほどなあ
と思ったとこでpaperspaceがまた一杯や

空いたら文字コードに絞ってまた検討や
テストのためにデータ量もうんと絞り込んでええかもな

2023/05/24(水) 02:34:35.77

>>814
サンガツ！
明日また今度はubuntu2204で試してみるで🥺✨

2023/05/24(水) 06:02:08.72

>>798
TheBloke/stable-vicuna-13B-GPTQが読み込まない人へ
https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ/discussions/14
以下ｸﾞｰｸﾞﾙ翻訳してちょこっと手直しして引用

Narfel　1 日前修正済
新規インストールが手っ取り早いです:
1, ooba をインストールしてから更新します (gcc がインストールされている必要があります。たとえば、Fedora の「apt install build-essential」または「Developer Tools」)

2, 最後に、「hugging faceを手動で指定する」を使用して「TheBloke/stable-vicuna-13B-GPTQ」をダウンロードし、インストーラーを終了します。実行しないでください。

3, 「CMD_FLAGS = '--chat --model-menu'」の代わりに
「CMD_FLAGS = '--auto-devices --chat --wbits 4 --gpu-memory 22 --groupsize 128'」を使用するように webui.py を編集して開始します

4, モデルをリロードしてなにか問題があればwebui.py を編集して、（引数を）元の内容または好みのものに戻すことができます。

2023/05/24(水) 06:30:01.00

>>790

当該スクリプト
./modules/chat.py
./modules/modules.py
/extensions/google_translate_bypass/script.py

・アイディア１：【"google_translate"の中身だけを修正する。】
-> 失敗。
　script.py内の関数:output_modiferを呼出しているchat.pyの箇所が二重ループ内部になっている為に、再生が止まらなくなる。

2023/05/24(水) 06:31:37.48

>>818
・アイディア２：【新しく拡張を追加する。】
-> デグレのためひとまず保留。
　outputとinputの拡張適用はchat.pyからextensions.pyを経由して行われる。その際にextensions.py内の関数apply_extensionsが、extensions_MAPのLISTと照らし合わせて適用する拡張を決定する模様。

　ここに新しく拡張の種類を追加しようとすると、chat.pyとextensions.pyとscript.py3つを書き換えないといけなくなる。STOP環境破壊！

2023/05/24(水) 06:33:26.67

>>819
・アイディア３：【chat.py内の関数: apply_extensions呼出位置をループ外へ変更して、関数: output_modifer使い回す】
-> 惜しい。uiに翻訳が反映されなくなるが、日本語で読み上げてくれる模様。

　これはこれで英語学習に需要がありそうなのでもう少しテストしたらgithub送りへ──

自分のことをgoogle homeだと思い込んでるキズナアカリ
https://imgur.com/anWqOfL.mp4

ずんだもんでも試してみた
https://imgur.com/5pOfet3.mp4

2023/05/24(水) 06:38:10.22

>>820
訂正

誤）chat.py内の関数: apply_extensions呼出位置をループ外へ
正）chat.pyから呼出している関数:apply_extensionsの位置を生成ループ外へ

2023/05/24(水) 07:09:55.13

今更やけどひとりでスレ消費しすぎて申し訳なくなってきたからそろそろ自重するで🥺

2023/05/24(水) 11:10:35.19

ニキがいるから活気があるんや。感謝しとるで。その調子で頼む。

2023/05/24(水) 11:31:53.88

>>823
サンガツ！😇
ただ今の調子で日記みたいな事やっとると、せっかく入部しに来てくれた人たちがﾋｴｯ……ってなりそうやから、細かい所は全部書き溜めてgithubのreadmeにブチ撒けることにするで🥺✨

2023/05/24(水) 12:21:10.76

>>794ニキが上げてくれたのでrinnaちゃんファインちゅんしたらどれくらい賢くなるの？🥺

2023/05/24(水) 12:26:16.80

>>825
ワイは拡張イジりにもう少し掛かりそうやからニキに試してみてもらえるととても有り難いで……😵💦

2023/05/24(水) 12:44:54.33

>>826
よっしゃ試してみるやで🥺

2023/05/24(水) 12:47:00.11

>>827
サンガツや！🤗
ただ昨日は確かcp932のエンコードエラーで止まっとったから注意やで🥺💦

2023/05/24(水) 13:16:35.60

>>464
スーパー亀レスですまんがGooglecolaboや

2023/05/24(水) 13:17:02.98

ふむふむGoogleでもいける可能性はアリと

2023/05/24(水) 13:19:58.33

OpenCALMとかりんなちゃんとか来たけど忙しくて触れんかったんやが
クッソ発展してて草完全に浦島や

2023/05/24(水) 13:36:36.29

https://i.imgur.com/x1PH5u4.png
うーん一応finetune.pyを動かす時data['train']の中に
ちゃんとデータが入っているのかとかも確認してんけど
generate.pyでアカンなあ

model = PeftModel.from_pretrained(model, "lora-alpaca/", torch_dtype=torch.float16)
generate.pyのこれの後、ちゃんとLoRA読み込めているかとか中身が大体どんな感じかとか
たしかめる手段ってないのかね

2023/05/24(水) 13:55:38.84

https://i.imgur.com/LjDcmDj.png
generate.pyでPeftModel.from_pretrainedした後に
modelに含まれる属性を書き出してみた

これだけでデータがおかしいかどうかわかる
エスパーニキはおるやろか……

2023/05/24(水) 13:58:50.98

webuiからcidを変更できるようになったのでプレリリース
https://imgur.com/Y2q0YJJ.mp4

https://github.com/AlgosErgo/google_bypass

ただし、>>820の日本語再生英語表示のままなのは赦して😭
これから頑張るで😤

2023/05/24(水) 14:00:08.52

>>831
ｸﾏｽﾃニキお久しぶりや！
ワイはニキと一緒にえちえちりんなを志した>>146やで！

2023/05/24(水) 14:10:03.99

学習周りは>>778ニキと>>794ニキならきっと……

2023/05/24(水) 14:26:37.07

わざわざ丁寧にサンガツやで
ニキのDialogとかもやが参考にさせてもらって手動かして試してみるわ
もってくれよ…ワイのRTX3060ッ…！

2023/05/24(水) 14:32:18.80

ああっと>>146よりも>>36のほうが誰か分かりやすかったですまんご😣
vram12GBならdialogはバッチェ動くで大丈夫や🤗

2023/05/24(水) 14:52:47.73

いやワイがこんなくっさいこと書くせいでせっかくの入部希望な方が逃げるんやね……😭
やっとUI動いて変なテンションなってたンゴ、自省するで😣

2023/05/24(水) 17:16:27.02

>>794ニキの最初から入っているadapter_model.binで
generate.pyの実行成功した人はおる？

2023/05/24(水) 22:14:00.96

https://twitter.com/mi_genc/status/1660183355193987072
rinnaのsft版でファインチューニング成功した人がおるな
手法は書いてへんけど
https://twitter.com/5chan_nel (5ch newer account)

2023/05/24(水) 22:19:30.88

https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lora
なんか以前保存されるデータが1KBくらいだったのこれか！
今はなんか出なくなったけど

>peft@75808eb2a6e7b4c3ed8aec003b6eeb30a2db1495 のコミット辺りで追加された記述の一部を削除しないと
>出力される"adapter_model.bin"がデータセットのパラメータ数に関係なく1kb前後という明らかに異常がある
>データが保存されます。どうやらウェイト保存が正常に行われていないらしく2023/05/24時点で問題は
>解消していないようです。

>model.save_pretrained() produced a corrupted adapter_model.bin (only 443 B) with alpaca-lora

2023/05/24(水) 23:00:05.71

>>840
こっちもバージョン違いのせいとかあるんかな…
Google colab上で試してみたらgenerate.pyは動いたンゴ

>>794のMegaに動いた時のgoogle colabのコマンドをgoogle-colab-memo.txtとして追加した
色々混乱させてしまってすまんご😥

2023/05/24(水) 23:02:45.08

>>843
サンガツ
読んでみるわ
paperspaceとGoogle colabで違いとかあるんかなあ

あと、どういう質問したらどういう結果（LoRAの効果）が出たかとか
スクショ貼ってくれると嬉しいのう

2023/05/24(水) 23:50:04.86

qloraってなんや…

2023/05/25(木) 00:29:23.38

>>844
Megaにもとから入ってるLoraはこんな感じや
https://i.imgur.com/Rn2Hlu9.png

2023/05/25(木) 00:34:34.71

なるほどなあサンクス
また今度挑戦してみるンゴ

2023/05/25(木) 05:37:47.32

webuiの方もひとまず形にできたので今度こそLorRAを始めるで😤
……と言ってもinstruction表記されたデータセットなんか持ってないので、>>794ニキの学習環境を頼りにまずはワンチャン賭けて何でも試していくところからやね……😇

2023/05/25(木) 11:31:08.36

QLoRAってこのスレでもよくでてくる4bitでの学習ほげふげのとなんか違うのん？

ここまで出てきたのはモデル自体が4bit、QLoRAはLoRAが4bitってことなんかな

2023/05/25(木) 12:48:08.39

https://twitter.com/ai_araisan/status/1661550035077849088
こういう系のサービスは今後バンバン出そうやな
https://twitter.com/5chan_nel (5ch newer account)

2023/05/25(木) 15:10:37.55

gptqloraもフォークで来たわ

2023/05/25(木) 15:11:27.32

佐々木朗希かな

2023/05/25(木) 17:34:03.62

OpenCALM-7Bやけどそのうち試してみるか・・・
https://note.com/masuidrive/n/n0e2a11fc5bfa

2023/05/25(木) 17:46:59.45

ワイloraもまだなのにqloraとかgptqloraとかわけわかめや……🤕

2023/05/25(木) 17:49:53.97

昼間にNVA部に宣伝してみたけどやっぱり遊びに来てくれる人おらんね……
そう何度も宣伝するのも迷惑やろうから次の宣伝はなたなんか新しいのが出来てからにするで

やっぱりテキストベースのNLPのLLMって分野がそもそも地味すぎるのがアレやからもう少しなんかこう派手なのを作りたいゾ

2023/05/25(木) 17:52:02.19

というかrinnaのLoRAの成功パターンが見えてくれば
また違うと思うわ