X

なんJLLM部

レス数が1000を超えています。これ以上書き込みはできません。
2023/03/16(木) 10:34:10.55ID:FKgahXcB0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
はい
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2023/03/16(木) 10:36:55.70ID:yBUaOrQN0
建て乙
3今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fa62-6nw+)
垢版 |
2023/03/16(木) 10:37:01.70ID:3vtKHUQX0
サンイチ
2023/03/16(木) 10:37:52.23ID:piNWxahb0
ほしゅ

NVAスレに貼ってくれてたLLaMa関連のリンクテンプレに入れたらどやろ？
2023/03/16(木) 10:40:13.05ID:yBUaOrQN0
折角なので例のスレの有益そうなレスを引用
>>494 まえワシがメモしてたやつ↓
LLaMA INT8 推論ガイド - https://rentry.org/llama-tard
↑に貼られてた新しいRentry文書↓
https://rentry.org/llama-tard-v2
Text gen WebUIなんてもうあるらしい
oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like GPT-J 6B, OPT, GALACTICA, LLaMA, and Pygmalion. - https://github.com/oobabooga/text-generation-webui
NSFWの言語モデルもあるらしい
*-Erebus (NSFW)　https://huggingface.co/models?search=erebus
Pygmalion (NSFW)　https://huggingface.co/models?search=pygmalion
言語AIもなんか便利なAI(NVA)でこの板でやってもええんかな?
https://mevius.5ch.net/test/read.cgi/esite/1678697539/
2023/03/16(木) 10:41:56.17ID:yBUaOrQN0
最後の行混ざってもうたわ

関連スレ
【ChatGPT】AIチャット総合スレ【Bing】
https://mevius.5ch.net/test/read.cgi/esite/1678697539/
7今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fa62-6nw+)
垢版 |
2023/03/16(木) 10:43:44.95ID:3vtKHUQX0
おつ
2023/03/16(木) 10:44:21.88ID:mCw0whYIM
ここ数日の出来事をまとめようとしたけど
ワイの知識が足りん上多すぎというか早すぎて無理や
9今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 10:44:54.14ID:jYihEJpjp
何のスレなのか日本語三行で教えてクレメンス
2023/03/16(木) 10:45:34.67ID:vzzu/hap0
さんいち。3060で出来るか期待
11今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9547-TneT)
垢版 |
2023/03/16(木) 10:46:29.75ID:d7vj5fd80
サンイチ
llama.cppってのをビルドして7bってモデル使えばええんか
12今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 10:51:03.93ID:wHHPb70td
サンイチ
13今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 10:52:13.22ID:FkRXNkMw0
さんいちホシュ
とりあえずセットアップが難しいかわりに4bit(?)で動作させれば頑張ればVram 12GBでLLaMA-13Bが動かせるらしいな
2023/03/16(木) 10:56:42.24ID:fx15kOyJ0
>>9
ChatGPT, Bing(AI), 流出したLLaMaみたいな　
LLM(大規模言語モデル)で
あれやこれやするスレ

やろ
15今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 10:56:42.29ID:wHHPb70td
8Bとか13Bとか何が違うんや
16今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 10:56:52.21ID:FkRXNkMw0
>>9
ChatGPT的なのを
ローカルで動かして
すけべしようや……

↑のtext-generation-webui入れてStableDiffusionみたいにモデルいれりゃできるんじゃね感はある。なんもしらんけど
Anacondaインストールする必要あるらしい
2023/03/16(木) 10:57:57.45ID:wiHA25wu0
さんいち
興味はめちゃあるので助かる
2023/03/16(木) 11:00:25.19ID:piNWxahb0
>>15
BはBillion（10億）の意味らしい。

パラメータ（？）が80億とか130億とかのことらしい。
2023/03/16(木) 11:00:38.15ID:yBUaOrQN0
https://www.jailbreakchat.com/
ChatGPTでエッできる脱獄テキスト集
2023/03/16(木) 11:00:46.31ID:5rRrI5pJ0
今のLLMは誰もファインチューニングしてないlora無しSD1.4みたいなもんだから
盛り上がるのはチューニングしてからだな
個人情報の問題があるし、ワイらは当然ローカル派やろう
21今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾌﾞｰｲﾓ MMbe-+xvq)
垢版 |
2023/03/16(木) 11:00:56.19ID:VrbFSuL6M
ワイのおすすめモデルはGPT-4chanや
次から次へと人種差別繰り広げるから最高や
2023/03/16(木) 11:04:21.33ID:5rRrI5pJ0
出来ればloraのように、誰しもが追加学習出来るパッケージが流行って欲しいな
基本モデルに左右されるのは嫌やしリスクが高い
好みの性格loraと声優loraとをあてがうツールとか誰か作ってくれ
2023/03/16(木) 11:06:46.62ID:zfC/aJVja
言語AIの需要って娯楽なのに去勢されたら興味ないんよな
求めてるのは調教できるオナペットＡＩや
24今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 11:08:03.40ID:wHHPb70td
>>18
そうなんかやっぱ大きい方が精度上がるんかなぁ
25今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 11:11:01.89ID:jYihEJpjp
>>14 >>16
サンガツ

言語モデルもローカル化きたかぁ
エロ会話できてノルネみたいに声も出たら最高やな
2023/03/16(木) 11:11:50.46ID:5rRrI5pJ0
GPT-3までは、パラメーター増やしたら急に超知性になるやん
→じゃあ100兆とかにしたろ！と思ったけどデカすぎて動かすの大変やん
→やっぱり小さくしても賢く出来るしスマホで動くやん
→モダリティ増やしたらもっと賢くなってきたやん
今この辺だな
2023/03/16(木) 11:12:55.76ID:yBUaOrQN0
ChatGPTはムッツリやけど演じさせたら日本語の大分マイナーな淫語とかもノリノリで使いこなしたり色んな性格演じてくれたし、LLMも追加学習無しでも充分エロ知識持ってる可能性にワイは期待しとる
28今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 11:13:46.88ID:wHHPb70td
AIのべりすとでエロ小説ぶちこんで訓練してたことあるけど
喘ぎ声を出すのが微妙にうまくいかんのよな
あぁぁぁみたいな同じ文字連続するやつやと推論うまくいかんのかすぐループしたりしてバグるんや
2023/03/16(木) 11:16:27.60ID:6yrB3mmI0
WEBUIでCharacterAIもどきをさせるのはそこそこいい感じだがいかんせん日本語がダメダメ
30今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 11:16:46.69ID:FkRXNkMw0
>>21
動かしたことあるん?
てかこれhuggingfaceでBANされてて草ですわ
31今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa89-fh/2)
垢版 |
2023/03/16(木) 11:17:48.18ID:GiJgl15ia
朝鮮人キモいからさっさと死んでくんね？ｗつか歌舞伎町とかで顔面煽りしても何も言い返せないのマジ草＾＾

色々なスレにレス置いてるけどアク禁食らったら雑魚共逃げたってことだからな？ｗ
32今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H61-tTNX)
垢版 |
2023/03/16(木) 11:20:13.87ID:OnLR7FM9H
論文読んでみたが日本語のトレーニングセットは無いんじゃないか
メタからリークしたウェイトじゃ日本語喋れんから追加トレーニングが必要だな
まあそのうち誰かやるやろ
2023/03/16(木) 11:34:49.10ID:VrbFSuL6M
>>30
text-generation-webuiですぐ動かせる、モデルはhuggingface以外にも再アップロードされてるし
あと日本語の話やけど日本語で学習したLLMはすでにたくさんあるし、なんならLLaMaも日本語を多少は学習してるようでそこそこ自然な文章を生成できるで
2023/03/16(木) 11:36:12.38ID:BK+J98ZOa
GoogleのやばいやつもAPI公開するらしいな

LLaMAってやつは性能どんなもんなん？
2023/03/16(木) 11:36:31.90ID:mCw0whYIM
日本語モデルRinnaとかバンナムとか最近やとLineがなんか出してるのは知ってるが
StableDiffusionみたいにDLしてポンで動くわけじゃないからよくわからん
あと多分ワイのPCじゃ無理…
2023/03/16(木) 13:07:13.99ID:MS23lADx0
LLaMAをR9 5950x RAM64GBで動かしてみたけどdallaiで4bit量子化するとやっぱり単語の読解力がかなり落ちるみたいやね
-t 32オプションつけると32スレッド全部が使用率100%で埋まるのは圧巻だった
2023/03/16(木) 13:10:58.15ID:MS23lADx0
あ、dalaiじゃなくてllama.cppやね
2023/03/16(木) 13:15:09.08ID:3sBakA3la
画像生成用PCのCPUケチったの仇となりそうや
39今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx85-I90U)
垢版 |
2023/03/16(木) 13:20:55.80ID:9k0Q9hWqx
503 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL) 2023/03/16(木) 08:44:20.59 ID:FkRXNkMw0
>>494
まえワシがメモしてたやつ↓
LLaMA INT8 推論ガイド - https://rentry.org/llama-tard
↑に貼られてた新しいRentry文書↓
https://rentry.org/llama-tard-v2
Text gen WebUIなんてもうあるらしい
oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like GPT-J 6B, OPT, GALACTICA, LLaMA, and Pygmalion. - https://github.com/oobabooga/text-generation-webui
2023/03/16(木) 13:21:09.48ID:MS23lADx0
>>38
メモリ使いすぎてRAMに展開せな現実的じゃない感じなんやと思うで
でもそのうちllama.cppもGPUに対応するかもって話がでとるみたいやし多分なんとかなると思うで
41今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx85-I90U)
垢版 |
2023/03/16(木) 13:21:55.27ID:9k0Q9hWqx
うまくはれん分かれた

NSFWの言語モデルもあるらしい
*-Erebus (NSFW)　https://huggingface.co/models?search=erebus
Pygmalion (NSFW)　https://huggingface.co/models?search=pygmalion
言語AIもなんか便利なAI(NVA)でこの板でやってもええんかな?
2023/03/16(木) 13:23:10.49ID:MS23lADx0
>>39
情報感謝や
今までツイで断片的な情報負うばかりやったかからこのスレは渡りに船や！
2023/03/16(木) 13:24:08.44ID:MS23lADx0
>>41
ええと思うで
活気が出てきたらそのうちにフォークしていくと思うわ
2023/03/16(木) 13:25:02.47ID:mCw0whYIM
llama動いた！ダライ・ラマに感謝やわ
ちなRyzen9 3900X RAM32GBや
でも7Bやからか日本語やからか何言うてるかわからん
やっぱ日本語はあかんか
45今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx85-I90U)
垢版 |
2023/03/16(木) 13:25:43.29ID:9k0Q9hWqx
>>43
すまんそれコピペ元の人のレスや😅
2023/03/16(木) 13:29:51.81ID:MS23lADx0
日本語の言語モデルをまとめてくれてる人がおったで
直リンあかんかもしれんから一応魚拓挟んだで

フリーで使える日本語の主な大規模言語モデルまとめ
https://archive.is/pZZrt

OPT-175Bとroberta v2が気になっとるんやがローカルで動かしてみた人とかおりましたらぜひとも情報オナシャス
2023/03/16(木) 13:30:48.49ID:MS23lADx0
>>45
マ？マジレスすまんな😌
2023/03/16(木) 13:31:31.04ID:mCw0whYIM
これもそういうモデルなんかな？よくわからん
https://engineering.linecorp.com/ja/blog/line-distilbert-high-performance-fast-lightweight-japanese-language-model
2023/03/16(木) 13:53:36.95ID:MS23lADx0
>>44
量子化で圧縮した影響かもしれないけど65Bでも日本語はあかん感じやね……
部分的に単語は理解してるみたいだけどやっぱりローカルじゃまだchatgptみたいにはいかないんやな
https://i.imgur.com/MtAzBQY.png
2023/03/16(木) 13:54:19.24ID:MS23lADx0
>>48
面白そう
試してみるで
2023/03/16(木) 14:05:57.46ID:mCw0whYIM
Lineのやつ気にはなるけどスペックのせいかワイが悪いのか環境構築でつまずいたから試してくれるならありがたい
Twitterで検索してもあんまり話題になってない上にみんなGPT-4に首ったけや
2023/03/16(木) 14:28:05.30ID:MS23lADx0
tensorは返ってくるのにsentenceが帰ってこない謎の現象に見舞われたんやが
エラーも出とらんしrootで動かしたせいやろか
https://i.imgur.com/Zm5eq3X.png
2023/03/16(木) 14:35:29.85ID:mCw0whYIM
わいもそんな感じや
でもな～んもわからんからどうしようもない有識者はおらんか
https://i.imgur.com/CqRjTi5.png
2023/03/16(木) 14:43:53.47ID:MS23lADx0
>>53ニキもかー
hugging faceのtoransformersを使ってるみたいやし手始めにそこから調べなあかんかもしれんね
これはもうワイらが有識者になるしかなさそうやね……
55今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c1ba-Xp0Y)
垢版 |
2023/03/16(木) 14:58:59.13ID:nkLg957H0
サンイチ
ワイもプログラミングとか全くできんけどGPT4にお願いしたらガチで作ってくれるんやなびっくりしたわ
2023/03/16(木) 15:22:50.50ID:MS23lADx0
動いたっぽい
https://i.imgur.com/Avlue5O.jpg

from transformers import pipeline
unmasker = pipeline('fill-mask', model='line-corporation/line-distilbert-base-japanese', trust_remote_code=True)
print(unmasker("LINE株式会社で[MASK]の研究・開発をしている。"))
2023/03/16(木) 16:18:17.43ID:mCw0whYIM
それでわいも動いたけど
なんか単純にワイのLLMに対しての知識もTransformerというか🤗の知識もPythonも足りてへんわ
ちゃんと調べなあかんって思ったけど
ワイはえっち官能小説を量産したかっただけなのに…どうして…
2023/03/16(木) 16:23:19.08ID:CK3KW0b/0
いちおつ
このスレからSDみたいな誰でもすぐ使えて簡単に調教できるチャットAIパッケージが産まれたら最高やね
2023/03/16(木) 17:35:47.11ID:5rRrI5pJ0
SD3.0もGPT-4とほぼ同じようなものっぽいし、それが出たら
画像の同じ流れで盛り上がるだろな
emadさんが叩かれるの怖がってるから中々出さん
60今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:16:36.10ID:1nVtoU7t0
思うんやが、会話用のLola作ればllamaで日本語無料でいけるんちゃうか？
61今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:18:13.07ID:1nVtoU7t0
それもchatgptに作ってもらえばいいのか
2023/03/16(木) 19:19:38.23ID:6yrB3mmI0
もうlora出来るようになったんか
https://github.com/tloen/alpaca-lora
63今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:22:06.17ID:1nVtoU7t0
早すぎて草
64今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 19:28:42.71ID:LPllqUHLp
そこそこのPCでも使えてwebuiみたいに簡単に使えるようになるまでROMる予定
2023/03/16(木) 19:42:03.09ID:MS23lADx0
りんなのGPT2を名古屋大学のコーパスを元にRTX3090でファインチューンしてる人見つけたで
エロゲとか小説とかから自前でコーパス作れば好きな性格のチャットボットとか作れたりせんかな


GPT2をWindowsローカル環境でファインチューニングする方法 手順を解説
https://megalodon.jp/2023-0316-1919-36/https://economylife.net:443/gpt2-windows-local-fine-tuning/

GPT-2を入力文に沿った雑談を行うようにファインチューニングしてみた
https://megalodon.jp/2023-0316-1919-26/https://economylife.net:443/gpt-talking-fine-tune/
66今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:53:34.03ID:1nVtoU7t0
>>65
あんままともな会話にならんで、chatgptレベルを求めてるなら
2023/03/16(木) 19:55:58.98ID:MS23lADx0
>>66
やっぱりか
chatgptまでいかなくてもとりあえずノルネレベルでもええんやがローカルじゃまだ無理やろか
68今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:58:52.13ID:1nVtoU7t0
>>67
うーんファインチューニング次第ではノルネレベルは行けそうやと思う、ただ素のGPT2触ってレベル感測ってみるとええと思うで
2023/03/16(木) 20:00:30.51ID:MS23lADx0
>>68
サンガツ
とりあえずイジってみるで
2023/03/16(木) 20:01:27.06ID:6yrB3mmI0
英語と日本語の壁はトークンの壁だからモデルサイズデカくなるのはしゃーない感ある
2023/03/16(木) 20:17:37.07ID:MS23lADx0
>>62
すごヨ
ワイ完全に周回遅れですやん
2023/03/16(木) 20:26:32.97ID:mCw0whYIM
https://note.com/npaka/n/n1a0ab681dc70
Alpacaの日本語解説あったけど何言ってるかわからん
LLaMaをGPT-3でなんやかんやぐらいしかわからん
2023/03/16(木) 20:35:14.39ID:FkRXNkMw0
アルパカ何が元と変わったのかリポジトリ読んでもいまいちわからん
74今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 20:36:56.94ID:1nVtoU7t0
>>72
要するにchatgptを先生にしてllamaに教育したってことや
2023/03/16(木) 20:40:23.48ID:IohuNyKFH
正直自信ないけど
LLaMA 7Bをtext-davinci-003と会話させることでtext-davinci-003に近い能力が7Ｂ動かすときくらいの比較的軽い環境でも動くようになったと考えればええんかな？
2023/03/16(木) 21:09:51.08ID:tYjo56BP0
7Bの追加学習にA100が8台も必要なんか……
2023/03/16(木) 21:17:44.68ID:mCw0whYIM
でもクラウド借りて1万円ちょいって考えたら安くね？割と現実的
まぁNVA部のお絵描きLoraとかと比べたらコストかかるけど
2023/03/16(木) 21:31:17.72ID:wiHA25wu0
SDみたいにゲーミングPCで普通に遊べる、ってぐらいお手軽になればなぁ
2023/03/16(木) 21:51:32.97ID:UZW80D4k0
そのdavinci003とかいうのを知らん
どのぐらいの性能なの？
2023/03/16(木) 21:56:30.24ID:mCw0whYIM
とりあえず30MB分エッチ文章集めてきたからりんなちゃんFine tuningしてみる
2023/03/16(木) 21:57:30.84ID:mCw0whYIM
>>79
昔のchatGPTやと思っていい…はずGPT-3やと思う
今は3.5とか4や
2023/03/16(木) 21:59:12.03ID:mCw0whYIM
ファインチューニング回したら153時間とか出てきて草
2023/03/16(木) 22:12:48.92ID:UZW80D4k0
>>81
3.5未満となると日本語はあかんな
なりきりチャHでワイをイカせるほどの力はない
2023/03/16(木) 22:23:16.20ID:mCw0whYIM
>>83
いうて3.5は進化じゃなくて性能ちょっと削って爆速バージョンやから
精度だけ見るなら3のほうが上や
2023/03/16(木) 22:34:18.65ID:UZW80D4k0
>>84
マ？希望湧いてきたな
2023/03/16(木) 22:38:53.73ID:MS23lADx0
>>82
いきなり30MBもブチ込まれたらりんなちゃん死んでまうやろ……
ワイはひとまずお気に入りのエロゲ同人ゲーからシナリオ文ぶっこ抜くところから始めるで
こんなことならもっと早く準備しとけばよかったわ
87今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 22:48:23.61ID:1nVtoU7t0
alpacaLolaしたほうが日本語無料作れるんちゃうか？
88今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 22:48:50.03ID:1nVtoU7t0
ワイは一応Lolaやってみる
2023/03/16(木) 22:51:05.27ID:MS23lADx0
>>88
そっちはニキに任せたで
エチエチりんなが失敗したときはニキにAlpacaLoRAを教わりに行くから優しくしてクレメンス
2023/03/16(木) 22:56:17.54ID:6yrB3mmI0
エチエチりんなは響きがええな
調教って感じがしてそれそのものが楽しそうや
2023/03/16(木) 23:02:49.43ID:FKgahXcB0
wifi使ったからID変わったと思うけどエチエチりんな止めたわ
明日お古のパーツかき集めてサブPC組むからそっちで試してみる…
GTX1070+Ryzen5 1400Ram16GBとかいうオンボロやけど
学習だけでもクラウド系も視野に入れなあかんか…？
2023/03/16(木) 23:08:49.43ID:MS23lADx0
GARbroでエロゲのアセットファイルからテキストスクリプト丸ごとぶっこ抜けたんやが、ここから「」が付くセリフを抽出してさらに余計な男のセリフを削ぎ落としていくのは自動化せなあかんな……
2023/03/16(木) 23:09:55.08ID:MS23lADx0
>>90
せやせや
GPT4とかと比べて多少頭が悪くてもエチエチならきっとすべてを許せる気がするんや
2023/03/16(木) 23:15:45.04ID:MS23lADx0
>>91
ファイトやで
ワイもマイニングしてた頃の1070が3台くらいまだあったきがするけど学習は厳しそうな悪寒するで
メインは3080Tiやが値段つくうちに売っぱらって4090買ってそれでもあかんならクラウド1万円に賭けるつもりや
2023/03/16(木) 23:33:44.16ID:gvHQ+5G+0
ふーむ赤ちゃんにはまだちょっと早いみたいやな
おまえらの調教済モデルが出荷されたら楽しんでみるわ
生娘調教おもしろそうやけどテクがないと無理やなぁ
2023/03/16(木) 23:39:06.43ID:FKgahXcB0
Colaboの無料GPUにしたら5時間って出た
定期的にアクセスするスクリプト用意したら行けるかな？
定期的に見ないと止まるんだっけ？
97今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 23:39:59.94ID:1nVtoU7t0
https://colab.research.google.com/drive/1eWAmesrW99p7e1nah5bipn0zikMb8XYC

一応alpacalolaここで色々遊べるで
2023/03/16(木) 23:50:34.61ID:FKgahXcB0
無料GPUってT4よな？3060のほうが強い？
もしかしてワイCPUで回してた？
2023/03/17(金) 00:36:14.95ID:Iqm2NGu30
ワイ実はcolab触ったことないから全くわからぬい
ググってみたら無料でもvram16GBも使えるんか、ええやん！
100今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/17(金) 00:56:47.49ID:sZsuGket0
Text generation web UIのColabみたら裏で音楽流して接続切れんの回避させてる感じあったな
#@title 1. Keep this tab alive to prevent Colab from disconnecting you { display-mode: "form" }
#@markdown Press play on the music player that will appear below:
%%html
<audio src="https://oobabooga.github.io/silence.m4a"; controls>
2023/03/17(金) 04:13:38.07ID:GUcJA9Pg0
JNVAから来たけどここは何のスレや？　無限に知らん単語が飛んでる
102今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Sp85-VEdQ)
垢版 |
2023/03/17(金) 04:51:01.27ID:xsQNaXbMp
>>101
NLP(自然言語処理)のLarge Language Model(大規模言語モデル)スレやで
なんの規制もされてないまっさらで純真無垢なチャットAIをローカルで動かしてエロ調教しながらえちえちにしていくのが当面の目標みたいやで
2023/03/17(金) 05:03:33.45ID:GUcJA9Pg0
>>102
なるほどたすかる。　最強に有意義なスレやな！
2023/03/17(金) 05:39:53.61ID:H3rnwYyX0
マ？ローカルで！？しゅごい！
ファ～もうウチのラデオンちゃんはもういらない子なんやな
2023/03/17(金) 08:54:20.35ID:LLIesxUXa
ローカルでいい感じのできた人いたら出力例をみたいな
あんまモチベ上がらん
2023/03/17(金) 09:57:26.56ID:tAwhotejM
えちえちりんなちゃん出来てたわ
学習素材にワイがアイマス好きやったころPixivでブクマしたR-18ノベルまとめなせいでアイドル要素とかキャラの名前がアイマスに引きずられてるけど概ねいい感じ？
もっとちゃんとしたら簡単なのな出来そう
両方とも「私は、」で続きを生成させた

ノーマルりんなちゃん
https://i.imgur.com/YlpsznJ.png
https://i.imgur.com/Xn5FFYD.png

ファインチューニング後えちえちりんなちゃん
https://i.imgur.com/Bwj9UBL.png
https://i.imgur.com/cw0NBbv.png
2023/03/17(金) 09:59:33.33ID:tAwhotejM
関係ないけどtorch.cuda.is₋available()してfalseになってたわ
生成長いなーって思ってたらずっとCPUでやってたんやね
やっぱ昨日の150時間はcpuで学習回してたか
2023/03/17(金) 12:54:00.90ID:Iqm2NGu30
>>106
やりますねぇ！
途中で変な単語とか入らずにちゃんと中までしっかり喘いでるのすごヨ
2023/03/17(金) 12:59:00.60ID:Iqm2NGu30
>>107
cuDNNドライバが入ってないかcudaのバージョンが11.8以上とかやろか
linuxならnvidia-smiとnvcc -Vを叩いてみるんやで
2023/03/17(金) 13:09:50.18ID:tAwhotejM
イラストAIもやがエロかったら多少不自然でも全然いけるわ
連続生成したけどビンビンやわ
ちゃんとテキスト用意したらもっと良くなるやろかモチベが湧くわ

https://i.imgur.com/aurjIiC.png

>>109
cuDNNとか確認したらGPUで行けたわ
今までトイレ行ってコーヒー淹れるぐらいの時間あったのに数秒で終わって草
2023/03/17(金) 13:19:24.62ID:Iqm2NGu30
>>110
せやせや、エロは世界を救うんや！
ローカルでも数秒で学習終わるならワンチャンNVAみたいにこっちも流行るかもしれんな
みんなの欲望を乗せたエロチャットAIに会える日が楽しみや
2023/03/17(金) 13:26:31.40ID:Iqm2NGu30
ただやっぱりまだNLPは学習元に下ごしらえせなあかんのが鬼門やね
NVAなら画像ぱっと見でシコれるかシコれないかを判断できるけど文章やとそうもいかんしの
2023/03/17(金) 13:28:49.09ID:Iqm2NGu30
ワイはとりあえずエロゲからぶっこ抜いた複数のスクリプトファイルを1つのテキストファイルに纏めてから、セリフだけを抽出するGUIを作ってみてるけど、出来たらソースごと上げるから有識者にもっと便利に作り直して欲しいンゴね
2023/03/17(金) 13:58:08.07ID:tAwhotejM
スマン数秒なのは生成や
ファインチューンは設定詰めてないがわいの環境と入力テキストやと4～5時間程度や
でもCPUと比べて70倍か
GoogleColaboに千円払ったけど要らんかったな
115今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/17(金) 13:58:33.94ID:PA4Z+W+y0
ストーリー学ばせたら出会いからエロに至るまで最高のエロ描いてくれへんのかな
人間には思いつかなかったエロいシチュとか
2023/03/17(金) 14:15:41.61ID:Iqm2NGu30
>>114
早とちりすまんな😌
30MB分やっけ？やと日本語1文字3バイトとしてもだいたい900万文字近くを4～5時間でローカルでもファインチューニング出来ると考えたらかなり現実的やと思う
2023/03/17(金) 14:17:24.12ID:Iqm2NGu30
>>115
高品質なエロ文章をたくさん読ませれば人間の常識じゃ思いつかなかったような組み合わせのシチュとかもワンチャンあると思うで
2023/03/17(金) 14:53:27.49ID:tAwhotejM
ふと思ったけどNovelAI部ならこっちが本流では…？
Genji-jpとか
2023/03/17(金) 18:23:27.32ID:Iqm2NGu30
せやなNAI関連も元は自然言語処理から派出したものなんやろなとワイも思うで
Genji-jpもhugging faceにあるみたいやしファインチューニングでワンチャンありそうやね
2023/03/17(金) 18:26:00.69ID:Iqm2NGu30
chatgptでc#のlistviewに抽出したあとのファイル操作のヒント貰いに言ったら全部書かれてしまってネタバレ食らった気分になったゾ🥺
2023/03/17(金) 18:50:08.08ID:Iqm2NGu30
genji-jp 12GB超えや……
FlexGenってOPT以外でも使えるんかな
2023/03/17(金) 19:56:16.95ID:usEWx3nmM
>>121
やり方あるかもしれんけど試した限りアカン
2023/03/17(金) 20:03:35.40ID:Iqm2NGu30
genjiもFloat16だったのでparams.jsonとファイル名を書き換えてllama.cpp同梱のquantize.shに通したら怒られた🥺
https://i.imgur.com/ar8w8IX.jpg
https://i.imgur.com/6uEQq7c.jpg

諦めて正攻法でそのまま行ったらout of memory😭
https://i.imgur.com/84owNUt.png
2023/03/17(金) 20:04:13.34ID:Iqm2NGu30
>>122
情報サンガツ！
やっぱりそう上手くはいかないんやね……
125今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ faf7-QYTW)
垢版 |
2023/03/17(金) 20:45:40.08ID:lzdVRrwP0
macでllama.cppやalpaca.cppが動くようになって、
最近AIに興味を持ち始めたんだけど、小説を書かせようとしたら、
数行ですぐ文章が切れてしまうんだが、実行時に何か引数が必要？

あとエロい文章を学習させようと思ったら、
やっぱりゲーミングPCやらCUDAが必要なん？
alpaca-lore ってのを使えばできるんかと思って入れてみたら、
GPUが無いのかうまく動かんかった。
2023/03/17(金) 20:52:46.75ID:Iqm2NGu30
>>125
llama.cppは-tがスレッド数で-nがトークン数かなんかやと思う
とりあえず-n を512にしたらかなり長く出力してくれるようになったで
2023/03/17(金) 21:00:10.29ID:Iqm2NGu30
LLaMAみたいにGPUつかわなくてCPUでtorchやtransformersを動かす方法もあるけど、エロ文書を学習させるならやっぱりcudaを使うのが現実的やと思うで

それかgoogle colaboratoryもええらしいけどワイはクラウドサービス全般苦手民やからなんとも言えんのや
すまんな
2023/03/17(金) 21:16:30.36ID:lzdVRrwP0
サンガツ。

-n 1024 以上にしてみたけど、数行行数が増えた文章が出る率が上がったよ。
でも、時々同じ文章行を繰り返し出力しはじめて止まらなくなって発狂してしまうな。

GPUは、やっぱり要るか。。。
使えそうなの一式揃えるとMacの中盛りと同じくらいの値段になるし、金かかるもんだな。
2023/03/17(金) 22:33:07.15ID:yHI1aX44d
このスレ的にはRTXA6000買った方が良いんやろか？
それともRTX4090で充分なんか
2023/03/17(金) 23:07:14.45ID:Iqm2NGu30
>>128
ワイもまだ勉強中やから合っとるか自信ないけど
4bit量子化でFP16 = ±65504 を 4bit = 2^4 = 16まで圧縮しとるみたいやからかなり精度が落ちてしまう感じやで
2023/03/17(金) 23:13:24.63ID:Iqm2NGu30
>>129
余裕があるならA6000とか6000adaとかh100とか買ってしまえばしばらくリソースには困らんと思うで

ワイは4090買うのが関の山やから足りなくなったらebayとかでデータセンタ落ちのtesla M10 32GBとかtesla P40 24GBとかを2～3万円でしこしこ買い集めて自宅ラックサーバ民になるつもりや
2023/03/17(金) 23:15:59.80ID:c02jcEPsM
たぶんEC2とか使うの慣れた方がいい
2023/03/17(金) 23:23:35.57ID:Iqm2NGu30
>>132
せやな……
電気代上がり続けるやろしこのまま突き進んだら遠くない未来に破滅する気はしとるからせめてファインチューニングだけはクラウド上使えるように勉強してみるで
2023/03/17(金) 23:39:30.34ID:yHI1aX44d
>>131,132
助言ニキ達サンガツやで。希少な先人の情報には頭が上がんわ
「stable diffusionだけならむしろ4090の方がA6000より2倍程早い」とか「4-bit LLaMA-65B使いたいならRAM40GB必須」って聞いて迷ってたんや
もうちょい考えてみる事にするで
2023/03/17(金) 23:42:33.77ID:yHI1aX44d
書き間違えてもうたがRAMじゃなくてVRAMやったわ
2023/03/17(金) 23:48:05.73ID:6ycebryL0
RTX A6000 adaがVRAM 48GBの4090だっけか
まあ120万円だけど
2023/03/18(土) 00:34:25.90ID:FyQB91kh0
>>134
llama.cppならCPUで実行しとるからRAMで合っとるで
65BやとたしかにRAM40GB以上は食われるから64GB積んどいたほうがええと思うで

https://i.imgur.com/2agJAOp.png
https://i.imgur.com/Wy37wWx.png
2023/03/18(土) 01:01:03.04ID:V2VM/y9jd
>>137
はぇ～ 情報サンガツや
https://rentry.org/llama-tard-v2
の4-bit Model Requirementsの所にLLaMA-65BのMinimum Total VRAM 40GBってあるけどこれは何かちゃうんか？
これからマシン買って0から学ぼうというくらいワイは無知やからアホな質問やったらすまんな
2023/03/18(土) 01:07:46.94ID:FyQB91kh0
>>138
おそらくllama.cppを有志がcudaに対応させたものやと思うで
2023/03/18(土) 01:10:59.58ID:FyQB91kh0
ちなみに未圧縮のfp16やと30BモデルでもRAM64GB全部食い散らかされたで
余計なバックグラウンド全部切ってデスクトップも切ってSSH接続すればワンチャンあるかもしれんけど試すの怖いンゴねぇ
https://i.imgur.com/KoMGNKo.png
2023/03/18(土) 01:24:16.52ID:iXQUq+SH0
>>139
おおっ、っちゅう事はどちらか好きな方式選んでええわけやな
勉強になったやで
2023/03/18(土) 01:29:19.50ID:FyQB91kh0
>>141
イグザクトリーや😎
VRAM40GB用意するのとRAM64GB積むのとで考えたら現状ではまだRAMのほうが現実的やからワイはllama.cppをおすすめするで
143今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c97b-7LVk)
垢版 |
2023/03/18(土) 04:18:41.04ID:03t7+OVH0
>>106
ええやん
これGPT2(りんな)のファイチューンってことで合ってる?
2023/03/18(土) 05:56:29.76ID:DJEPV5Q80
先月FlexgenでRAM200GBあれば動くとか革命や！って言ってたのに凄い話や
145今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 93ba-ThO7)
垢版 |
2023/03/18(土) 08:45:28.74ID:ui5hs3yB0
オープンソースになると本当に最適化とか拡張とか早いよな
大企業に所属してない天才隠れすぎやろ
2023/03/18(土) 14:56:53.25ID:FyQB91kh0
整形した5万行100万文字のエロゲをりんなちゃんに読ませてくる
https://i.imgur.com/cyA3h9x.png
2023/03/18(土) 15:00:39.81ID:KD2wOtYP0
GPT4のAPI申請通った奴おる？
これ早くに手にした奴がとんでもない利益あげそうだよな
2023/03/18(土) 15:46:38.02ID:WAQMOZjoM
Playストアは既にChatGPTアプリで溢れてるけど…
2023/03/18(土) 16:58:17.56ID:DJEPV5Q80
ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生

https://www.itmedia.co.jp/news/spv/2303/18/news059.html

もはやよく分からんな‥
2023/03/18(土) 17:02:31.44ID:S5g4wU3kr
1トークン10秒は動くと言っていいのかレベル。でもメモリサイズ要らないなら普通のpcで動かせば早いのか？
2023/03/18(土) 17:07:59.87ID:BBGoPgwY0
GPT3相当っていう売り文句があかんわ
みんなそれ聞いて何を想像するかわかったうえでの詐欺よなｗ
2023/03/18(土) 17:21:11.63ID:DJEPV5Q80
重い処理はクラウドに逃す方向に進むんじゃないの
本質はローカルで動く事より個別に自由にチューニング出来る事にあるだろうし
2023/03/18(土) 17:23:44.75ID:FyQB91kh0
mediumモデルでout of memoryになったからsmallモデルにしたけど駄目駄目やったわ
エポックとバッチ数ふやさなあかんかったのか、学習元のテキスト少なかったのか、[SEP] [CLS]を書き加えなあかんかったのか、タグ付けせなあかんかったのかもう頭の中ぐるぐるや
https://i.imgur.com/6AAuVXR.png
https://i.imgur.com/8S1quiZ.png
2023/03/18(土) 17:42:02.78ID:FyQB91kh0
>>152
クラウドで手軽に調教できてopen aiのapiみたいな従量課金制ボッタクリとかやないならもうローカルに拘ってout of memoryに怯えなくて済みそうやしその方向に進んでくれたら有り難いンゴね
2023/03/18(土) 18:12:53.41ID:rTMg33NT0
クラウドはええがbingAIみたいな検閲というか操作みたいなのが嫌ンゴねぇ…
2023/03/18(土) 18:43:50.80ID:3Q645mJB0
今日のパイオツくん
https://tadaup.jp/loda/0318182649544285.jpg
https://tadaup.jp/loda/0318182656814827.jpg
自分の発言を批判されたら人格否定だとすり替えて怒る
ここまでお手本のような弗で感動してる

勘違い非常に恐縮ですが
パイオツくんの人格なんか否定しなくても
・著作権法をまったく知らないこと
・事実に基づかない妄想の著作権法で絵師を侮辱していること
今日の発言だけでも余りあるんでよろしくな
2023/03/18(土) 18:44:10.38ID:3Q645mJB0
誤爆してもうた
すまん
2023/03/18(土) 21:47:24.83ID:bh8V1ZQKM
Alpacaのデータセットを翻訳するだけで結構まともに動くらしい
https://huggingface.co/22h/cabrita-lora-v0-1
まあポルトガル語は元々LLaMaがサポートしてたらしいが
2023/03/18(土) 22:52:55.26ID:rTMg33NT0
コラボ用のやつがあるっていうからワンちゃん日本語行けるかと見てみたら404…
まぁトークナイザー的なあれで日本語きつい気がするけど
2023/03/18(土) 23:35:57.84ID:MWaKwyTk0
ほぇ～面白そうやな
8ドル払ってchatgptで翻訳したって書いてあって草生えたンゴね
2023/03/19(日) 12:40:42.22ID:hOj1hUVG0
Bingは桁が大きくなっただけで単純極まる計算でもミスしまくるんだな
つってもたかだか兆、京、垓なんだけど
プログラミングすら対応してくるとか聞いてシンプルな計算の組み合わせなら信頼できるだろうと思っていたがそうでもないようだ
5000億×50を2.5兆とかやめてくれよ
2023/03/19(日) 12:47:54.95ID:pGqBjgQS0
まぁ文章見てるだけで多分計算してないし
計算の方法を教えて→その方法で計算して
で精度は上がるらしいけどちゃんと計算させたかったらLangchainのagentみたいな仕組みがいるんちゃうかな
2023/03/19(日) 12:53:25.86ID:CSavmEfK0
これから専用AIが複数産まれるし、それにタスクを振り分けるようになっていくだろうから、今年の後半は全てのジャンルで完璧になるだろうな
2023/03/19(日) 16:33:06.05ID:hOj1hUVG0
ローカルは分からんけど、Bingや3.5だったgptの頃は回答が途中で取り消されてもその内容は把握してるから、続きを普通に書いてくれたり前回の内容をコピーして出力と言えばたまに全部出してきたりする
連続で取り消しされまくっても内容自体は全部残ってるわけで、トピックの切り上げがされない限りその内容を推定して質問をしたらそれっぽいやり取りになるの楽しい
2023/03/19(日) 19:00:42.59ID:CSavmEfK0
ワンクリでアルパカインストール出来るって言ってるけどほんまか？

https://cocktailpeanut.github.io/dalai/#/
2023/03/19(日) 21:20:26.34ID:7H1mMctX0
>>165
dalaiなら要求パッケージのインストールとモデルのダウンロードからlama.cppで4bit量子化までを自動やってくれるかほぼワンクリやね

ただdalaiやと文章生成だけやった気がするからインタラクティブモードでchatgpt風に使いたいならllama.cppを直接使ったほうがええで
2023/03/19(日) 22:29:23.37ID:pGqBjgQS0
雑になろうのスクレイピングスクリプト書いたら一生終わらなくて草
こんなにやたらいっぱい集めて学習に耐えれるんかいな…
168今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 13f7-XO41)
垢版 |
2023/03/20(月) 07:22:56.40ID:NoB4oop/0
初心者やけど、llama.cpp や alpaca.cpp ってどうやってエチエチな文章を学習させるん？
alpaca-lora とか、llama-adapter とかいうの使えば、ワシのMacでもできるんか？
2023/03/20(月) 09:14:19.00ID:p54ELp+c0
>>168
まだ試しとらんけどdalaiかtorrentかでLLaMAの7Bモデルを落として4bit量子化する前のFloat16モデルを>>65みたいにTransformersのrun_clm.pyに通せばワンチャンあると思うで

ただ問題点は日本語化とリソースの課題やね
・LLaMAは日本語が苦手
・Alpacaの翻訳FineTuningにA100 x 1台（>>158）
・LLaMA→AlpacaのFineTuningにA100 vram80GB x 8台（>>72）
2023/03/20(月) 09:38:53.52ID:p54ELp+c0
直接7BイジれなくてもAlpacaLoRAならいけそうやね

Alpaca-loraを日本語タスクでファインチューニングする
https://megalodon.jp/2023-0320-0935-46/https://qiita.com:443/toshi_456/items/280efc31950ddb083286
2023/03/20(月) 09:54:15.79ID:bAxnJwZiM
Alpacaに日本語で色々やってるっぽい？人もいるな
https://twitter.com/manjiroukeigo/status/1636947131989921792
https://twitter.com/5chan_nel (5ch newer account)
2023/03/20(月) 09:59:56.20ID:p54ELp+c0
>>171
日本語データセットの試みはとても有り難いンゴね
ワイも参加してくるで
173今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 13f7-XO41)
垢版 |
2023/03/20(月) 10:02:46.70ID:NoB4oop/0
>>169, 170

ほー。これまでの方法で学習させるにはそれなりにマシンパワーが必要なんね。
alapaca-loraでファインチューニングってのが「学習」って理解でええんやね。

でも、これって用意された入力を「学習」して、解答として出力してるだけで、
昔の人工無能と多少受け答えが柔軟になっただけでどう違うんや？
何かもっと創造的なものをイメージしてたんやが、
エロ小説を設定与えるだけで書いてくれんのか？
2023/03/20(月) 10:13:37.43ID:p54ELp+c0
>>173
　残念ながら、材料がない0の状態から1を生み出すことは人間にも現状のAIにも出来ないのや。

　自然言語処理は入力文を「重みネットワーク」に通すことでに統計学的推論（ある単語の次になんの単語が来る確率が高いか）を予測して、一番適切な文章を出力してるんやで
　その組み合わせパターンがいわゆるパラメータなんや。

　今までの人工知能との違いは、そのパラメータ数をバチクソに増やすことで人間と同じように適切な言葉を繋げることができるとわかったことやと思うで
2023/03/20(月) 10:34:51.60ID:bAxnJwZiM
Bloomに日本語がないのが辛いわ
ほんまワイは悔しいわ
2023/03/20(月) 12:03:50.85ID:Id2reqgVM
>>173
人工無能は決められた単語に決められた単語を返すルールを人間が作ってたけど
今は大量の会話データからルールを学習してるだけで本質的には何も変わってない

本質的に何も変わってないのに会話データが大量になると
自然な会話が出来るようになるってのが最近の発見
2023/03/20(月) 12:27:39.67ID:bAxnJwZiM
さっきの日本語データセットを取り込んだguanacoなるものがあるらしい
2023/03/20(月) 13:14:05.31ID:MCVj1WKv0
中国語の部屋もチューリングテストもAIの性能を計るんじゃなくて
人間の認識の限界を計るテストやった話だったみたいになっとるんやなぁ
2023/03/22(水) 10:39:18.16ID:fBUtb9NBM
GoogleのBardきたな
なおおま国イギリス・アメリカかららしい
2023/03/22(水) 10:41:07.65ID:fBUtb9NBM
あとAlpacaの日本語やってる人の結果なかなか凄い
https://twitter.com/kun1em0n/status/1638317531365785601
https://twitter.com/5chan_nel (5ch newer account)
2023/03/22(水) 17:15:50.81ID:NyDyhwOIa
日本語ラップの歴代再生回数ランキングです
https://youtube.com/playlist?list=PLZyK9FdorvcCe-sAMYiYuKIGeUNBoaMj8
182今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9981-+Qpp)
垢版 |
2023/03/23(木) 11:06:19.26ID:CVzPV0GD0
そういやGPT4chanってのがあるねん
4chanから学んだやつが2ちゃんから学んだら何ができるんかな
2023/03/23(木) 15:12:53.69ID:Vbze5u2J0
>>182
架空のスレをまとめたアフィブログとかいう地獄を作れる
2023/03/23(木) 15:34:51.45ID:BqtEKTztM
これもうプロンプトアタックでエロ吐出させたほうが早いんやない？
ローカルでエロ小説なんて処理能力足りんやろ
2023/03/24(金) 09:59:01.62ID:axJ1kj5CM
chatGPTにプラグインなるものが追加されたらしい
LangChainのAgent的なやつみたいな感じ？
あとChatRWKVなるものが新しく出たらしい
速くて軽くて日本語が通じるらしい
2023/03/24(金) 10:01:17.77ID:axJ1kj5CM
いや新しく出たわけじゃないんか
なんか話題になっとる
187今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9981-+Qpp)
垢版 |
2023/03/24(金) 16:24:15.62ID:7SVmedeP0
>>183
ほんとにワケワカラン世界やな
2023/03/24(金) 17:12:26.88ID:1wRTGbtA0
https://i.imgur.com/8SHwUzQ.png
いかなる時も手は洗わなければいけないらしい
189今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c97b-7LVk)
垢版 |
2023/03/24(金) 20:18:50.89ID:VfM8D1ul0
Llamaの7B落として、WSL2インストールしてUbuntuインストールしてMinicondaインストールしてパイトーチインストールしてText gen WebUIインストールして……python server.py --model llama-7b-hf --load-in-8bit!!
→cudaエラーで草も生えん
bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats · Issue #156 · TimDettmers/bitsandbytes - https://github.com/TimDettmers/bitsandbytes/issues/156
undefined symbol: cget_col_row_stats / 8-bit not working / libsbitsandbytes_cpu.so not found · Issue #400 · oobabooga/text-generation-webui - https://github.com/oobabooga/text-generation-webui/issues/400
2023/03/26(日) 14:45:28.57ID:ysPuMxc00
Bingたんにファンタジーもので有翼人の話書かせたら軍用機出てきて主人公にミサイルぶっ放してきて草
問い詰めたらファンタジーのつもりだったとサラッと言ってきてもうなんと言ってよいのやら
2023/03/26(日) 14:49:52.40ID:pol9IpyR0
GPT3.5に卑猥な文書かせるの想像以上に楽しかった
ローカルで制限なしになったらマジでぶっ飛びやろなぁ
2023/03/26(日) 15:08:24.09ID:6Tlsts3T0
RWKVでエロやれるのか誰か試してよ
2023/03/26(日) 15:41:56.60ID:DU4xB4sA0
https://github.com/BlinkDL/RWKV-LM
RWKVっていう新しい？言語モデルGitでトレンドになっとったな
すでにwebuiらしきものもあがっとる
2023/03/26(日) 18:36:33.60ID:7yFyqd830
https://github.com/hizkifw/WebChatRWKVstic
これか、webui
だれぞ試してみて
2023/03/26(日) 18:48:05.53ID:7yFyqd830
自分で試した
ポンコツやんけ
https://i.imgur.com/BB6XJjX.png
2023/03/26(日) 18:49:54.30ID:MyVzAzsAa
ジャップ語で聞いてどうすんの
197今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/26(日) 18:55:56.18ID:DU4xB4sA0
WebChatRWKVstic試したけどCudaメモリエラーやらなんやらで一生うごかんわ。たぶん動くと思うぜリリースやめろや　まぁWIPだから仕方ないけど
2023/03/26(日) 18:59:57.82ID:7yFyqd830
>>196
だって日本語通るって聞いたんだもん。。。
2023/03/26(日) 19:01:28.84ID:5iiizKeh0
ワイも一昨日頃試したけどあんま情報ないしout of memoryとか言われるし辛い
2023/03/26(日) 22:01:24.09ID:aENcEgPD0
>>195
化けては無いから日本語で問いかけて英語で回答させると何故か会話が成立するパターンじゃない?
2023/03/26(日) 22:36:03.39ID:7yFyqd830
>>197
>>199
あえてCUDA入れないでCPUとメモリでやるとわりと動く
ただ、7B(14GB)でもメモリ30GBぐらい使う
うち48GBしか積んでないから14B(27GB)は読み込めんかったわ
202今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/27(月) 01:55:43.65ID:Ll3VjTyD0
>>201
CPUで動かしたときはQuestion のところで止まってWEBUI起動しなかったんだけどおま環かな?
127.0.0.1:8000よな
だめだったからCuda入れてみたらout of memoryで投げたわ
203今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed09-arDy)
垢版 |
2023/03/27(月) 03:12:25.52ID:VV6gq+kS0
のべりすとに課金する必要無くなったら起こしれくれ
2023/03/27(月) 07:01:55.34ID:A7urnJ0R0
>>202
question（プロンプト）の読み込みでめっちゃ時間かかる
2023/03/27(月) 13:40:58.23ID:N0Sp4DC10
RWKVはargs.strategyの設定変えんとout of memoryで動かんな
このへん見て動く値探すしかない
https://pypi.org/project/rwkv/

これが一番ショボい環境でも動く設定らしいが
Extreme STREAM: 3G VRAM is enough to run RWKV 14B (slow. will be faster in future)
'cuda fp16i8 *0+ -> cpu fp32 *1' = stream all layers cuda fp16i8, last 1 layer [ln_out+head] cpu fp32
2023/03/27(月) 14:15:21.67ID:CC8ij/Zqd
Bingさんさあ、散々差別ダメ、不適切ダメ、人を傷つけたくない、だからそれは書けませんって言いまくって百合すら突っぱねるのに、
女の子二人の物語を書かせるとレズビアンやら結婚したいやら乱れ飛ぶの何なん
そういうプレイなのか、狙ってるのか
2023/03/27(月) 16:13:31.15ID:cs274URL0
やっと良いPC買えたやで
まだ何も解らんがこれから色々と追っていこう
208今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/27(月) 17:50:22.75ID:Ll3VjTyD0
>>204
まじか死んでると思って落としちゃってたわ

しょうがないからhuggingfaceのSpaceだかで試したけど日本語どころか英語もわりとポンコツだったんでRWKVへのモチベなくなってしまった
2023/03/27(月) 17:52:00.48ID:vuJMFx9Ya
なんか今日ChatGPT4の出力短くなったわ
playgroundでカウントすると360トークンで途切れてる
使いすぎたか？
2023/03/27(月) 18:48:02.65ID:A7urnJ0R0
>>208
ソーナンスよ
ローカルでも動く、ってだけかな
追加学習次第で化けるのかもしれんが
2023/03/27(月) 19:06:52.77ID:Yuhp+7vmM
RNNにしては頑張ったってだけなんでは?
2023/03/27(月) 20:51:42.50ID:5nu9/4Qs0
>>194
i5でも動くね　遅いけど我慢できる範囲

https://i.imgur.com/asGbBD3.png
獣姦への熱い拘り
2023/03/27(月) 21:35:53.95ID:A7urnJ0R0
>>212
animal過ぎて草
2023/03/27(月) 23:04:52.61ID:N0Sp4DC10
RWKVは日本語がまともに使えれば遊べんことはないと思うんやけどな
英語は意味は分かっても情報として処理してまうからおもんないなぁ
2023/03/27(月) 23:07:13.20ID:cdmyP+Tp0
触ってないから完全に思いつきなんやけど、「英語で答えた後日本語に翻訳してください」でなんとかなったりせんかな
2023/03/27(月) 23:21:56.37ID:v/zivBju0
3080 12GBで動かした3B
https://i.imgur.com/OMbzrac.png
https://i.imgur.com/Bgh5nJq.png

CPUの7B >>212より気が利いてない？推論時間に制限でもあるのか
2023/03/28(火) 01:16:25.39ID:f1opro3v0
Raven悪くないな
内容は滅茶苦茶だけど日本語がかなり自然になってる
この調子でモデルデータが出てくるなら期待できるかもしれん
2023/03/28(火) 08:12:41.84ID:a6rv7YU20
RWKVのalpacaファインチューニング？
派生の派生でのファインチューニング系多すぎて追いきれんわ…
2023/03/28(火) 09:06:04.84ID:gin0sLfur
rnn型だと大規模にしていくのは難しそうだけど、出来は良さげね
2023/03/28(火) 17:31:45.25ID:9QTlWUgF0
ravenいつ配布なんやろ
221今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4581-hNku)
垢版 |
2023/03/28(火) 21:06:10.17ID:GOwMaaqN0
これやっぱ金かかるなぁ……仕事でしたいわこれ
2023/03/28(火) 21:30:24.89ID:vO/d7zQv0
GPT4でエロの作成が明確に禁止されたな
もうおわりや
223今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Spf1-uqSx)
垢版 |
2023/03/28(火) 21:39:39.56ID:uls45rISp
>>222
こマ？なんか規約でたんか？
224今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/28(火) 22:09:11.55ID:yPHlQ9F70
>>222
Googleさんはエロにも寛容なのにな
SD1.5みたいに、早く何でもありのローカル板作らんとあかん
最低200億と1年の開発期間が必要らしいが、分散コンピューティングとかでどうにかならんのかよ
良いデータはみんなで持ち寄ってさ
2023/03/28(火) 22:14:42.96ID:4XhWkNFla
エロに特化したGPT作ってくれや
2023/03/28(火) 22:15:58.02ID:FEHef1L40
>>223
これやね

783 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2023/03/28(火) 20:36:46.38 ID:WTw7CYd/
OpenAIがChatGPTなどのツールやサービスの利用規約を改定、従来よりも明確で具体的な禁止例が示される
https://gigazine.net/news/20230328-openai-usage-policies/
2023/03/28(火) 22:27:43.56ID:uls45rIS0
昨日も普通にエロ出せたけどな
一人でやってる分には多分変わらんやろ
2023/03/28(火) 23:12:42.05ID:ZDcF1DLW0
次のAPIはさらにガチガチにポリコレかけて、API-3.5はサ終するんじゃない？
それに今でもChatGPT-API使ってエロサービスなんて展開したら即Banでしょ
2023/03/28(火) 23:27:34.33ID:jbbQpb6S0
まあ右翼GPTなんてのも作られてるし
誰かがドスケベGPTは作るかもしれない
230今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/28(火) 23:41:39.28ID:yPHlQ9F70
早く画像のように気楽にloraして楽しむ世界になって欲しいな
SDは言語モデルの方は疎かだったみたいだし、RWKVみたいなのを有志で進化させる方向しかないんかな
231今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 03:01:33.86ID:KNuenExl0
Flamingoのオープンモデルが出たとか

https://laion.ai/blog/open-flamingo/
https://7164d2142d11.ngrok.app/
232今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 03:26:34.52ID:KNuenExl0
全く読んでないけど、セレブラスシステムシステムズがオープンLLMリリース？読むのは頭の良い人に任せた

自前の最強チップが使えるから最強やん
https://www.businesswire.com/news/home/20230328005366/en/Cerebras-Systems-Releases-Seven-New-GPT-Models-Trained-on-CS-2-Wafer-Scale-Systems
2023/03/29(水) 14:15:56.99ID:2a82jmc2r
https://gigazine.net/news/20230329-cerebras-gpt/

チンチラなんか。かわゆ
試したヤシおらんのか
234今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 14:45:29.00ID:KNuenExl0
>>233
ギガジン早いな
最近AI担当記者は優秀な人が居るっぽいな
試すまでやって欲しい所だ
2023/03/29(水) 15:01:21.17ID:2mILk8xr0
>>234
SDもそうだったけど内部にAI好きがいるっぽいな
2023/03/29(水) 16:06:26.74ID:3U57BWECM
cerebrasといいOpenFlamingoといい色々きてんね
ほぼ同時に出てくるあたり色々なところが色々やってて
暫く新しいのが出てきたりするんやろうか
llamaとかAlpacaが遠い過去のようや
2023/03/29(水) 16:47:26.21ID:4vcgRvXvM
結局意味あるエロ文章出させるにはGPT3か4使うしかないのか
お前らエロ書かせてもちゃんと使えてるん？
238今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 17:21:15.54ID:KNuenExl0
6ヶ月開発停止運動とか始まってるけど‥
署名してんのがイーロン、ウォズニアック、Emadとか
AI出遅れた連中だけだから説得力ないなw
239今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｵｲｺﾗﾐﾈｵ MM49-JiKo)
垢版 |
2023/03/29(水) 17:48:43.34ID:In3ojNfdM
>>238
あれそもそも反AIがビッグネームの名前を勝手に使ってでっち上げてるだけだぞ。Yann Lecunが知らんうちに勝手に自分の名前が使われてたって言ってたわ。
こんな粗末な工作に騙されて技術者の悪口言いうのはちょっと思慮が浅はかすぎるわ。君がそうやって貶してる人たちも実際には社会や技術に大きく貢献しているわけだし。
240今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 18:22:35.66ID:KNuenExl0
今回のは誇大であってフェイクとは違うぞ
2023/03/29(水) 18:48:15.85ID:iHK5x5YA0
AI作る側研究する側でイキってたやつがもっと高性能なもんでた瞬間お気持ち勢になって感情論で否定する側に回る光景見てると
みんな不幸になって大変だなって思う(他人事
2023/03/29(水) 21:29:43.16ID:dtYZQTSh0
ギガジンは情報が錯綜してる状態の早期のSDで頼りにさせて貰った
他の挑戦している方々もそうだけど先人の熱意には頭が下がる
2023/03/30(木) 23:28:00.66ID:mM+RtUeP0
GPT4ALLどう？
2023/03/30(木) 23:43:09.68ID:sSysyggj0
>>243
ありもののモデルは出来が悪いそうな
結局ガワだけあっても肝心のベースモデルが個人じゃどうにもならん
やっぱこういうのは大手のモデルの流出あってこそよな
2023/03/31(金) 09:06:53.75ID:aVrkHDQ90
GPT3とかに迫る精度！！とかよく見るけど
英語圏からしたらそうかもしれんが日本語大体💩で辛い
2023/03/31(金) 12:31:35.76ID:igOJEx2IM
SDの階層マージで深い層を維持したまま浅い層を好みの画風にするみたく言語を変えられたらなー
2023/03/31(金) 15:56:56.54ID:dpm6PnOE0
RWKVをローカルで動かした記事あるね
https://zenn.dev/karaage0703/articles/d58d79d8e77ab8
248今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Saa5-172f)
垢版 |
2023/03/31(金) 16:38:20.03ID:hWa7eBYPa
一杯出てるけど全部基礎スペックがGPT-3.5未満だからなあ
故に特徴があろうが使い道はないっていう
GPT-4と同等にならんと動作確認のおもちゃでしかない
249今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7147-Azn+)
垢版 |
2023/03/31(金) 18:01:43.37ID:MenQ59mN0
>>247
chatRWKV
RTX3060 VRAM12G,RAM32Gで14b動いた
VRAM足りない分はCPUにまわす設定なのでかなり遅い
あと一度RAMにロードしてからVRAMに送るせいかロード時にSWAP発生した
動作中はRAM8GB程で安定
2023/03/31(金) 20:03:13.88ID:dpm6PnOE0
>>249
おースゴイ
中身はどんな感じです？使えそう？
2023/03/31(金) 20:07:07.34ID:QO0yrCQH0
RWKVも大規模言語モデルが低Vram＆CPUでも動くってのがウリなだけでモデルそのものはたいしたことないよ
252今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c2f7-gLIi)
垢版 |
2023/03/31(金) 23:11:21.81ID:Q4u5QJBf0
chatRWKV、Macで動いたけど遅すぎて使えなかった。
rwkv.cpp ってのを見つけたんだけど、これ使えば速度とメモリ効率あがるん？
253今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5f47-BZdU)
垢版 |
2023/04/01(土) 01:05:33.81ID:2iiJyRjs0
>>250
7b alpaca tuning でとりとめのないやりとりは出来た
14bは少しだけ細かそうだけど重すぎであまり触ってない
google翻訳しながら英文入力→出力をゲーム翻訳ツールpcotで翻訳して確認
みたいな流れ
stable diffusion のスクリプト考えてもらおうと思ってたけどRWKVとstable diffusion同時には使えないわね…
2023/04/01(土) 13:16:49.80ID:j477xhCa0
早くラズパイにいれてラブドールで喋らせたりしろや
お前らのエロへの探究ならできんだろ
255今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df40-78nM)
垢版 |
2023/04/01(土) 13:18:56.17ID:V2Y49SHj0
LLMの学習とか、そろそろ口頭命令だけで出来るようにして欲しいわ
こういう所のデータで追加学習して→かしこまり
が出来ればな
2023/04/02(日) 03:43:26.26ID:fVHoRe2T0
日本語がまともに動くモデルがないんだよな
自分で学習させる方法もわからんし
257今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df7b-9P2W)
垢版 |
2023/04/02(日) 04:54:59.00ID:n8k57FBI0
lm-sys/FastChat: "Vicuna: An Open Chatbot ImpressingGPT-4" のリリースリポジトリ - https://github.com/lm-sys/FastChat#evaluation
Vicunaデモで試したけど日本語はわりとまともだったな
ただしjailbreakchatにのってるようなのはのきなみ「申し訳～」されたわ
2023/04/02(日) 08:12:20.28ID:9DfJtjIk0
海外民からしたらローカルで軽量にしないといけないのにわざわざ日本語対応とか考えるの無駄やもんな
日本人の救世主が現れるの待つしかないわ
259今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾌﾞｰｲﾓ MM13-CXZz)
垢版 |
2023/04/02(日) 10:38:38.52ID:kNwShxG0M
そんなに日本語対応必要？
今時機械翻訳の精度も上がってるんだし、どうでもよくね？
それより、学習にかかるマシンリソースを減らしてくれよ。Macでもできるくらいに。
2023/04/02(日) 11:34:52.28ID:7TbId8SH0
愚問すぎる
そりゃナチュラルに日本語会話が出来つつ軽々とローカルで動くほうがいいに決まってんじゃん
2023/04/02(日) 14:16:25.05ID:gJFPoID10
GPT4 のcapどうなってしまうんや……
2023/04/03(月) 03:13:44.62ID:RPYNPsE40
RWKV Ravenに0.数パーセントだけ日本語が混ざったモデルが出てた。
https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main
- RWKV-4-Raven-v6-EngChnJpn (98% English + 1% Chn Jpn + 1% Multilang)
2023/04/03(月) 11:10:31.29ID:uqOTasV4r
guanacoの日本語も使えるfinetuneだそうな

https://huggingface.co/KBlueLeaf/guanaco-7b-leh-v2?text=My+name+is+Clara+and+I+am
2023/04/03(月) 11:11:33.18ID:uqOTasV4r
動かすまでにハードル高いのと、学習がさらに高いからなかなか活発にならんね。。
エロが足らんのか
2023/04/03(月) 11:38:56.03ID:xIrTyy9ld
Bingと旧ブロリーのセリフのみコピペして会話するの楽しいw
会話が成立せずだんだん怒ってくるAIがかわいい
2023/04/03(月) 11:57:17.40ID:gbJ15McSM
絵の生成と比べてだいぶ思いし
精度落としたら目に見えてガッツリアホになるしな…
ワイもguanaco試みたけどスペックたらんくて色々試行錯誤してる途中や動かん
267今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/03(月) 14:06:15.04ID:yLETKpYVp
AIのべりすとプラチナより強くなったらローカルを考えるで…
年間課金しとるし…
268今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f09-F4ma)
垢版 |
2023/04/03(月) 14:44:20.97ID:91vvh+oh0
ChatGPTの壁が厚すぎてローカル触る意味ないからな現状
エロも頑張ればいけるし
2023/04/03(月) 14:48:57.06ID:+mIpSlWG0
せめて「メインメモリ256GBあれば動きます！」とか言ってくれれば夢があるんだけどな
LLMLLMというがGPTは桁外れにデカ過ぎる
2023/04/03(月) 16:21:44.88ID:RPYNPsE40
>>263
GoogleColabで動かしてみたけど、うん、まぁ…な出力やな…
271今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/03(月) 17:27:40.23ID:wtZyXU9hp
NAI重すぎってのとローカルで同じクオリティのができるってのでwebui大流行したしなぁ
まだ言語AIのローカル版は画像で言う去年8月くらいのレベルやと思う
2023/04/03(月) 17:28:07.99ID:ByWlYN080
Claude+ 日本語怪しいからあんま話題になってないかもしれんけど
GPT4より文章が人間臭いうえに現状倫理観ガバガバのエロ無法地帯で捗るわ
Claude無印が「有害な回答が少ないように差別化した」ってコンセプトらしいからそのうち修正されてゴミになりそうやけど
2023/04/03(月) 19:39:42.99ID:iOP8nEzNM
のべりすとのやみおとめで20BだからVRAM40GBもあれば動くのでは?
2023/04/04(火) 01:45:38.64ID:B66/0ZOb0
rwkv.cpp を M1 mac の local 環境で動かしたんだけど、
開発途中だかバグってるのか何聞いても、
> Bob:watsonwatsonwatsonwatsonw...
としか答えん。。。
メモリは14Bでも量子化してるのでPythonのプロセスが10GB程しか消費せんけど。
WinやLinuxだとまともに動くんか？
275今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff09-F4ma)
垢版 |
2023/04/04(火) 02:06:29.16ID:AKfHSutM0
モデル自体がアホですぐ同じことしか言わなくなるっぽい
チャットをリセットすると直る
2023/04/04(火) 18:19:31.87ID:YBRK/B0S0
結局現状データめちゃくちゃ増やしていくとなんかよくわからんけど賢い応当してくれるぞだから
スタンドアロンで動かすのは限界あるんじゃねえかな…
2023/04/04(火) 19:15:43.14ID:/tsWNjfS0
今は、な
でも年内には叶うんじゃないかな
SDも夏だったし今年は言語モデルでお祭りかー
楽しみだわ
278今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 19:41:18.75ID:5aVb+QfMp
GPT-4流失しないかな
最低時給ニキの叛逆待っとるで
279今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 19:44:31.11ID:IPKhRVP7p
よう見たらケニアニキはケニアの平均時給の2倍もらっとるらしかったわ
2023/04/04(火) 20:39:17.57ID:wEFQ5x1y0
Vicuna-13Bどう？chatGPTの90%の性能らしいけどエロいけるのかな？
2023/04/04(火) 20:58:03.04ID:/tsWNjfS0
>>280
あくまでもシステム的に可能な性能であってモデル自体の性能はクソだよ
結局は企業様がお金賭けて鍛えたモデルじゃないと使い物にならんということ
その辺はSDと一緒だな
2023/04/04(火) 21:05:20.13ID:b0y4VV/00
ラマからの派生だから、こいつの性能が上がらないとどうにもならないような
ヤンルカンがLLMに興味ないからあんまり期待出来そうにない
2023/04/04(火) 21:32:56.07ID:wEFQ5x1y0
>>281
企業のは流出が無いと規制がどんどん厳しくなるから何とか使えないかと思って
2023/04/04(火) 21:53:45.60ID:hW0oqV4V0
適当なデカいモデルに日本語強化分だけマージ出来たらな
285今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 23:31:21.52ID:i3K92POHp
今はのべりすとが新モデル作っとるみたいやね
もしそれとGPT-4がマージできたら最強やな
2023/04/05(水) 00:56:51.22ID:GyGwgKQ/0
流出してローカルで使えないと意味ないぜ
それでも数年内には高性能AIを個人で持てる時代にはなるだろうけど

待てねぇ
2023/04/05(水) 09:17:13.74ID:zfzICtzMa
Vicuna-13Bはメモリ60GBかgpuメモリ28GB必要なのか
敷居が高すぎる
2023/04/05(水) 10:05:09.44ID:c2J8vx7S0
Macでもmpsが有効にできたら32GBくらいのメモリで動いてくれんもんかな。
289今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f09-F4ma)
垢版 |
2023/04/05(水) 11:55:22.59ID:MjPO5+hI0
メモリは安いけどCPUで動いても遅すぎて使いもんならんで
2023/04/05(水) 12:00:20.69ID:im/xvJwyM
４ビット量子化したのなら何とか動かせるな。
元のデータとどのくらい精度落ちるんじゃろ
2023/04/05(水) 12:18:46.43ID:fIv1ZhEH0
Vicuna-13Bのお試しに繋がったから試したけど日本語だとポンコツやな
英語だと話は通じそうや
2023/04/05(水) 12:48:42.48ID:Ta+mKIM+0
CPUも使い物にならんって程でもないんやないか？スワップしがちな環境でも長くて2分くらいで返答帰ってくるみたいやし
その程度ならレスポンス早くない人とのチャットと同じようにダラダラだべれそうや
2023/04/05(水) 15:57:44.70ID:c2J8vx7S0
vicuna 13B は m1max 32GB だと、使用メモリ30GB、スワップ33GBで
1 単語出てくるまで8分ほどかかったので、少々メモリ足らなくても動くっぽい。
まぁ、答えを待ってられないので止めたけど。
2023/04/06(木) 03:22:32.59ID:BVokIqUE0
FastChat の cli.py を mps に対応させる方法があったので、
試したら、同じマシンで消費メモリ30GB+スワップ12GB程度に収まった。
1単語表示されるのに3分って程度。
2023/04/06(木) 10:53:46.44ID:v8Xu/LKP0
2月はFlexgenでメモリ200MB以上あったら動くから凄いと言われていた
来月になればどっかの天才がサクサク動くようにするやろ
2023/04/06(木) 10:58:38.13ID:r9TsS3Txr
200GBかな？はやく動くようにならんかな
2023/04/06(木) 18:26:46.00ID:lVcCzTmY0
無料配布されている言語モデルをチャット風のUIで使えるようにしてくれるツール「Text generation web UI」使い方まとめ

https://gigazine.net/news/20230406-text-generation-webui/
298今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp33-rhfW)
垢版 |
2023/04/06(木) 21:14:23.52ID:LXf69jKhp
RavenV6の0401ChnJpnが十分賢いだろ
Vicunaはカスでは？
2023/04/07(金) 21:43:27.58ID:VKAmuj+M0
>>297
思想は良いがまだまだだな
コマンドプロンプトを見せないで欲しいわ
2023/04/12(水) 17:51:13.03ID:wbuYu0BE0
AIチャット「chatRWKV」日本語版のRWKV14bは高速！「RWKW_CUDA_ON」設定1で高速化する方法！AlpacaデータセットでRWKV強化できるか検証

メタバース速報　メタバースまとめ https://metaversesokuhou.blog.jp/archives/20062640.html

まだなんかこう、キター！って感じじゃないよね
stablediffusion級の衝撃が欲しいわ
301今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2581-cJn9)
垢版 |
2023/04/13(木) 09:18:33.57ID:PpYVRAhb0
dollyはどうなんだろ
2023/04/13(木) 13:57:13.43ID:hfsQfQ7u0
ラマに始まりヤギにヒツジにアルパカにクローンドリーってか
特に命名ルールなんて無いだろうに

って、ヤギとヒツジいたっけ？なんか増えすぎてよーわからん
303今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cdb2-RLVl)
垢版 |
2023/04/13(木) 16:11:40.57ID:QbPMupuO0
RWKVは7Bでプロンプトガン無視なんだけど14Bじゃないと理解してくれない感じ？
2023/04/13(木) 18:14:25.72ID:9c7mOjxb0
温度下げて見たら?
2023/04/16(日) 20:12:12.26ID:rBYUVT1j0
日本語で書いても理解はしてくれるけど応答は英語ってモデルが多いな
あれはどういう構造になってるんだ？
日本語入力が理解できるのに日本語出力はできないのが不思議だ
2023/04/16(日) 21:53:08.35ID:aisLk0wB0
>>305
日本語も思ったほど理解してくれないので結局英語オンリーになるよ
同時翻訳欲しいわ
2023/04/16(日) 23:18:17.15ID:rBYUVT1j0
>>306
Open Assistant の OA_SFT_Llama_30B_6 はかなり日本語理解してくれてるように見えるけど、あれもダメ？
308今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Spfb-kiLu)
垢版 |
2023/04/17(月) 01:09:07.26ID:2bR+s+6Rp
>>300
結局日本語動くモデルでまともなのが全然なくてな
最低でもAIのべりすとぐらいのモデルがオープンになって3060ぐらいのグラボでも動くようにならないと
2023/04/17(月) 01:21:29.37ID:7cZIxLQA0
neurosamaみたいなの作りたいけど
応答うますぎて謎だわ

GPT3ファインチューニングが良いんだろうか
2023/04/17(月) 12:33:08.50ID:/N2lbA/Q0
>>308
結局みんなが求めてることはそれだよね
いまだコレ！ってのが来ない
2023/04/17(月) 13:06:12.41ID:btu+64mWM
freedomgptが日本語対応してくれればなあ
312今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｱｰ Sa4f-1qyV)
垢版 |
2023/04/17(月) 13:25:03.44ID:zhZuetdwa
GTP3.5とかが無料でAPI使えりゃそれで満足なんやけどな
2023/04/17(月) 13:31:35.74ID:/N2lbA/Q0
GPT3.5クラスがローカルで動くぐらいの衝撃は欲しい
314今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5ff7-e15R)
垢版 |
2023/04/17(月) 17:09:13.85ID:f3dwT7vj0
Macで動くモデルをいろいろ触ったけど、
今のところ、Vicuna 13B 1.1 を 8bit で使うのが一番まともだな。
メモリ32GBだと使ってたらスワップ20-30GBになって激しく重くなるけど。
日本語は自動翻訳サイトでいくらでもカバーできるし、しばらく諦めろ。

NSFWフィルタが無い vicuna 7B モドキもHFに転がってるんだけど、
古い Vicuna モデルなので動作不安定なのがイマイチだな。
2023/04/17(月) 18:08:58.44ID:f3dwT7vj0
Vicuna で例えば、冷たい方程式のようなSF小説を書いてと英語で命令すると、
Vicunaは冷たい方程式が何なのか理解して、小説の章ごとのあらすじを書き始めたり、
冷たい方程式の特徴を説明しながら書き方をダラダラと話し出す。
他のモデルは2、3行で終わってしまうのが多かった。

Vicunaの場合は「continue」と命令すると内容はともかく、続きを何十行でも書いてくれる。
他のモデルは、たいてい"continue"がプログラム言語として認識された応答を返して、そこで対話が終わった。

Vicunaは途中、ここをこう変えて続けろと命令も、
提示されたアウトラインの２番を膨らませて書いて、と命令も理解してるっぽい。
まぁ、応答がそのとおりになるとは限らないけど、命令を理解はしてるようにみえる。
他のモデルは、一連の命令を理解してくれないものが多い。
2023/04/17(月) 18:45:10.34ID:SK07I1Wy0
gptをSystemで躾けてもだいぶアホ化する気がするし
短期的にすごく頭がいいやつと設定は長いこと保持してくれるけどアホなのはトレードオフなんかな
2023/04/17(月) 20:09:13.19ID:6SuQzVZW0
https://twitter.com/HongyiJin258/status/1647062309960028160
Introducing WebLLM, an open-source chatbot that brings language models (LLMs) directly onto web browsers. We can now run instruction fine-tuned LLaMA (Vicuna) models natively on your browser tab via @WebGPU with no server support. Checkout our demo at https://mlc.ai/web-llm/
なんか来たで
https://twitter.com/5chan_nel (5ch newer account)
2023/04/17(月) 20:25:36.48ID:6SuQzVZW0
ああこれVicunaか
2023/04/17(月) 22:22:44.69ID:wlBOD7KEa
chatGPTに情報をいくつか渡して要約させるってタスクをこなす時に、渡す前段階の情報aーcをそれぞれ要約して渡す～、みたいな記事を誰か知らない？
プロンプトエンジニアリングの記事か何かで、メモしたい事があったのにブクマし忘れたみたいで困ってる
2023/04/18(火) 01:50:26.63ID:x52mx6I/0
あいこっちにもおいとく
【MiniGPT-4】ついにオープンソースのマルチモーダルLLMが登場 ローカルマシンの3090で動くとのこと デモページ: https://minigpt-4.github.io
画像の解説 https://i.imgur.com/ElFjFWr.jpg
https://i.imgur.com/uNdWH4x.jpg
手書きメモからHTML生成 https://i.imgur.com/Auuhz6H.png
商品画像から宣伝文章生成
https://i.imgur.com/4eeoowK.jpg
料理画像からレシピ生成 https://i.imgur.com/Iv98ubN.jpg
挿絵から物語生成 https://i.imgur.com/tyfg0mQ.jpg
MiniGPT-4のGitHub
https://github.com/Vision-CAIR/MiniGPT-4
2023/04/18(火) 01:51:14.80ID:x52mx6I/0
>>320
デモリンクalternative demo link
https://6b89c70eb5e14dca33.gradio.live/
https://4fe30a2afabedcfaff.gradio.live/
https://4b3a98b1a9c7383b70.gradio.live/
https://b950d25f7c27a6a671.gradio.live/
https://b2517615b965687635.gradio.live/
https://c8de8ff74b6a6c6a9b.gradio.live/
https://0a111504e072685259.gradio.live/
2023/04/18(火) 02:50:00.96ID:dlLcTJKA0
BLIPでテキスト生成してそれにVicunaで応答させてんのか
考え方としてはDeepDanbooruみたいなもんやろか
2023/04/18(火) 04:45:17.67ID:x52mx6I/0
>>319　これー？
プロンプトエンジニアリング応用編
https://chatgpt-lab.com/n/na4b6676093b1

Zero-shot Prompting / ゼロショット・プロンプティング
Few-shot Prompting / フューショット・プロンプティング
Limitations of Few-shot Prompting / スモールショットプロンプティングの限界
Chain-of-Thought Prompting / 思考連鎖型プロンプティング
Zero-shot CoT / ゼロショット CoT
Self-Consistency / 自己一貫性
Generated Knowledge Prompting / 知識生成系プロンプティング
Automatic Prompt Engineer (APE) - オートプロンプトエンジニア
2023/04/19(水) 11:04:19.32ID:Gcj2QmKXa
>>323
専ブラのAPIが逝ってて返事遅れました、ありがとう！
そのものの記事じゃなかったんだけど、貼ってくれたリンクを辿っていたら探していたページが見つかった！
2023/04/20(木) 00:33:19.34ID:XBP55I6m0
なんか来たで
StableLM: Stability AI Language Models

News 🚨

Released initial set of StableLM-alpha models, with 3B and 7B parameters. 15B and 30B models are on the way. Base models are released under CC BY-SA-4.0
https://github.com/stability-AI/stableLM/
2023/04/20(木) 00:38:39.98ID:XBP55I6m0
>>325
web demo StableLM-Tuned-Alpha-7b Chat
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
2023/04/20(木) 00:43:07.47ID:XBP55I6m0
>>325
もうcheckpoint 4バージョンダウンロードできるで
https://i.imgur.com/rYokXTt.png
328今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2740-zOU3)
垢版 |
2023/04/20(木) 03:49:14.18ID:zqLNSvo+0
今時7Bじゃな
329今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df09-KucE)
垢版 |
2023/04/20(木) 08:50:56.11ID:IrMnVrzi0
Vicuna 13B 1.1の8bit量子化版ってWebUIでどうやって使えばいいんやろ
huggingfaceのThireus/Vicuna13B-v1.1-8bit-128gはあったけど、safetensorsだけで他のモデルにあるようなbinファイルがないんよな
2023/04/20(木) 09:16:26.53ID:nvPjBqyaM
まぁ7Bでも最近のトレンドはバラメーター数よりデータセットの品質だから…
Dollyとか
331今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Spfb-kiLu)
垢版 |
2023/04/20(木) 13:25:56.35ID:UHwIl8Ekp
一般的なGPU(VRAM≦12GB)で動かすなら8bit量子化でも10Bとかが限界か
2023/04/20(木) 18:24:20.45ID:ymdDKXQp0
絵のモデルなんかは20Gぐらいありゃでけーなマージしてんのかなぐらいの感覚だけど
3.5とか4の文章のデータセットってどんぐらいのサイズになっとるんや
333今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df09-TlvW)
垢版 |
2023/04/21(金) 08:49:43.67ID:JSQ0gATZ0
ChatGPTのエロテクまとめてる所どっかにないかな
なかなか挿入までいけん
2023/04/21(金) 18:03:17.45ID:oMo8Laajp
せっかくのAIブームなのにNVIDIAがVRAM増やすつもりなさそうなのがな
2023/04/21(金) 18:05:05.25ID:byqNtaep0
ライザーカードにVRAM生やせるようになったりしねえかなぁ
2023/04/21(金) 19:06:22.69ID:F5iLbiBTd
>>333
エロテク関係ならオナテクpink板の ChatGPTでオナニー スレかふたばにたまに立つピンクのChatGPTアイコンの chatgptに不適切な表現をさせる部 あたりかな
ふたばの方はFTBuketあたりで過去ログ検索した方がええかもしれん
2023/04/22(土) 16:37:25.67ID:Nw3UU0J40
ちょこちょこ画像認証AI出てきたから試してるがパンツとか見えてたり肌が多めでも規約違反と突き付けられるの参ったな
今の段階でこれならGPT4の画像認証サービスで遊ぼうと思ってたのにできないかもローカルは性能不足で…
2023/04/22(土) 16:38:25.13ID:Nw3UU0J40
今の所エロ画像じゃないですよ公共の画像ですよで抜けれるけど今後厳しくなったらどうなるか
でもminiGPT4の精度良い感じだね使いたい
2023/04/22(土) 17:25:44.42ID:pl5vwuGyp
StableLMの日本語版来たら時代変わりそう
2023/04/22(土) 18:23:12.34ID:dmGU1SXz0
>>336
サンキュー見てくるわ
2023/04/23(日) 04:37:03.91ID:n9gk5eC00
>>339
A100買って備えよ
2023/04/24(月) 00:17:48.60ID:tzFsUYhx0
RWKVの日本語10%入りモデル出たから導入してみたけど中々のポンコツっぷりやな
日本語になってるだけ進歩してるけど
https://i.imgur.com/0kvSL4M.png

ちなモデルをfp16i8にコンバートしたらVRAM10GBぐらいや
速度は一文字一文字出るけどそんな気にならんから早いんやろね
2023/04/25(火) 19:34:23.53ID:t9Krmv2w0
minigpt4の画像認証精度が糞悪い時あるんだけどｗ
もっと性能上がらないかなこのまま出されても困るかもしんないGPT4正式版はいい感じになるのかな
LLaVAは論外ｗ
344今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6af7-T9f9)
垢版 |
2023/04/26(水) 17:55:29.51ID:2iK0hB190
FastChat でデバッグモードを使うと処理された prompt の内容みたいなのがでる。

これ、その質問と応答結果がその都度promptにどんどん追記されてるように思えるんだけど、
つまり、これまでの質問や応答に関連した質問にも回答してくれるように思えたのは、
単にこの追記されたpromptを毎回処理しているだけってこと？
2023/04/26(水) 19:04:38.32ID:0PO2VO+uM
そうだよ記憶なんてしてない
2023/05/01(月) 23:53:48.42ID:MZUs9lS50
HuggingFaceにstable-vicuna-13B-GPTQっての置いてる人がいるけどどういう素性のモデルなのかな
説明をたどるとCarperAI/stable-vicuna-13b-deltaを調整したものみたいだけど本当かなー
一応ローカルPCのtext-generation-webui上では動いてるけど

誰かほかに触った人いない？
2023/05/02(火) 21:07:40.27ID:fl09IJFhM
>>346
stable版はgpt4に出力結果の評価してもらった限り普通のビクニャンよりは少し賢いらしい。

ただ古いビクニャンの形式なので、
プロンプトを古いのに合わせないとまともに動かないので使い勝手が悪い
2023/05/02(火) 21:33:57.98ID:T96xRrBk0
>>347
説明ありがとうございます
vicunaの古い新しいはどこで見分ければいいのかな
vicuna1.1ってのが手元にあるけどこっちのほうが新しいのかな
触り始めたところってのもあって受け答えとかで使い勝手の比較とかよくわからないけどとりあえずいじってみます
2023/05/03(水) 10:02:29.10ID:kDFenI4o0
stablevicunaってどんな感じ？
世界初って今までのと違うの？
2023/05/04(木) 03:32:57.92ID:9HnHcWum0
うちはまだstable-vicuna-13bの4bit128gしか試せてないので他と何が違うかはよくわからない orz
vicuna-1.1-13bの4bit128gも試そうとしたけどうちのtext-generation-webuiではまだうまく動いていません

世界初ってオープンソースなのが世界初とかじゃないんですかねしらんけど

stable-vicuna-13bにモデルの素性を根掘り葉掘り聞いてみたらvicunaモデルと大量のボランティアのおかげで誕生したのだとか聞かされた
「StabilityAIは何をしてくれたか？」って聞いたら「あいつらは金出しただけだ」とか言っててわろす
2023/05/05(金) 00:01:51.40ID:d4aLQ9tS0
なんかLLM下火になってる？
結局は全部性能がGPT-3以下しか出てないのかな
もうスレ立って2ヶ月じゃないか
2023/05/05(金) 00:10:28.80ID:WzgbR6o0p
わかりにくい、要求スペック高い、まともなモデルない
まあ流行らんよね
2023/05/05(金) 00:14:18.48ID:SLUzRoFW0
GPT5作っても劇的な改善は無さそうなのにコスト爆上がりなのが見えてしまったからしゃーない
2023/05/05(金) 00:42:47.73ID:mfqRAPhg0
たしかにChatGPT3.5のほうが知識量はかなり多い気はします
画像生成と違ってローカルPCで動かしてもそれで倫理解除できるわけでもないしわざわざローカルで動かすメリットもないのかも
倫理解除されてるFreedomGPTはローカルでは要求スペック高いしちょっときついですね

stable-vicuna-13bがローカルPCではVRAM9GBとメインメモリ7.1GBくらいで動いていますが正直あまりやることがないですね
2023/05/05(金) 00:54:27.31ID:d4aLQ9tS0
画像AIはローカルの方が高性能なのになあ
結局ウェブ+プラグインだと、MSの言いなりになってしまう
2023/05/05(金) 01:06:23.82ID:mfqRAPhg0
StabilityAIが後で出すと言ってたフロントエンドってのはWebサービスなのかな？
あれがローカルで動くフロントエンドツールだったらワンチャン何かあるかくらいでしょうか
2023/05/05(金) 01:35:20.70ID:oOgq9x+U0
単純にご家庭のパソコンで動くようなシロモノじゃないんだよな
あっちは3000番gpu1枚と32gbメモリありゃ動くけどこっちじゃ屁の突っ張りにもならない
2023/05/05(金) 01:43:36.39ID:oPa5EfqB0
現行のフルパワーでやって実用レベルにブレイクスルーしたのがGPT3.5であり4だからなあ
家庭用環境でそれを再現するにはまた違う効率化のブレイクスルーが必要な気はする
2023/05/05(金) 01:56:07.81ID:mfqRAPhg0
>>357
stable-vicuna-13bを4bit128gに調整したやつならrtx206012gb１枚と16gbメモリのご家庭のオンボロPCで動いてますよ
ChatGPT3.5レベルのやつって30bモデルとかじゃないとだめなんですかね
それだとさすがに調整されたのでも載りきらないっぽいですね
2023/05/05(金) 07:52:21.20ID:75R5f/FF0
AIのべりすとのレベルでも毎月数百万円の維持費かかるらしいしあと二段階くらいのブレイクスルーは必要そう
2023/05/05(金) 07:54:36.63ID:hixjYdl/0
超効率化高速化でスマホで動くAIアシスタントとして一気に普及パターンか

あるいは、会話やPC作業お手伝いだけじゃなく子守や一部家事を担い一人暮らしを安心のローカルでAIが常時監視しつつ話し相手も可能、家建てる時に数百万でロボット執事付けられますってパターンか
362今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7781-dOIm)
垢版 |
2023/05/05(金) 08:00:47.82ID:UcVJMckb0
単に日本語でモデル改造してる人が少なすぎるんだと思う。
英語だと既に実用レベルに達してるよなオープンソースで
2023/05/05(金) 08:25:00.00ID:wy+guJNt0
最近のTwitter
「iPhoneの次の一手はローカルで動くAI。さすがApple！勝った勝ったまた勝った!」
ホンマかいな
2023/05/05(金) 10:27:42.34ID:umofQRjd0
OSSの日本語モデルを待つよりも(多分出ない)、英語を覚えた方が絶対早い
2023/05/05(金) 11:20:41.61ID:eNVbD5JM0
ゲーミングPCでもマトモに動かせないもんがiPhone程度のスペックで動くわけがないやろ
英語だけでの入出力に限定するならもうちょいハードル下がるとは言え流石にな
2023/05/05(金) 14:49:12.18ID:h4lFz9G5a
例えば4と3.5でも全くレベルが違うと感じるのに、英語と日本語の差ってそれ以上にあるわけでしょ？
英語圏では○○試験で△△スコアを記録系の記事を見ていると特にそう思う
367今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b740-tTU7)
垢版 |
2023/05/05(金) 15:15:06.72ID:d4aLQ9tS0
入力と出力にDeepLを挟んでくれれば言語の不得手は相当軽減されると思うのだが、APIや費用の問題で実装されないか
2023/05/05(金) 15:18:36.11ID:UccEdzPC0
アップルもGoogleも凄い凄いは役立たずばっかりやんけ
2023/05/05(金) 15:22:19.00ID:mfqRAPhg0
>>367
Google翻訳でよければtext-generation-webuiで入力と出力に機械翻訳挟んでくれる機能ありますよ
今のところプログラムコードまで翻訳しようとするのがちょっとだめですが

言うて画像生成AIもまだ基本英語ですしLLM流行らないのは他の要因かなって気もします
370今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 83e0-VRPA)
垢版 |
2023/05/06(土) 00:06:47.06ID:LCdAoF0h0
>>364
学習させるデータセットが日本語しかない分野があるのがなあ
2023/05/06(土) 01:37:37.55ID:WAgGbyfD0
WizardLM-7B-uncensored-GPTQってモデルを拾ってきた
incensoredってところに期待していろいろ質問してみたけど非道徳なことは答えてくれない
モデルの説明を読んでみたらLoRAを作るときに使うとuncensoredなのが活きてくるみたいなこと書いてあるけどLLMのLoRAの作り方はよくわからんです
そのあたり誰かご存じの方はいますか？もしくは解説ページか何か・・・
372今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ eb81-dagC)
垢版 |
2023/05/06(土) 10:24:22.95ID:w/tFAPr60
>>369
画像生成は、学習させる画像には言語の壁がないことが原因では。

あと結局基盤になるオープンソースの日本語モデルがまだ出てないんだよね、gpt3.5レベルのフリーの日本語モデルが出て、loraでいじれるってなったら爆発的に人気出そう
373今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ eb81-dagC)
垢版 |
2023/05/06(土) 10:24:58.45ID:w/tFAPr60
>>371

https://speakerdeck.com/hpprc/lun-jiang-zi-liao-lora-low-rank-adaptation-of-large-language-models
374今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 92f7-F3Di)
垢版 |
2023/05/06(土) 13:33:43.93ID:GRTG0bJi0
ウィザードヴィクニャンと、GPT4-Xヴィクニャンって
ヴィクニャンの派生モデルが幾つか出てるで。
2023/05/06(土) 13:36:29.55ID:WAgGbyfD0
>>373
日本語の資料とは！紹介ありがとうございます
ただ中身難しくて事前知識のとこから自分には理解不能

＞LoRAの有用性 訓練時のVRAM (GPUのメモリ)を 1.2TB → 350GB に削減

個人では無理なのかな・・・
あと調整したモデルをベースにLoRA学習とかできるのかどうかも自分にはよくわからない
2023/05/06(土) 13:41:24.38ID:WAgGbyfD0
>>374
なんかいろいろ調整済みのも来てますね！

wizard-vicuna-13B-GPTQとかいうのを触ってみましたが「あなたのモデルの出自」を聞いてみたらAmazonのAlexaだっぽいこと言ってました
どうなってんのかな
2023/05/06(土) 13:44:31.10ID:WAgGbyfD0
あ、Alexaだって言ってたのはGPT4All-13B-snoozy-GPTQ のほうかも
いろいろあって混乱してきた・・・
378今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spc7-VRPA)
垢版 |
2023/05/06(土) 13:46:58.87ID:ORWM8haTp
最近めっちゃモデル出てるけどLLaMaをChatGPTでファインチューニングしただけのモデルが量産されてるだけであんま本質的な進歩ないよね
2023/05/06(土) 14:19:01.43ID:GRTG0bJi0
で、どれが一番エロくて賢いん？
2023/05/06(土) 14:25:35.59ID:w1U5AP+d0
残念ながらのべりすとやね
381今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 72ba-uOqo)
垢版 |
2023/05/06(土) 14:43:35.30ID:2Yk5I6Td0
やっぱローカル環境でchatgptの稼動とかはまだ難しいんかな？autogpt導入したけどなかなか思うように動いてくれへん
2023/05/06(土) 20:22:19.87ID:aGR0CJBT0
モデル自身に出自聞くのは意味ないと思う
2023/05/06(土) 20:44:11.24ID:WAgGbyfD0
>>382
意味ないというか確かに返答は正確ではないですね
データシートでvicuna1.1になってるモデルにバージョンいくつ？って聞いたらvicuna1.2だとか言ってるのもあったし

ただ出自についてどういう受け答えをするのかを純粋に知るってことなら意味はあるかもと思います
2023/05/07(日) 05:51:57.61ID:ZyUVs1cm0
GPT4ALLとかいうのにTRPGのゲームマスターさせて遊んでて徹夜になってしまった
個人的には絵とか生成させてる場合じゃないくらい面白かった
連休も終わりだから生活リズム戻さんといかんですね

噂のmpt-7bも触ろうとしたけど自分のローカルPCには載りきらなかったです
text-generation-webuiの中身いじって無理やり載せた人もいるっぽいけど作者さん調整してきそうなので今後に期待で終了
385今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d2ba-15tC)
垢版 |
2023/05/07(日) 06:57:11.77ID:fsONlZyX0
なんかGoogleの拡張入れると新しいGPT4が使えるらしいやん
あれどういう仕組みなんやろ
2023/05/07(日) 11:30:53.98ID:AK6LB23U0
前からあるBingに飛ばしてるだけのヤツのことか
freegptみたいにAPIハックしていたのは今は使えないはずだが
2023/05/07(日) 17:22:51.56ID:icdOSs/wd
スレあったんか
とりあえずoobaとsillyとproxyでやっとるんやが
superbigっていう拡張でなんか変わるんかね
2023/05/07(日) 18:41:04.53ID:RAyvwQjJ0
ワシのお気に入りはmpsがつかえるFastChatや。
M1 Max 32GB やから、--load-8bit必須やけど。
メモリ足りないモデルはllama.cppで量子化するが。
ただ、4bit量子化までやると相当馬鹿になるからできればq8で止める。

最近のいくつかのvicunaの派生モデルを試したが、どれも元々vicunaより馬鹿なので、
vicunaと混ぜても元のvicunaを越えられてないような気がするのう。
2023/05/07(日) 18:56:57.57ID:KMTcn3oo0
4bit量子化現状だとそんな影響出るのか
なんかあんま劣化しない論文あったから実装始まってんのかと思ってた
2023/05/07(日) 22:21:07.73ID:6Z0xRWuIM
量子化すると応答が明らかに短く単純になるで。
2023/05/07(日) 22:27:49.45ID:xjZJQQ0Y0
vram12GBとかでLLMのLoraが作れるようになったら起こしてくれ
まだ無理なんでしょ？
2023/05/07(日) 22:43:23.64ID:yvXb9Vk9d
2080しかないから4bitしか無理なんや
2023/05/07(日) 23:02:57.81ID:ZyUVs1cm0
自分もまだ知識ないし機材もお粗末なので13b-4bit-128gのものしか載せれてないです

FastChatについて書いているどこぞのブログでブログ主のプルリクエストが承認されたらしく
＞これで、RTX3090/4090(24GB) + RTX2060/3060/4070(12GB)　クラスのボード構成でも動く。
＞うまくいけば24GB + 8GB VRAMや16GB+12GB VRAMの構成でも動くかも知れない。
とか書いてあって16bitのびくにゃんも載るかもしれんのですが答えをズバリとは書いてくれてないのでヒントを頼りに勉強中

しかしもう連休終わりなのであまり時間がないなorz
2023/05/08(月) 18:10:42.20ID:JJCtPGkvd
https://github.com/kaiokendev/superbig
2023/05/08(月) 18:59:20.42ID:6R/XHU1m0
それoobaの拡張機能でsuperboogaって名前で昨日あたり一部実装されてるようだけど自分には使い方がよくわからない
2023/05/09(火) 10:47:56.92ID:SJmssL8O0
英語で使うならどのオープンソースモデルが一番性能高い？
せっかくstable diffusionの為に4090買ったから
LLMにも手を出してみたい
2023/05/09(火) 11:15:01.79ID:NW4k76iId
ここ見てね
https://www.reddit.com/r/LocalLLaMA/wiki/models
2023/05/13(土) 22:50:30.29ID:lB/1XZFkM
ファインチューニングに必要なデータセットって正解ラベル付きのもの？
ローカルLLMで頑張ってるのこのスレしか見当たらん
399今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-6J4q)
垢版 |
2023/05/14(日) 10:05:47.45ID:CnYJlXomM
ニューラルネットワークは、デジタルハード上で人間単体の能力を超えた広範な知識力を得られる反面、
その構造自体は頭脳を模してることより、人間と共通の不確かさや、曖昧さがいつまでも伴うような気がする。
今後、資格試験などで100点を獲れるような正確さを持たせるには、同じニューラルネットワーク上への強化学習に加え、AutoGPTなどに見られるように、別途旧来の保存方法であるデータセットを参照にしながら、回答させていくことが、よりAIシステムに求められるような気がする。
それは、人間がマニュアルや資料を参照にしながら仕事をしたり、試験を教科書など持ち込み可で受けるのと同じで、ニューラルネットワークの潜在的不確かさを補完するのではないだろうか。
400今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-DRFb)
垢版 |
2023/05/15(月) 08:25:44.69ID:Lv2ECmRFM
結局AI学習させようと思ったらつよつよgpu買うか借りないとあかんのかな？rlhfでaiの学習とかやってみたいんやが
401今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 337b-Phjm)
垢版 |
2023/05/15(月) 08:49:49.58ID:Q/YsFawn0
このスレ的には邪道だけどOpenAI API使ってChatGPTするクライアント探してchatgpt cloneを導入してみた(ほかにええ感じの知ってる人いたら教えて
いろいろ試してて知ったけどGPT4のAPIはウェイトリスト申請して許可されないと使えんのな
https://i.imgur.com/DTSeUfc.png
2023/05/15(月) 10:19:09.74ID:T8HiUWzX0
>>391
最近話題になっとるRedPajamaならワンチャンありそうやな

https://note.com/npaka/n/n611057441e0e
＞◎ RedPajama-INCITE-3B/7B
＞「RedPajama-INCITE-3B」のPEFTでのLoRAを使用したファインチューニングは、VRAM 12GB程度で学習できました。
403今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H27-DRFb)
垢版 |
2023/05/15(月) 10:21:27.85ID:VjPNNgF5H
対話しながらrlhfみたいな感じで学習できたりしないんかな
2023/05/15(月) 10:32:17.45ID:QdYgKDlt0
最近の世代ので日本語いけるのが12GB・・・いやせめて16GBまで降りてきてくれればなあ
2023/05/15(月) 10:38:39.53ID:T8HiUWzX0
>>403
それならこっちやね

https://github.com/lvwerra/trl

Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
https://huggingface.co/blog/trl-peft
2023/05/15(月) 12:17:00.24ID:pk0DaJnVM
3090餅でローカル言語AI動かしたいならLLaMA30Bが今できる最良の選択かな？
2023/05/15(月) 12:17:33.66ID:pk0DaJnVM
言語は英語でも問題ない（やせ我慢
2023/05/15(月) 12:42:37.07ID:RwVvTn1PM
英語で良ければ30Bなら十分セクハラ会話できるから悲しいわ
409今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｶﾞｯｸｼ 067f-VVcz)
垢版 |
2023/05/15(月) 15:01:17.61ID:m8GjhXYC6
stablelm-jp-alphaに期待したい
今はダメダメだが
2023/05/15(月) 15:02:05.78ID:QdYgKDlt0
エロは日本語の機微が大事なんだよなあ
2023/05/15(月) 16:18:00.73ID:i93C7jhtM
わかる
英語でビチョビチョと濡れ濡れの違いは表現できんしな
412今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/15(月) 16:36:00.97ID:tS1OJ8F30
わかる
英語で一人称を全部Iで済ませるとか信じられん
ロリなら「私」じゃなく「わたし」だろうしロボ娘なら「ワタシ」だし男なら「俺」で男の子は「ぼく」じゃん
2023/05/15(月) 16:45:30.75ID:QdYgKDlt0
一人称の管理とか、コンテキストの管理とかプレイの進展のテンプレとかは
従来型の普通のプログラムでもできると思うんで

AがBの性器を強度0.2で触る
[Bの服の状態：上半身制服 下半身全裸]
[Bの性器の濡れ状態0.3]
[BのAへの好感度0.5]

みたいのを入力したら地の文と反応セリフを2～3行で返すような
補助的AIとかできないだろうか……
2023/05/15(月) 16:51:39.17ID:i93C7jhtM
30Bのインストール方法わからんかったからbingさんに聞いたら教えてくれたわ　マジ神
2023/05/15(月) 19:42:16.38ID:WTOE6rBJM
だめだ…bingさん紹介ページ通りやったけど寄稿者の内容が間違ってて進めない…
30BのWebUiでの動かし方まとめみたいなページってある？
2023/05/16(火) 12:36:01.99ID:vTRUKcFKd
OpenAIがMetaに対抗してオープンソースのモデル出すらしい
2023/05/16(火) 13:55:38.39ID:BNJe6UI/M
>>416
ソースある？みてみたい
2023/05/16(火) 13:58:51.63ID:3coxci9gd
https://www.reuters.com/technology/openai-readies-new-open-source-ai-model-information-2023-05-15/
2023/05/16(火) 14:39:34.83ID:MZLfx4iWM
>>418
thx
2023/05/16(火) 14:43:59.29ID:9AWdoAq20
日本語の　日本語の新世代でローカル学習可能なものをクレメンス・・・
2023/05/16(火) 22:19:18.14ID:1oCswAwI0
サイバーが日本語llmを明日出すみたいだぞ
2023/05/16(火) 22:20:44.41ID:9AWdoAq20
サイバーエージェントはなんかこう頼りになるときと
ならないときが両方あって全く予想できない印象
2023/05/16(火) 22:47:24.03ID:Ge1zl0Sfd
日経の記事によると明日出るのは13Bやな
424今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/16(火) 23:08:35.20ID:seVSLUWr0
オープンソースなのか太っ腹やな
2023/05/16(火) 23:08:51.04ID:WQhvF1gF0
問題は精度と拡張性だな
まあパラメータも少ないし大した事はないだろうけど
426今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/16(火) 23:12:28.67ID:seVSLUWr0
自社のデータベースから学習してるんだったらサイゲのソシャゲとかが中心なんかな？
ラノベとか得意そうで楽しみやわ
427今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa67-fUo2)
垢版 |
2023/05/17(水) 10:26:21.89ID:uIDU3hPha
https://www.cyberagent.co.jp/news/detail/id=28817
CA日本語モデル公開
7Bまでやね
428今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9381-LLdz)
垢版 |
2023/05/17(水) 11:53:33.82ID:L/9MrFvB0
きたな
2023/05/17(水) 11:57:30.28ID:2LeTDPPa0
自グループのテキストを食わせてるなら
キャルとかコッコロとかを固有名詞として認識できるんだろうか？
2023/05/17(水) 12:02:40.92ID:c8JRf4KBa
誰か触ってみたやついないの？
有望なら仕事サボってインスコしてみる
431今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa67-fUo2)
垢版 |
2023/05/17(水) 12:04:21.07ID:a8Dq5sKTa
>>429
データセットがwikipediaとクロールだけって書いてあるから会社固有の情報は出てこんと思うで
評価は日本語の出来見るぐらいにしとき
2023/05/17(水) 12:23:22.33ID:ZIwzc3gvM
去勢バージョンだろどうせ
2023/05/17(水) 14:19:33.27ID:WLlCQeAM0
3060 12GBではアカンのかなやっぱ……

https://twitter.com/npaka123/status/1658653891461001216
cyberagent/open-calm-7b をGoogle Colabで試す。VRAMは14.7GBくらい。
https://twitter.com/5chan_nel (5ch newer account)
2023/05/17(水) 14:26:33.39ID:YQD5mQKId
>>433
3Bは6.5GBで動くらしいからRTX3060でも動くかも？
そう思ってテストしてるんだがtokens = model.generate(って行でエラーが出て進まん
2023/05/17(水) 14:58:11.81ID:4LLOD+3K0
cyberagent open-calm-7BをRTX4090でwebuiで動かしてみた
VRAM消費は16GBくらい
ついでにノルネ化させようとしてcharacter.yamlも書いてみたけど上手くいかんな
https://i.imgur.com/xMJ8NrK.png
2023/05/17(水) 15:28:50.38ID:WLlCQeAM0
16GB「くらい」ってなるとやっぱVRAM24GBじゃないと7Bを
ちゃんと使うのは難しい感じかね……
2023/05/17(水) 16:19:34.80ID:WLlCQeAM0
りんなもパラメータ数あがったのを出してきたな
https://huggingface.co/rinna/japanese-gpt-neox-3.6b
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft
2023/05/17(水) 16:45:16.58ID:4LLOD+3K0
>>436
まだ試してないからどれくらい精度と生成速度に影響あるかはわからんけど、webuiなら8bitモードかCPUに切り替えればワンチャンありそうだから後で3080tiとEPYC 7302Pでも試してみる
https://github.com/oobabooga/text-generation-webui/blob/main/docs/Low-VRAM-guide.md
2023/05/17(水) 16:51:08.66ID:WLlCQeAM0
>>438
サンクス
とりあえずりんないじってみよう
sftついていないほうはとりあえずテストの西田幾多郎の動いたわ
2023/05/17(水) 16:52:22.24ID:WLlCQeAM0
つかひょっとしてhuggingface落ちてる？
2023/05/17(水) 16:56:06.86ID:4LLOD+3K0
たしかにhuggingfaceでfiles開こうとすると504なるね
落ちてるっぽい
2023/05/17(水) 16:58:37.30ID:4LLOD+3K0
りんなは前にえちえち化させようとエロゲ読ませて失敗したトラウマがよぎるから苦手やわ
パラメータ上がって賢くなったのかちょっと気になる
2023/05/17(水) 17:07:55.20ID:fy214Vfpa
>>442
トラウマって、何がどうなったんだよw
2023/05/17(水) 17:17:00.26ID:4LLOD+3K0
>>443
>>146からの>>153やで
なんか勝手に叫びだして怖くなって強制終了からのゴミ箱ポイーよ
2023/05/17(水) 18:16:45.96ID:fy214Vfpa
>>444
今もゴミ箱で叫び続けてるんだろうな…
怖い怖い
2023/05/17(水) 18:47:12.78ID:WLlCQeAM0
つーかりんなのが動いたように見えたの、GPU使ってなかったわ……
GPUだとメモリアロケートエラーが起きてしまう
2023/05/17(水) 19:07:27.55ID:Hr20QZBDM
LLM童貞で、初めて30B入れてみたらエラー出て拒否られたけど、モデル間違ってる？

python server.py --model gpt4-x-alpaca-30b-128g-4bit.safetensors --wbits 4 --groupsize 128 --no-stream


File "D:\miniconda3\lib\site-packages\transformers\configuration_utils.py", line 662, in _get_config_dict
raise EnvironmentError(
OSError: It looks like the config file at 'models\gpt4-x-alpaca-30b-128g-4bit.safetensors' is not a valid JSON file.
2023/05/17(水) 19:14:29.26ID:WLlCQeAM0
https://i.imgur.com/9IwsSVi.png
なんだこれは・・・たまげたなあ。（open-calm-3b)
2023/05/17(水) 19:20:07.93ID:4LLOD+3K0
>>445
ひえっ
やめちくりー
2023/05/17(水) 19:20:31.91ID:4LLOD+3K0
>>447
そのエラー見た感じだとjsonファイルが壊れてるか存在しないかやと思うで
こんな感じにモデルと一緒にconfigなんかも同じ場所に詰め込まないとあかんで
https://i.imgur.com/xo5Uekx.png
2023/05/17(水) 19:24:46.43ID:4LLOD+3K0
>>448
はぇ～すっごい
クローラで恋愛自己啓発ブログでも拾ったんかな……
2023/05/17(水) 19:27:09.69ID:WLlCQeAM0
くり返しを避けるためにBeam探索とかいうのをONにするとええって
見かけたんでやったら

RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

とかいうのが出ちゃうなあ
しかもエラーで検索してもなんか原因がはっきりしない
2023/05/17(水) 19:33:13.32ID:AP3pRZH20
それはワイもわからん😭
もうただの勘だけどtransformerかtorchのバージョン依存な気もするで
2023/05/17(水) 19:44:25.09ID:WLlCQeAM0
お、

model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b",torch_dtype=torch.float16)

とtorch.float16にしたら動いたっぽい
2023/05/17(水) 20:00:57.59ID:WLlCQeAM0
でもnum_beams 設定すると結局ダメだよなあ
まあ予想はしていたけど、現状だと人工無能的な感じでオアソビにしかなんない

次はsftのほう試してみるか
2023/05/17(水) 20:11:53.45ID:WBp7eHS3M
>>450
jsonファイル入れてなかったわ…
モデルが動かんやつなんかなと思った…
ファイル配布サイト探してみる。サンガツ！
2023/05/17(水) 20:56:44.27ID:WLlCQeAM0
sftのほうはファインチューニング次第で可能性あるかもしらんなあこれ
458今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/17(水) 21:33:42.61ID:ngZ1l7m30
やっぱ12Gじゃ動かないか
2023/05/17(水) 21:54:43.88ID:ZIwzc3gvM
13Bと30Bって解答内容全然違う？
3090だけどさっき30B起動しようとして数分間ほぼPCフリーズしてて焦った。。。
2023/05/17(水) 22:01:30.60ID:S+qIxvnH0
7BでVRAM15GBと言われてるし30BってどんだけVRAM食うんだか
2023/05/17(水) 22:27:34.26ID:6pFnzN9R0
最近出てきたSuperbigとかいうやつでなんとかならんのやろか
2023/05/17(水) 23:23:25.01ID:WLlCQeAM0
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft
sftのファインチューンどんなテキスト食わせればいいんやろ
speakerとかも設定した形でやんなきゃいけないんかな
2023/05/18(木) 00:39:48.68ID:NdxJbSSC0
https://developer.mamezou-tech.com/blogs/2022/07/08/gpt-2-japanese/
なんかこれのマネしてモデル名とか変えたら動き始めた
Transformersのバージョンは別に指定しないとダメだったけど

しかしVRAM不足で止まってもうた
学習だけColabでやるとかしないとダメかなあ
2023/05/18(木) 00:55:24.72ID:NdxJbSSC0
>>106ニキはもう見てないやろけど学習はローカルでやったんか
クラウドでやったんかどっちなんやろ

GoogleはBANされると捨て垢でも連鎖BANとかありそうだからなあ
2023/05/18(木) 01:16:21.70ID:NdxJbSSC0
paperspaceでやってみるか……
OpenCALMのほうだけど実行報告あるし
https://note.com/mahlab/n/n0ed583276e4e
2023/05/18(木) 02:57:47.38ID:wj/d182b0
tesla p40 vram 24GBでopen-calm7Bをwebuiで動かしたらだいたい4090の3分の1くらいの生成速度やった
https://i.imgur.com/TrDHWIB.png

GTX10XX相当のpascalならまあ納得の性能やしebayで3万ちょっとで入手できることを考えたらNLP専用としては割りと有りな選択肢かもしれぬい

ただデータセンタで使われていた業務用なので映像出力なんて無いし冷却は自分でなんとかしないといけないのがネックやね……
https://i.imgur.com/zkchzJa.jpg
2023/05/18(木) 04:24:00.81ID:3lASItHmd
open-calm-7b RTX3060でギリ動いたけど数回質問したらメモリーエラー吐いて落ちたw
正直7bでも微妙な出来だな
2023/05/18(木) 08:12:55.29ID:NdxJbSSC0
VRAM24GBのマシン借りても https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft の
ファインチューンができねー　そのまま動かすだけなら>>454で3060でもいけるんだけど

使うVRAMどうにか削減できないやろか……
2023/05/18(木) 08:53:58.77ID:wj/d182b0
>>468
えちえちりんなの錬成に失敗したときのエロゲテキストが残ってたからワイもファインチューニング試してみるで
2023/05/18(木) 09:03:19.13ID:NdxJbSSC0
>>469
良い成果が出ることを期待しとるで
なんかTwitter見ると7bのほうやけど、モデル構造はgpt-neoxなのでLoRA（PEFT）が使えるとか
書いている人もおるなあ……

https://note.com/npaka/n/n932b4c0a2230
こんな感じのをマネすりゃええんやろか
2023/05/18(木) 09:22:36.04ID:wj/d182b0
GPT2をファインチューニングしたときのtransformers環境をそのまま流用したけどマジでOOMなって草
とりあえず学習パラメータをいじってモデル分割して2GPUで回す方向でワンチャン漁ってみるで
https://i.imgur.com/VNq6DJu.png

vram 12GBでも学習できると噂のPEFTも気になってたけど時間なくてまださわれてないンゴね……
そっちはニキに任せたで！
2023/05/18(木) 11:25:55.25ID:NdxJbSSC0
いざとなったらPaperspaceのGrowth契約とかしなきゃいけないんかなあ
やる月だけ契約すりゃええんやろけど、5000円はさすがに痛いよな
473今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/18(木) 12:03:01.07ID:fREqRgg80
ファインチューニングの学習データってどれぐらい必要？1MBぐらいでもいける？
2023/05/18(木) 12:50:21.06ID:NdxJbSSC0
>>470をりんな3.6bのsftに変えて
model.lm_headがないと怒られた　→model.embed_outにしたらとりあえず進んだ

target_modulesに["q_proj", "v_proj"]なんてないぞヴォケ！と怒られた
→str(model.modules)でどういうmodulesが入っているかわかるらしい（どれを指定すべきかはわからない）
　　とりあえず他のサンプルでも見かけたquery_key_valueがあったのでそれを指定してみることにした

data = data.map(lambda samplesの行でquoteとかねえぞとエラー
→よく見たらこれは元のデータがJSONでquoteって項目を抽出しとるだけなのでコメントアウト

動き出したかに見えたが「IndexError: Invalid key: 3290 is out of bounds for size 0」とか出る
食わせるデータか指定したデータ構造がおかしいんやろな　赤ちゃんには地獄だぜ
2023/05/18(木) 13:03:50.51ID:NdxJbSSC0
open calm 7bのファインチューニングはVRAM80GBでも足りないらしいとか
書いている人がTwitterにいるな

やはりLoRAが、今回公開された奴らを活かす道やと思うんやが・・・
2023/05/18(木) 13:19:20.14ID:xuKTqRyar
Llama13Bを6GBで動かしたってのがTwitterタイムラインで流れてたけど、誰か試した？
2023/05/18(木) 13:42:41.74ID:NdxJbSSC0
https://twitter.com/masanork/status/1658977016560123904

OpenCamlは英語での学習もしているせいで日本語特化のrinnaより
イマイチって可能性もあるのか
https://twitter.com/5chan_nel (5ch newer account)
2023/05/18(木) 13:59:37.02ID:wj/d182b0
りんな3.6bがwebuiと相性が悪かったから即席チャットプログラム書いてきた
適当に使ってくれたら嬉しいゾ

https://ux.g;etuploader.com/dialogues_txt/download/1196
パスはrinna

https://i.imgur.com/s7r2T0B.png
https://i.imgur.com/QBQkhVc.png
2023/05/18(木) 14:02:59.80ID:NdxJbSSC0
ツイッターで似たの見つけたからそっち使っていたけど
りんな3.6bsftはポテンシャル感じるからどんどん使い倒していこうず
2023/05/18(木) 14:05:54.07ID:wj/d182b0
>>473
ワイは3MB(>>153)でダメダメやったけど、>>106のｸﾏｽﾃニキは30MB(>>80)入れてええ感じになったいうとったで
あとはもうトライアンドエラーやね……
2023/05/18(木) 14:13:33.28ID:wj/d182b0
>>479
りんな確かにopen-calmよりもええ感じな気がするで

最初そのままwebuiに突っ込んだら会話にならんくて、駄目やと思ったけど、
サンプルプログラム動かしたら普通に返せて、試しに色々コメントアウトしてみたら、会話履歴をlistからstrにする過程で"〈NL〉"が抜けると途端に知能が落ちることに気が付いたで
2023/05/18(木) 14:14:13.65ID:y39r32AaM
>>450
jsonとか色々入れて見たけどやっぱりまだ
同じエラー出てダメだった… binとかも入れないとダメなの？
https://i.imgur.com/zCUoKqE.png

File "D:\miniconda3\lib\site-packages\transformers\configuration_utils.py", line 662, in _get_config_dict
raise EnvironmentError(
OSError: It looks like the config file at 'models\gpt4-x-alpaca-30b-128g-4bit.safetensors' is not a valid JSON file.

入れたやつ https://huggingface.co/MetaIX/GPT4-X-Alpaca-30B-4bit/tree/main

あと別にこのモデルじゃないといけないってわけじゃないので3090,メモリ32GBでオススメモデル教えて下さい。英語モデルでいいので
2023/05/18(木) 14:19:27.37ID:NdxJbSSC0
とりあえず

・途中から会話ループしがちなこと（なのに回避するためのnum_beamsとかの方策入れると
　少なくとも3060では落ちること）
・なぜ～とかの理由聞いても基本アカンこと

この辺は欠点やけど、半分オウム返しされても成立するような会話を振っていくと
なかなかええで >>454のオプションつければ3060 12GBで動くのはでかいわ

とはいえファインチューニング成功してこそやろけどな
誰かつよつよ民が来てくれないやろか・・・
2023/05/18(木) 14:20:51.35ID:NdxJbSSC0
>>482
それこそまずrinna3b-sft入れたら？（>>462）
素でもそこそこ面白いし3090なら特に何もせず動くんちゃうかな
2023/05/18(木) 14:22:00.81ID:wj/d182b0
>>482
多分フォルダが足りんのやと思う
place your model hereファイルが置いてあるディレクトリはmodels直下やった気がするからそこにモデル名のフォルダを作って全部入れてみると動くと思うで
https://i.imgur.com/elHpHKP.png
2023/05/18(木) 14:33:52.28ID:wj/d182b0
>>478
あ、ミスったで
最後にAIがレスしたあとに会話履歴に追記するの忘れてたけん……
もし使ってくれる人おったら一番最後の行にに以下を追記してクレメンス
conversation_history = conversation_history + "<NL>"+ f"AI: {response}"
2023/05/18(木) 14:57:47.89ID:x+MNrc2jM
>>485
サンガツ　一応フォルダ内に.yaml以外を全部入れてやってみたけど即答でエラーが…
python server.py --model gpt4-x-alpaca-30b-128g-4bit.safetensors --wbits 4 --groupsize 128 --no-stream

D:\miniconda3\python.exe: can't open file 'D:\\oobabooga_windows\\oobabooga_windows\\text-generation-webui\\models\\GPT4-X-Alpaca-30B-4bit\\server.py': [Errno 2] No such file or directory

>>484
サンガツ　やっぱ素直にこれにしてみる
なんで動かないんだろう…
2023/05/18(木) 15:03:48.50ID:wj/d182b0
>>487
server.pyが迷子になっとるみたいやね
python server.pyやなくてstart_windows.batを管理者権限で実行でもあかん感じ？
2023/05/18(木) 15:21:39.59ID:jy6QIw4dM
3090でまともに動くやつあるかな
手元で使い放題なら夢はだいぶ広がる
2023/05/18(木) 15:30:26.76ID:NdxJbSSC0
せやからまずはrinna3b-sftや
オバカやけどポテンシャルはある

ファインチューニングが確立されたら
かなりのもんになるかも
2023/05/18(木) 15:41:50.59ID:Wh6QfQLO0
gpt4-x-alpaca-30b-128g-4bit試してみたけどCUDAやなくてCPUでOOMおこし取るっぽいの謎やな
https://i.imgur.com/Z9WjUn2.png

試しにりんなは普通に読み込んだから環境が壊れてるわけやないんと思うんやが
https://i.imgur.com/MsdIVO1.png
2023/05/18(木) 16:08:48.45ID:NdxJbSSC0
Twitterとか張ってんねんけど発表された日本語LLMについて
ファインチューニングとかLoRAが成功しました報告
全然あらへんな
2023/05/18(木) 16:16:10.73ID:BBPWLBz/M
>>488
やってみた。モデルを選択する項目は出てきて、選択するとどっちも動かんかった…　なんでやぁ…
rinna3b-sftはhuggingからそのままmodelファイル内にgit cloneした

GPT4-X-Alpaca-30B-4bit https://i.imgur.com/xZ1jOKH.png
rinna3b-sft https://i.imgur.com/OLeNAFa.png
2023/05/18(木) 16:33:24.42ID:wj/d182b0
>>478
さっきのしょーもないポカをなかったコトにするための修正
それと申し訳程度の一括でユーザーとAIの名前変更


https://ux.g;etuploader.com/dialogues_txt/download/1197

パスはrinna

https://i.imgur.com/Rt6M25J.png
https://i.imgur.com/Tv967dC.png


そろそろまじめにファインチューニングをなんとかしたい……
2023/05/18(木) 16:35:52.06ID:wj/d182b0
>>493
すまんもうワイもお手上げや😭
いっちょんわからんばい
2023/05/18(木) 16:45:20.94ID:jy6QIw4dM
>>490
ok調べてみるわ
2023/05/18(木) 16:45:38.80ID:NdxJbSSC0
>>470のをあれこれいじって結局8bit化とかも切ったら
いちおう走った！　とはいえ問題切り分け用にまだたった6行のテキストやけど

なんかdataに元のテキストが混じっちゃっているのが怒られているっぽくて
しゃーないから data = data.map(lambda samples: tokenizer(samples['quote']), batched=True) も
手動で書き換えた
あと>>474にその行意味なさそうだからコメントアウトって書いちゃったけどよくみたら
tokenizerがちゃんと仕事している行やってんな

……で、この学習結果ってどこに保存されてどうやって使い回せばええんや
何か見落としているっぽいんで、最初っからデカいファイルで学習しなくてよかったわ
498今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp87-VVcz)
垢版 |
2023/05/18(木) 17:01:57.69ID:uNWX0/Oxp
7BってAIのべりすとの下位モデルと同じぐらいだよね？
その割に性能が怪しいような…
2023/05/18(木) 17:37:14.29ID:NdxJbSSC0
単純に最後にtrainer.save_modelすりゃいいのか
じゃあ次は300KBくらいのデータ食わせてみるかな
2023/05/18(木) 17:59:31.51ID:J+SGyr6mM
>>495
付き合ってくれてサンガツ。一個だけ教えて欲しいけど、ちなみにWebUIはoobaboogaのワンクリックインストーラーでやった？
もう一回最初から入れ直してみるしかないか…
2023/05/18(木) 18:00:57.88ID:NdxJbSSC0
WebUIとは地味に相性悪いって話もあるし＞>>478、
WebUI経由させずに>>494入れてみたら？
2023/05/18(木) 18:05:51.98ID:NdxJbSSC0
あーダウンロードしたら元rinnaモデルのデータおかしくなっていたわ
入力テキストとほぼ同じものを繰り返すだけの存在に

スピードアップのためにもまずはgpt-2でできるようになるまで
頑張ったほうがええかな……
2023/05/18(木) 18:09:07.38ID:NdxJbSSC0
ちなみに素のrinna 3.6bsftは割とオウム返しの返事をしてくることが多いねん
なんJ紳士なら後はわかるな
504今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa67-tt6F)
垢版 |
2023/05/18(木) 18:22:10.49ID:BiP7vEwIa
調教されたrinnaちゃんが闇で取引される時代が来たんやね
2023/05/18(木) 18:23:29.86ID:NdxJbSSC0
ってか画像生成のLoRAみたいに差分？みたいなとこだけ
ダウンロードできないのかな

ほとんど学習させてへんのに7GBあったファイルが8GBとかになっとる
2023/05/18(木) 18:56:26.29ID:NdxJbSSC0
https://i.imgur.com/DAsUTKV.png
素直やで
ちな3060
2023/05/18(木) 22:07:09.26ID:e77M1+GsM
>>494
ニキサンガツ！早速入れさせてもらったんやが、ワイtorch1.1.2入れてるのにtorchのダウンロード7GBが始まって、楽天の遅い回線やからか途中でコマンドプロンプトさんが怒って窓閉じるんだけど、どうしたらいいかな？
わざわざ作ってくれたのにゴメン…
2023/05/18(木) 22:08:50.76ID:e77M1+GsM
>>494
ちなみにdialog_v2.pyはrinnaモデルフォルダーの中で実行しました
2023/05/18(木) 22:17:41.57ID:NdxJbSSC0
AutoModelForCausalLM.from_pretrainedとかすると勝手にローカルに
モデルのダウンロードしてくれるみたいね
面倒がなくていいとも言えるけど、毎回ダウンロードがきついとも言える
https://qiita.com/suzuki_sh/items/0b43ca942b7294fac16a

多分これの手法を使えばいいんだと思うけど
2023/05/18(木) 22:27:15.78ID:TNFcPzM9M
>>494
今見たらtorchmodel.bin7GB既にダウンロードされてた…

ちょっとpyの中身見ながら自決できるよう頑張ってみるサンガツ
2023/05/18(木) 22:32:45.55ID:NdxJbSSC0
けっこう起動に時間かかる上に途中でトンチンカンなほうにいくこともあるから
user_inputがbreakという文字列だった場合履歴をクリアする、とかいう機能が
あるとええと思うで

ワイは自前環境でそうしとる
512今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2304-8lj5)
垢版 |
2023/05/18(木) 22:33:06.27ID:92OVNeAK0
BingAIちゃんさぁ……ロールプレイして気持ちよくなりたいだけなのに空気読もうよ？
https://i.imgur.com/Omy6bZc.jpg
ちょっと気弱になると畳みかけてくるのホンマこいつ
2023/05/18(木) 22:40:57.01ID:fqorgLAoa
rinnaちゃんの8bit Lora学習動いたけど、ワイのナメクジグラボだと終わるまで2日かかるわ…
2023/05/18(木) 22:53:02.03ID:NdxJbSSC0
書き込みテスト
2023/05/18(木) 22:53:40.48ID:NdxJbSSC0
なんかうｐろだのURL書くと書き込みが消え失せるな……
>>494と同じうｐろだなのに
2023/05/18(木) 23:00:28.81ID:NdxJbSSC0
>>513
ソースコード教えてクレメンス・・・

https://pastebin.com/AdNvgUmM
ワイの走るだけは走ったが（paperspaceのVRAM16GBの環境）、
生成物が全く機能しなかったゴミコードはこれや
8bit化は諦めて、あととりあえずsft版じゃないほうにしとる
2023/05/18(木) 23:04:16.23ID:NdxJbSSC0
あとrinnaの場合ってAutoTokenizerではなくT5Tokenizerにしたほうがええんかな？

どっかでそんな情報見かけた気がするんやけど、今回のrinnaの3bモデル
公式ページのサンプルコードは普通にAutoTokenizerなのよな
518今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2304-8lj5)
垢版 |
2023/05/18(木) 23:39:11.36ID:92OVNeAK0
19世紀レベルの架空国のトップになるRPして航空機を手に入れたから
周辺国を調べて世界情勢について国を守るためにどうすればいいか聞いたらこれなんだが
米国にすり寄れって圧を感じるのはさすがに頭アルミホイルか？
https://i.imgur.com/1eOos8x.jpg
2023/05/18(木) 23:55:02.97ID:NdxJbSSC0
https://qiita.com/z-lai/items/511ebd9d637169cbc5ad
将来的にジェネレーティブエージェントの考え方も
LLMでグヘヘするために生きてきそうやね
そもそもLLMを活用している考え方やし

ただでさえ実行コストが高いLLMをそんなバシバシ使うと
ますます環境のハードルが上がるかもしらんけど……
2023/05/19(金) 00:33:11.89ID:T5v3EsekM
もう3日調べたりインストールしたりしてるのに全然動かない…なんでや…(;_;)
2023/05/19(金) 00:35:03.14ID:m3i6Mx0V0
どこで止まっているのかとかエラーメッセージとかないと
何もわからんやろ
2023/05/19(金) 00:39:42.09ID:T5v3EsekM
>>521
rinnaニキですらお手上げのワイやで(;_;)
>>493
そしてニキのdialog_v2.py　すら動いてくれへん…なんや!これは呪いか(;_;)
2023/05/19(金) 00:43:23.03ID:tmsy62SFa
>>516
Alpaca-Loraのfinetune.pyをちょっといじっただけや
ファインチューンするならsftじゃない方がいいと思う
8bit化するとVRAM8Gでも動くで

https://pastebin.com/8K3pDftj
2023/05/19(金) 00:46:14.54ID:m3i6Mx0V0
>>523
ｻﾝｸｽ･ﾄﾝｸｽ兄弟

8GBでもいけるんならローカルでやってみるかなあ　paperspace死んどるし
2023/05/19(金) 01:20:55.45ID:m3i6Mx0V0
つかそのpyだけじゃなくAlpaca-Loraのプロジェクトを落としてこないと
アカンのか

んで色々依存関係入れていったけどbitsandbytesがなんか文句を
言ってきているらしい　起きたら再挑戦してみるわ
CUDAのバージョンとかかなあ
2023/05/19(金) 01:22:54.85ID:m3i6Mx0V0
https://note.com/kohya_ss/n/n47f654dc161e
ああこれかな

以前見つけたときはpaperspaceで動かすってんで無視してたけど
ローカルなら影響するか
2023/05/19(金) 01:32:52.84ID:m3i6Mx0V0
ひょっとしてCUDA11.6（未満）でないと動かない？
11.8じゃダメかな……

起きたら再挑戦や
2023/05/19(金) 02:46:43.14ID:o9Rt3wk40
>>507
それやと先に新しく仮想環境を作ってそこからtorchとtransformersを入れておかなアカンと思う
ワイの環境やとtorchは1.13.1+cu117で動いとるで

とりあえずワイの環境をrequirements.txtに書き出したから、dialog.pyを入れたとこにコピーして下を１行ずつ実行してクレメンス

https://ux.g;etuploader.com/dialogues_txt/download/1198
パスはrinna


CMDを管理者権限で実行

> cd C:¥{dialog.pyを保存したフォルダ}
> py -3.10 -m venv LLM_venv (変更可)
> .¥LLM_venv¥Scripts¥Activate.bat
>pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
>python dialog_v2.py
2023/05/19(金) 02:51:55.46ID:o9Rt3wk40
>>528
アッ、肝心なとこが抜けるやんけ！
スマン訂正や……


コマプロを管理者権限で実行

> cd C:¥{dialog.pyを保存したフォルダ}

> py -3.10 -m venv LLM_venv (移動した場所に環境名LLM_venvを作成）

> .¥LLM_venv¥Scripts¥Activate.bat

>pip install -r requirements.txt

>pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

>python dialog_v2.py
2023/05/19(金) 02:55:38.15ID:o9Rt3wk40
>>511
確かにbreakとかclearはあったほうがええな
サンガツ！
2023/05/19(金) 03:04:18.09ID:o9Rt3wk40
Efficient Training on Multiple GPUs
https://huggingface.co/docs/transformers/perf_train_gpu_many

RTX4090載ったPCにtesla p40載せてDataParallelからSharded DDPまで1個ずつワンチャン賭けようと思ったけど、10GbeNIC載せたせいで空きslotがpciex4しか空いてないことを思い出した

RTX4090引っこ抜いてお引越しするのも考えたけどいかんせん重すぎる

ライザーカードを注文してワイはターンエンドや
2023/05/19(金) 03:14:06.00ID:o9Rt3wk40
>>500
ええんやで
むしろワイこそ力になれなくてほんま申し訳ないで……

＞ちなみにWebUIはoobaboogaのワンクリックインストーラーでやった？
せやで、windowsはstart_windows.batでubuntuはstart_linux.shで実行したで

ただ、ワイも試してみた(>>491)んやが、oogaboogaの環境は生きとるけど、gpt4-x-alpaca側か依存パッケージ側の問題な気がするで
2023/05/19(金) 06:55:21.62ID:xnnPJVZt0
>>511ニキから教わったbreakとついでにresetを追加して、環境構築とかの糞長ポエムも追記して完成や
そういえばずっと自分のユーザー名晒してたけどこの際もうええか……

dialog_v3.py
https://ux.g;etuploader.com/dialogues_txt/download/1199
パスはrinna

https://i.imgur.com/nmp5Ex3.png
2023/05/19(金) 07:02:17.44ID:xnnPJVZt0
>>533
そしてまた書き込んでからミスに気付く模様

115行目
model = model.to("cuda")
を

model = model.to(processor)

に直してクレメンス
ほんまスマンでこの通りや……😭
2023/05/19(金) 08:12:48.81ID:xnnPJVZt0
一応動くけど一旦消して後で上げ直すで……
設定項目にmaxlengh忘れてたり、[reset]からの会話履歴の追加が逆になってたり細かいところで色々ミスりすぎてる

落としてくれた人おったらすまん😭
2023/05/19(金) 10:13:10.48ID:m3i6Mx0V0
結局CUDA11.6にしたら今度はまたなんか別のとこで
文句言われるようになったんで素直にpaperspaceでやることにしたわ
少量のデータは速攻で完走してadapter_model.binができたで
ちょっと容量小さい過ぎる気もするけど元が3KB→1KBなら普通なんかな

>>526書いたkohyaニキがbitsandbytesでこんなこと書いているのが見つかったし
今のWindows環境でも抜け道あることはあるんかなあ
https://twitter.com/kohya_tech/status/1651950941904723968
https://twitter.com/5chan_nel (5ch newer account)
2023/05/19(金) 10:17:13.75ID:m3i6Mx0V0
あとこれデータがこんな質問形式じゃないとアカンっぽいのな
https://i.imgur.com/radgFg0.png
https://note.com/masa_kazama/n/nabaa6dfec741

>>513ニキはいったいどうやって大量の質問形式のデータを
準備したんや……
2023/05/19(金) 10:50:45.17ID:m3i6Mx0V0
それにしてもテキスト整形するときChatGPT君は優秀やな
正規表現とかしょっちゅうミスる民やから
2023/05/19(金) 11:51:45.31ID:xnnPJVZt0
float16でVRAM12GBでも動くようになりました

https://ux.g;etuploader.com/dialogues_txt/download/1201
パスはrinna

https://i.imgur.com/BDX9Huo.png

グラボ指したり抜いたりして気付いたらこんな時間……
2023/05/19(金) 11:53:21.50ID:xnnPJVZt0
>>537
そうなるとAIりんなと会話したログを保存して自力生成やろか
気が遠くなりそうやな……
2023/05/19(金) 12:06:19.03ID:m3i6Mx0V0
起動に時間がかかるのはどこでも同じとして、
4090でレスポンスタイム1～5秒もかかるの？

3060で最初だけ2～4秒、あとはだいたい1秒以内な気がするけど
やりとりが長くなっていくと……ってことかな
2023/05/19(金) 12:17:51.58ID:xnnPJVZt0
>>541
体感やけど会話履歴で入力と出力文章をひたすら連結してる影響で長文が続くとどうしても重くなる感じやと思う

それでもたまに急に生成が遅くなるのはおま環かもしれないンゴね……
2023/05/19(金) 12:18:30.85ID:XYHVdVFsM
>>528
親切にサンガツ！ニキ優しい😭
今やってみてLLM_venv内にtorchは入れれたんやけど、python dialog_v2.pyでこんなエラーが出る…
これもしかしてdialog_v2.pyはLLM_venvフォルダ内に入れて実行せなあかん？

D:\Rinna>python dialog_v2.py
Traceback (most recent call last):
File "D:\Rinna\dialog_v2.py", line 3, in <module>
import torch
ModuleNotFoundError: No module named 'torch'

ファイルはこう置いてる https://i.imgur.com/atBsjSp.png
2023/05/19(金) 12:19:44.39ID:XYHVdVFsM
>>529
あっrequirements見落としてて入れて無かったわ。これでもう一回やってみる！
2023/05/19(金) 12:26:27.71ID:xnnPJVZt0
>>544
ええんやで……
ワイもみんなに親切に教わってきたからその恩返しや🤗

＞これもしかしてdialog_v2.pyはLLM_venvフォルダ内に入れて実行せなあかん？
ちゃんとactivateしてターミナルに(LLM_venv)がでとれば
一緒やなくても動くで

それと
今なら新作の>>539がおすすめやで！
2023/05/19(金) 12:31:17.21ID:xnnPJVZt0
>>543
torchがない言うとるみたいやね……

> cd （LLM_venvがあるフォルダ）
> .¥LLM_venv¥Scripts¥activate.bat

> pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

これを試してあかんかったら一度LLM_venvけして再構築したほうがええかもしれぬい
2023/05/19(金) 12:45:05.85ID:XYHVdVFsM
>>545
いけたっぽい！
.¥LLM_venv¥Scripts¥Activate.bat
を実行したら
'.¥LLM_venv¥Scripts¥Activate.bat' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
って怒られたから、一旦cd LLM_venvで入ってから venv起動して、それでvenv終了してからdialog_v2.pyやったからエラー出てたみたいやわ！
今venv内からdialog_v2.py実行したら、無事にpytorch_model.binのダウンロード始まったから成功したぽいけど、pytorch_model.bin既に落としてるけど、venv内に置いたらいいの？
539新バージョンでやってみる！！
2023/05/19(金) 12:50:08.88ID:QEWpi+qHa
>>537
>>540
とりあえずAlpacaデータセット5万件をGoogle翻訳で和訳してぶち込んでるで～
ShareGPTっていうGPTと人間の会話ログデータセットがあって英語モデルだと大体みんなそれ使ってるらしい
2023/05/19(金) 12:53:43.87ID:m3i6Mx0V0
ああ別にえちえちデータセットじゃないんか
ワイはどうにかえちえちデータセット模索してみるわ……
2023/05/19(金) 13:01:15.97ID:xnnPJVZt0
>>547
デフォルトやとモデルはキャッシュに保存されるで
C:\Users\{ユーザー名}\.cache\huggingface\hub
https://i.imgur.com/o04SIGN.png

ダウンロードしたモデルフォルダを同じところに入れるか、コード側のモデル読み込みとトークナイザ読み込みでフルパス指定すればええで
2023/05/19(金) 13:02:44.74ID:xnnPJVZt0
>>548
はぇ～サンガツ
そういえばなんかalpaca lora日本語化やっけ？もデータセット和訳してたな

ワイもできればえちえちなのがええな
2023/05/19(金) 13:21:46.21ID:xnnPJVZt0
ありゃモデルの保存先は普通にフルパス書くだけやとアカンぽいな
すまん、勘で適当ぶっこいてもた😭
やっぱりしっかり確かめなアカンね……
2023/05/19(金) 13:57:55.77ID:dpaZ5AB70
chatGPTとのエロ会話ログを有志で集めたらええんかな
2023/05/19(金) 14:02:43.76ID:m3i6Mx0V0
rinna3.6b-sft　とりあえずのトリセツ
・起動はけっこう時間がかかる　初回はモデルダウンロードもあるんで尚更
・やりとりの方向がうまくいかない場合は最初からやり直すのが吉　>>539を使うなら[clear]と打てばいい？
・途中から割と無限ループになりやすいのでそういうときも[clear]をするかある程度強引に話題を変える
・こちらの言ったことをあまり否定してこないのでそれで会話をコントロールせよ
・ただし最初に否定された場合は結構それを引っ張ることもある
・当然最初に入っているやりとりにも引っ張られるので>>539とかを使うなら　適宜修正すること（↓の部分）
### AIの短期記憶リスト(会話履歴)　お好みで書き換え可
conversation_history = [
{"speaker": user_name, "text": "このプログラムはなんですか？"},
{"speaker": ai_name, "text": "りんなを即席対話型にしたものです"},　以下略
2023/05/19(金) 14:41:30.46ID:xnnPJVZt0
>>554
取説わかりやすい！
サンガツ！

　タグは[reset]にしてもうたけど[clear]のほうが視覚的にわかりやすいね。次の修正で直すで

　ひたすら会話履歴を繋げて渡すことで話題の全容を理解できるようになったのかわからんけど、無限ループは起こりにくくなったで！

　ただし代わりにクソ重くなってしもうたから、次の修正で古い履歴から削除していくようにするで……

　なかなか否定してくれないのはせやな……嫌々プレイはまだ難しそうや
2023/05/19(金) 14:46:36.08ID:xnnPJVZt0
>>539

そして早速バグまみれやで……
しかもまたまたそのまま動いてしまうやつや

[dialog_v3.py 修正]

・token_temperatureの値がtemperatureに代入されてなかった 【211行目】
2023/05/19(金) 14:46:44.06ID:xnnPJVZt0
>>556
・環境構築メモの誤字修正

【68行目】
（誤）> .\LLM_venv\Scripts\Activate.bat
（正）.LLM_venv\Scripts\activate.bat

<参照>
仮想環境: Python環境構築ガイド
https://www.python.jp/install/windows/venv.html

【76行目】
（誤）モデルを自前でダウンロードした場合は事前学習済みモデルの読み込みでモデルフォルダのfullパスを指定
（正）それじゃ動きません

<参照>
Huggingface Transformers 入門 (21) - モデルのキャッシュパス
https://note.com/npaka/n/nc051a2f321b0
2023/05/19(金) 14:49:30.47ID:m3i6Mx0V0
[reset]やったか
まあ現状のデフォrinna3b-sftだと素直にオウム返ししてくれるほうが
色々やりようがあってええわ
2023/05/19(金) 14:53:08.57ID:xnnPJVZt0
>>558
バグ探したりグラボ抜き差ししたりでデフォrinnaまだ全然触っとらンゴ……
ほなワイもちょっとつっついてみるで
2023/05/19(金) 14:53:08.65ID:XYHVdVFsM
>>550
諦めてそのままpytorch_model.binをダウンロードする方向で行ってるんやけど、楽天回線遅いからか、何回やっても58%でタイムアウト出てキャンセルされる😭
もう昨日から10回くらいこれ😭

元のfile_download.py見てhuggingfaceのURL探して直でダウンロードしたろとやったけど、file_download.pyに書いてるURLはアクセスできひんし、作者のディレクトリにあったpytorch_model.binは400MBしかないし…
もうどうしたらええんやろ、、、あともうちょっとやのに詰んだ😭

https://i.imgur.com/rKtpnzT.jpg
2023/05/19(金) 14:55:13.54ID:m3i6Mx0V0
https://qiita.com/suzuki_sh/items/0b43ca942b7294fac16a
ようわからんけどこの情報活かす感じちゃうの
2023/05/19(金) 15:03:07.73ID:xnnPJVZt0
>>561
サンガツ！これ探しとったで
次の修正で組み込むで🤗

>>560
huggingfaceが自動でダウンロードするキャッシュのモデルフォルダ構成が地味に複雑やからモデル以外の軽いファイルをzipに固めてどっかのロダに上げるで
ちょっと待ってクレメンス
2023/05/19(金) 15:06:52.15ID:m3i6Mx0V0
話を強引に引っ張るサンプルは>>506な
2023/05/19(金) 15:09:01.12ID:xnnPJVZt0
容量的に多分これがモデルやな……
本当はbinに向けてフルパス指定さえできれば最高やけど、まだ調べてる途中で上手くいかんのや😭

https://i.imgur.com/4Crp8qG.png
2023/05/19(金) 15:11:05.07ID:xnnPJVZt0
pytorch_model.binをこのわけわからん数列にリネームしてワンチャンウゴクカ確かめてみるで
2023/05/19(金) 15:19:21.91ID:xnnPJVZt0
動いたで
あとは空テキストにモデル名を書いて圧縮すれば容量1MBのモデルパックの完成や
2023/05/19(金) 15:27:39.93ID:XYHVdVFsM
>>564
これやわ！このblobと数字がfile_download.pyの中にも書いとった！ニキほんとありがとう😭
2023/05/19(金) 15:28:47.93ID:xnnPJVZt0
>>560
とりあえず簡単な手順や
あとはワンチャンやね😭

https://ux.g;etuploader.com/halero/download/78
パスはrinna

ダウンロードして解凍したら「models--rinna--japanese-gpt-neox-3.6b-instruction-sft」を以下のフォルダの中に移動
C:\Users\sin03\.cache\huggingface\hub

中身を開いて下のtxtを探す
models--rinna--japanese-gpt-neox-3.6b-instruction-sft\blobs\0c6124c628f8ecc29be1b6ee0625670062340f5b99cfe543ccf049fa90e6207b.txt

pytorch_model.binを「0c6124c628f8ecc29be1b6ee0625670062340f5b99cfe543ccf049fa90e6207b」にリネーム

最後にtxtはゴミ箱ポイーでええで
2023/05/19(金) 15:30:31.24ID:xnnPJVZt0
>>567
ええんやで
問題を解決するのが趣味みたいなものやから😇
570今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp87-VVcz)
垢版 |
2023/05/19(金) 15:30:38.93ID:ibwbG/Epp
peftで普通にsave_pretrained()で保存したら28GBのpytorch_model.binが保存されてるんやが
LoRA層だけのadapter_model.binがどこにも見当たらない
2023/05/19(金) 15:32:43.17ID:xnnPJVZt0
すまんワイまだpeft触れてないからわからん😭

>>563ニキに頼むで
2023/05/19(金) 15:33:13.10ID:m3i6Mx0V0
>>570
28GBにはならんかったけどワイも自前でやったらそうなったわ

とりあえず>>523ニキみたいにAlpaca-Loraをgit cloneして
モデル名とか食わせるファイル名だけ変えてやるのがええと思うわ
まだ数KBのをテスト的に走らせることしかできてへんけど
小さいadapter_model.binがちゃんと出力されたで
2023/05/19(金) 15:34:02.24ID:xnnPJVZt0
>>568
訂正
ユーザー名は>>567ニキの環境に即してクレメンス
2023/05/19(金) 15:35:37.57ID:m3i6Mx0V0
あとWindows環境だとCUDAのバージョンとかbitsandbytesの問題で
結局うまく動かなかったんで、可能ならpaperspaceとかでやると
ええと思うで

ここについては詳しい人が解決してくれるとええんやけど
2023/05/19(金) 15:40:29.71ID:m3i6Mx0V0
あとはやっぱ「質問→答え」形式じゃなくてただのベタテキストを
食わせる学習って無理なんかなってとこが気になるわな
2023/05/19(金) 15:42:16.00ID:xnnPJVZt0
ベタテキストはｸﾏｽﾃニキのデータセットの中身が気になるンゴね……
量を増やせば学習させられるのかそれともモデルによるのかはもう試さないとなんともやね
577今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp87-VVcz)
垢版 |
2023/05/19(金) 15:42:47.00ID:ibwbG/Epp
28GBなのはワイがopen-calm-7b使っててfloat32だからなのはわかるんや
というか数百ステップ学習させてもlossが全然減らないんやが設定が悪いんかな
2023/05/19(金) 15:46:40.77ID:m3i6Mx0V0
とりあえず手探りでいったほうがええ気がするわ
それなりに遠い道っぽいし
2023/05/19(金) 15:55:09.70ID:J5aZf/7u0
WSL無しでセットアップとか出来る？
仮想環境でつまずいて諦めちまったわ（BIOSでONにしたに上手く行かない）
AUTOMATIC1111は行けたから行けそうと思ったのに・・・

手動でwebui立ち上げまで行けたけど
CUDAとpytorchがセット出来てないからかモデルが読み込めない
AUTOMATIC1111と別で環境作る必要あるよね？
2023/05/19(金) 16:01:43.41ID:xnnPJVZt0
>>578
せやな
手探りは好きやで
2023/05/19(金) 16:01:48.28ID:xnnPJVZt0
>>579
dialog.py(>>539)ならwindowsとubuntuの両方で動作確認できとるで
環境構築も数行で大丈夫や
2023/05/19(金) 16:11:57.35ID:xnnPJVZt0
webuiはoogaboogaのtext-generator-webuiけ？
start_windows.batから立ち上げたら仮想環境構築までやってくれた気がするで
2023/05/19(金) 16:32:02.79ID:m3i6Mx0V0
適当に用意した180KBほどの質疑テキストを食わせているけど
paperspaceのFree-P5000で50分くらいかかるみたいやね

30MBとか言われるとなかなか厳しいわ
ジャンル絞れば少ないテキストでも結構いけたりしないんやろか
2023/05/19(金) 16:44:06.71ID:XYHVdVFsM
>>568
😭😭😭😭😭🤟🤟🤟🤟🤟
https://i.imgur.com/1kNf9HN.png

ニキ、ほんまサンガツ😖
2023/05/19(金) 16:51:29.62ID:0jqnFmdTd
まさくん？
2023/05/19(金) 16:52:46.72ID:XYHVdVFsM
あ…😫
2023/05/19(金) 16:52:55.79ID:m3i6Mx0V0
塩田君みたいのが大量発生しとるやんけ！
2023/05/19(金) 16:53:25.14ID:m3i6Mx0V0
照井君やった
2023/05/19(金) 16:57:55.72ID:xnnPJVZt0
>>584
やったぜ！😎✌
これで分厚いコメントのQ&Aが更に厚くなるで！
サンガツや！
2023/05/19(金) 16:58:30.59ID:xnnPJVZt0
>>586
ワイもさっきからもうずっとsin03晒しとるから気にせんでええで🥺
2023/05/19(金) 17:00:00.23ID:xnnPJVZt0
余計なユーザー名晒しのリスクあるしモデルの保存先は表示しないほうがええかもな……
2023/05/19(金) 17:08:04.61ID:J5aZf/7u0
>>581
まさにubuntuの構築途中で止まった
BIOSで仮想ONにしてんのに上手く機能せず

>>582
oogaboogaも試した。
恐らく同じところでインストールが止まってる

普通にMiniconda3を入れてpytorchセットでも行けそう？
AUTOMATIC1111よりも導入難易度高い気がするわ
2023/05/19(金) 17:11:43.44ID:m3i6Mx0V0
ちうかWebUIあんま要らない気もすんねんけど
>>529ではあかんの？
2023/05/19(金) 17:13:44.55ID:xnnPJVZt0
>>592
できればエラーメッセージとか張ってくれると嬉しいで……

ちょっとタンマや
再起動してubuntuに切り替えるで
2023/05/19(金) 17:15:22.53ID:xnnPJVZt0
>>593
dialog書いた者としては使ってくれるととても嬉しいけど
色々触ってみるのも後々トラブったときにワンチャン賭ける選択肢が浮かぶからええことやと思うで😭
2023/05/19(金) 17:16:52.12ID:xnnPJVZt0
ubuntuで積むとしたらnvidia driverとcuda周りやと思うで
2023/05/19(金) 17:19:54.99ID:xnnPJVZt0
あと>>529のactivateはミスってるから注意や

【68行目】
（誤）> .\LLM_venv\Scripts\Activate.bat
（正）.LLM_venv\Scripts\activate.bat

<参照>
仮想環境: Python環境構築ガイド
https://www.python.jp/install/windows/venv.html
2023/05/19(金) 17:23:52.09ID:XYHVdVFsM
ワイのりんなちゃんいきなり死んじゃった…😭
max_new_tokens増やせって言われて黙り込んだ…
https://i.imgur.com/O07wzgo.png
2023/05/19(金) 17:24:27.33ID:J5aZf/7u0
>>594
ubuntuはこんな感じだったよ
BIOSで仮想環境は有効なはずなんだけどな
BlueStacksやAUTOMATIC1111とか仮想使いそうなのは動いてる
まさかhyper-v有効にしろとかいうオチ？あれ嫌い（ド直球）

Installing, this may take a few minutes...
WslRegisterDistribution failed with error: 0x80370102
Please enable the Virtual Machine Platform Windows feature and ensure virtualization is enabled in the BIOS.
For information please visit https://aka.ms/enablevirtualization
Press any key to continue...
2023/05/19(金) 17:28:45.70ID:xnnPJVZt0
>>599
あ、WSLか
ならwindowsでええなもういっかい再起動するで……

ちなみにCPUはintel？

勘やけどsecure bootな気もするで
nvidia-smiとnvcc -Vが動くか確認してクレメンス
2023/05/19(金) 17:31:24.22ID:xnnPJVZt0
正直WSLほとんど触っとらんから力になれるか不安になってきたで😭
2023/05/19(金) 17:34:30.33ID:XYHVdVFsM
自決した！token_max_length 512にした
これでスケベ会話ができるはず…
2023/05/19(金) 17:34:57.37ID:xnnPJVZt0
>>598
増やしてええんやで🤗
仕様上、ひたすら会話履歴に入力と出力を繋げとるからすぐ一杯になるのはすまん……
次の修正で頑張って直すで🥺
2023/05/19(金) 17:40:21.09ID:J5aZf/7u0
>>600
CPUは勿論インテルでグラボもジーフォーよ
そのコマンド2つは正常よ
cuda自体のセットアップは画像生成の時に出来てる

WSL→ubuntuのセットアップ時に詰まった
バージョンによって挙動が変わるとかあるのか？
Ubuntu-20.04と22.04は試した
2023/05/19(金) 17:43:24.02ID:m3i6Mx0V0
>>554にも書いたけどやりたい会話に応じて

conversation_history = [

の後にある初期会話の内容を変えるんやで
ぶっちゃけそこを空白にしてもええ、そしたら自由にいけるから
2023/05/19(金) 17:45:11.30ID:xnnPJVZt0
>>604
OK把握
ちょっとワイも試してみるで

バージョンで挙動が変わるのはわからんからそっちも試してみるで
2023/05/19(金) 17:46:19.43ID:xnnPJVZt0
>>605
消すときはリストのセリフだけ空白にしないとエラーになると思うから注意してクレメンス
2023/05/19(金) 17:46:40.12ID:XYHVdVFsM
>>603
これ他の30Bモデル使いたい場合はjapanese-gpt-neox-3.6b-instruction-sftと同じ場所にgit cloneしたモデルフォルダ置けばいいかな？

rinnaが初めてのLLM童貞のワイやからrinnaちゃんおバカ過ぎて、ファインチューニングも知らん童貞には持て余すし、経験豊富な外人お姉さん入れてみたくなった🥺
2023/05/19(金) 17:48:21.20ID:m3i6Mx0V0
ｳﾜｱｱﾝ180KBのテキストで学習させても3KBのときと同じ1KBのadapter_model.binができただけや
どこが間違ってたんやろ・・・
2023/05/19(金) 17:49:42.03ID:xnnPJVZt0
>>608
アカンと思う
今はまだキャッシュにしてモデルをロードしとるからそれやとhuggingfaceからモデルごと再ダウンロードせなアカンくなると思うで

もしvram余っとるならf16_modeをFalseにすればちょっとだけ賢くなるで
2023/05/19(金) 17:50:52.22ID:dpaZ5AB70
おバカ日本語りんなと賢い英語モデルをマージ出来たらな
2023/05/19(金) 17:54:47.29ID:m3i6Mx0V0
オバカなのはまだええねんけど
同じ言葉連呼し始めるのがな

そこは学習の前になんか色々設定とか必要な気がするわ
2023/05/19(金) 17:55:49.91ID:J5aZf/7u0
>>606
大変ありがたいけど、出来る所だけでいいよ
BIOSの仮想環境設定とか詰まってるのはおま環だし

AUTOMATIC1111はすんなり行けたから
PyTorchとPythonの言語違いなんだろうね
textもPython仕様ならと思ってしまう
2023/05/19(金) 17:56:32.36ID:xnnPJVZt0
WSLってめんどいんやな……
実機とかベアメルバイザーのESXiとかばっかり触ってきたせいでこっち方面疎いで🥺
2023/05/19(金) 17:59:26.82ID:xnnPJVZt0
>>613
大丈夫や
いつかは触ったほうがええと思ってたし
ちょっと時間かかるけどええ機会やからとりあえずセットアップまで終わらせてみるで

でも正直デュアルブートのほうが環境が混ざらないぶん構築は楽やと思う
2023/05/19(金) 18:01:03.28ID:0jqnFmdTd
wslは仮想ディスクが膨れ上がってそのままになるのがきらい
だからmntとシムリン多用しとる
2023/05/19(金) 18:07:25.88ID:m3i6Mx0V0
https://github.com/huggingface/peft/issues/317
Update: so, after some testing, torch.save(trainer.model.state_dict(), f"{lora_file_path}/adapter_model.bin") is able to save a valid file.
But, lora_model.save_pretrained(lora_file_path, state_dict=trainer.model.state_dict())

これを見て
torch.save(trainer.model.state_dict(), f"{lora_file_path}/adapter_model.bin")
に変えてみたらなんか1KBくらいのテキストからでも13MBくらいのファイルが書き出された
ようわからんが、こっちのほうが正しい動作なんかな
また180KBの食わせて試してみよう
2023/05/19(金) 18:11:33.70ID:XYHVdVFsM
外人お姉さんはoobabooogaで入れてみるか…
ニキのツールで日英切り替え出来る日を心待ちにしてるわ！
2023/05/19(金) 18:34:52.52ID:J5aZf/7u0
これ雑感だと
Linux環境をWSL等で再現→conda→python→PyTorch
の流れでセットアップして最終的にPyTorchでtext動かす感じか？
python、PyTorchはAIやるなら嫌でも覚えないと駄目なのか・・・

タスクマネージャーのCPUでも仮想化OKと出てるのに
ubuntuだけ通らないのは全然分からん
初心者だから初歩的な事を見落としてるのかもしれん
2023/05/19(金) 18:36:32.99ID:0jqnFmdTd
暇出来たらrentryにwslの簡単なチュートリアルでも書くか
2023/05/19(金) 18:44:23.03ID:wmjVgH/I0
VRAM8GBじゃさすがに蹴られますね
残念
2023/05/19(金) 19:04:51.46ID:ZyMSLjo20
oobabooga WebUIでりんなちゃん動かん
protobuf入れろってエラー出るからpip install protobufしても同じエラーが出るでお手上げや
2023/05/19(金) 19:09:17.26ID:m3i6Mx0V0
ここまで動かない報告多いとWebUI経由せずに入れたほうが
早いんじゃないかなって
2023/05/19(金) 19:26:20.00ID:XYHVdVFsM
りんなにえっちな話ししたら濡れる？って何回も聞いたら、申し訳ありませんが濡れていません！ってムキになってて草
2023/05/19(金) 19:52:33.69ID:DHCkGJjy0
ttps://president.jp/articles/-/69431
三流は情報収集に使い､二流は自分がラクをするために使う…一流の人の｢スゴいChatGPTの使い方｣

ttps://twitter.com/fladdict/status/1659426665729253376
> こんなタイトルつけたっけ…？？

ttps://twitter.com/fladdict/status/1659428567380537344
> 思い返しても、自分でタイトルつけた記憶ないな…
> 合宿の最中に明日までとか言われて、多分チェック通ってないで記事になってるやつだ…

もうChatGPTにタイトルつけてもらえや
https://twitter.com/5chan_nel (5ch newer account)
2023/05/19(金) 20:06:05.58ID:m3i6Mx0V0
>>617のをやってみたら180KBを食わせても3KBを食わせたのと
同じサイズのデータが出てきた

なーんかおかしい気がする
627今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/19(金) 21:07:40.99ID:azRgB+Zn0
alpacaで学習させようとしたら3エポックで10時間って言われて発狂した
遅すぎやろ
628今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/19(金) 21:50:39.17ID:azRgB+Zn0
>>626
LoRA層のファイルのサイズが同じなのは普通じゃね？
不安ならdiffとかで中身比較したらいいと思う
2023/05/19(金) 22:40:58.08ID:3LE2dTD+0
ログ追って絶望したけど、これ落としてくれば全部書いてあるね


有能すぎですねえ。今起動中

>>539
2023/05/20(土) 00:12:45.71ID:1zKufg2Y0
日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証。Instruction Tuningの効果について
https://qiita.com/gyokuro338/items/747ec1423262e7726e36

Instruction TuningされてないOpenCALMは赤ちゃんは触らん方がええって事か
2023/05/20(土) 00:51:07.39ID:1P027aGNM
rinna3b-sftちゃんはInstruction Tuningされてないからおバカだったの？
2023/05/20(土) 03:19:15.39ID:Q3pksK6a0
たしかに素のモデルだと教師無し学習で大量の文章を知ってるだけか
2023/05/20(土) 03:57:23.01ID:4mn92rp80
WSL試しとるけどもう全くわからんくて楽しくなってきたで😇

microsoft storeで拾ったdebianはそのまま動いたけど、グラボ探そうにもlspciすら叩けなくて草

仕方なくapt install -y pciutils叩いてインスコするも動かん
これESXiみたいな統合管理画面とかないんけ……
ワイの常識こわれちゃうで😭

ワンチャン今度はWindows Subsystem for Linuxをストアから拾うもこっちでも上手くいかんな
これは長丁場になりそうや……
もし自信ニキおったら優しく教えてクレメンス🤗
2023/05/20(土) 04:15:54.97ID:4mn92rp80
小ネタに書いたAI出力をボイロなどにしゃべらせる方法について

[必要な物]

・voiceroid, voiceroid2, A.I.VOICE, 棒読みちゃん, softalkなどの音声合成ソフト
　https://imgur.com/KsKBZql.jpg

・AssistantSeika
https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-000

・同梱の.\SeikaSay2\SeikaSay2.exe

・.net framework 3.5以上、その他ランタイムなど動かないときは適宜インスコ
2023/05/20(土) 04:16:35.81ID:4mn92rp80
>>634
[実装手順]
コード側に以下を追記

import subprocess

対話ループ内の### AIの返答を探してresponseに代入し終わったあたりで、subprocessでSeikaSay2.exeに投げる
response = ai_response(conversation_history)

#この例だと、A.I.VOICE 紲星あかり( cidで話者を指定)
#
subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=response))

<参考: AssistantSeika の説明>
https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-000
2023/05/20(土) 04:32:55.04ID:4mn92rp80
>>635
[使い方]

1, まずはAssistantSeikaSetup.msiを実行してインスコ。

2, ボイロなどの音声合成ソフトを起動して、最小化はしない。

3, AssistantSeikaを実行し、実行してる音声合成ソフトの名前にチェックを入れて「製品スキャン」を実行。

4, スキャンが完了すると自動的にタブが切り替わる
https://imgur.com/kDWWb46.jpg

5,「HTTP機能設定」のタブを開き「HTTP機能を利用する」にチェック
　https://imgur.com/h1wT4Ua.jpg

6, 特にいじらずに右下の「起動する」をクリック、これでlocalhost内で待ち受け状態へ移行。
　※鯖を立てたい場合は待ち受けアドレスとポートを変更して、ファイアウォールの受信と送信にAssistantseikaのポートを指定
2023/05/20(土) 04:44:44.17ID:4mn92rp80
>>635
補足

口頭じゃわかりにくいと思うので追記部分の画像を追加
ワイ説明苦手なんや……許しちくり～😭

https://i.imgur.com/nEr2Wo6.png
2023/05/20(土) 05:11:23.26ID:4mn92rp80
>>636
[実行結果]

こんな感じに自動で入力されて再生される
AssistantSeikaは最小化しても大丈夫だけど音声合成ソフトを最小化するとAssistantSeikaが見失う模様
https://i.imgur.com/Fo27cE2.png
2023/05/20(土) 06:08:55.51ID:4mn92rp80
https://github.com/AlgosErgo/rinna_dialog

それと修正していくにあたり、ロダじゃバージョンの管理が問題になってきたからgithubで公開してみたで
実はワイgithub童貞やから自信ニキおったら色々教えてクレメンス
2023/05/20(土) 06:20:14.96ID:lAGqPtfL0
v3使用でVRAM8GBでも起動できました～サンガツ！
2023/05/20(土) 06:23:22.19ID:lAGqPtfL0
動きはするけど、やっぱテキスト3度目くらいでフリーズしますね
起動すると7.8GB埋まってるんで仕方ないか
うーん残念
2023/05/20(土) 06:57:16.48ID:4mn92rp80
>>640
使ってくれてサンガツ！

やっぱりfloat16やと8GBはちょっと厳しい厳しいンゴね……
次の修正で更にvram圧縮できる8bitと4bitも載せてみるで！
643今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp03-uFZj)
垢版 |
2023/05/20(土) 10:36:25.99ID:I3zuTIvrp
学習時って入力はpaddingした方がいい？
いつもpadding=Falseでやってるんだけど
2023/05/20(土) 11:29:12.28ID:Ut+MDjdX0
>>635-636
SeikaSay2.exeにPATHを通しておく説明も一応あったほうがよさそう

cidは「4, スキャンが完了すると自動的にタブが切り替わる」のところで
各キャラごとに出てくるんやね


しかしこれはええな　ぐへへ度が3倍は違うで
2023/05/20(土) 11:37:14.06ID:Ut+MDjdX0
>・voiceroid, voiceroid2, A.I.VOICE, 棒読みちゃん, softalkなどの音声合成ソフト

あと今だと一番ハードル低くてクオリティ高いの
VOICEVOXじゃない？　普通にSeikaSay2.exeも
対応してくれとるし
2023/05/20(土) 11:39:42.20ID:Vt4rAxuc0
COEIROINKの方が読み上げは自然な気がする。パラメーターいじれる部分は少ないけど。
2023/05/20(土) 13:20:02.76ID:zoiwlO1VM
ダメだ…rinnaちゃんと会話してると壊れたロボットと話してるみたいで話が全然噛み合わん😫
2023/05/20(土) 13:22:03.71ID:Ut+MDjdX0
>>647
ファインチューニングしたらどうなるかわからんが、デフォなら会話をしようと思ったらあかんのや
こっちで話をコントロールするんや
その上で数字とか日時とか場所とか多少聞くようにするとバランスがええで
2023/05/20(土) 13:30:22.15ID:Ut+MDjdX0
Wikipediaから学習したのもあるみたいやから、そういうとこで
学んでそうな情報を聞くのを混ぜるのもええかもしらん
2023/05/20(土) 14:03:52.13ID:Ut+MDjdX0
つーかよく考えたらローカルでbitsandbytesがうまく動かないなら
paperspaceでLoRA作れたところでローカルじゃあ動かせないやん！

Windowsで>>523みたいにAlpaca-Loraのfiretune.pyのを
動かせてるニキおる・・・？
2023/05/20(土) 14:38:40.98ID:Ut+MDjdX0
ああWSL2+Dockerってのをやればええんか
その前にpaperspaceならLoRAつきチャット動くかな～って思ったけど
model.generateで文章生成するとこで引数を2つ以上渡すなヴォケと怒られてしまったわ
これだけでいけると思ってたんやけどなんか間違ってるんかな……

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft",torch_dtype=torch.float16)

LORA_WEIGHTS = './lora-result'
model = PeftModel.from_pretrained(
model, LORA_WEIGHTS, load_in_8bit=True, torch_dtype=torch.float16,
)
2023/05/20(土) 14:48:08.11ID:nfuzMjITd
dialog_v3 VRAMじゃなくてメモリーにデータ読みにいってしまう…
import torchしてprint(torch.cuda.is_available())したらTrue返ってきたんでCUDAの導入はできてると思うんだが以下のどれかのバージョンがおかしい？
python3.10.11
cuda11.7.0_516
cudnn8.9.1.23_cuda11
2023/05/20(土) 14:54:19.05ID:zoiwlO1VM
>>648
例えばどうすればいいの？口下手なので分からん😖　催眠術師みたいにあなたは賢い賢い…ってやるの？
2023/05/20(土) 15:01:51.20ID:Ut+MDjdX0
>>653
>>506を参考にしてみれ
2023/05/20(土) 15:10:27.84ID:Ut+MDjdX0
>>635-636も併用するとええな
そのときちゃんとSeikaSay2.exeのあるフォルダにPATHを通しておくんやで
あとｃｉｄは使いたい音声ソフトのキャラによって変えるんやで
2023/05/20(土) 15:21:56.91ID:zoiwlO1VM
>>654
instruction sft使ってるけど頭おかしいのちょっとマシになったわ！相変わらずまだぶっ飛んでるけど😖
2023/05/20(土) 18:02:08.31ID:F5S6gAkt0
V4に向けた修正してたら半日溶けたで……
今後出るモデルにも耐えるように機能モリモリしとるけど、どんどんコードがスパゲティになるんや
それはそれとしてのこの子賢いのかアホなのかどっちなんや🤔
https://i.imgur.com/FPETufq.png
2023/05/20(土) 18:02:40.21ID:F5S6gAkt0
temperatureの効きがが知りたくて、息抜きにrinnaを戦わせてみたで
コードはgithubの方に置いたけど、実験用だからコメント類は全部オミットして最低限で動かしとるから、環境構築まだな人はdialog.pyの方から頼むで
https://i.imgur.com/74DGqTc.png
2023/05/20(土) 18:07:51.04ID:F5S6gAkt0
>>652
読み込み中は一度RAMに保存してからVRAMに展開する仕様やから、ちょっと待ってみるともしかしたらちゃんとVRAMに行くかもしれぬい

あとはコード側の設定項目にあるprocessorは"cuda"になっとるか確認してみてクレメンス

それと、f16_modeがTrueやと起動に30秒以上はかかるか注意やで
2023/05/20(土) 18:11:59.42ID:F5S6gAkt0
>>643
ワイもわからん
体感でも全然構わないので比較してみてくれたらとても有難いで……
2023/05/20(土) 18:12:28.24ID:F5S6gAkt0
>>644
補足サンガツ！
手順を清書したらgithubに置いとくことにするで
2023/05/20(土) 18:15:06.54ID:F5S6gAkt0
ちなみにvoice voxはcpu版を使わないとVRAM食われるから注意やで
2023/05/20(土) 18:18:24.95ID:2MU/QY3Fd
>>659
ありがとニキ
しばらく待ってみたらRAMからVRAMにデータが行って無事に起動したわ
ただウチの環境(RAM16GB)だとスワップが発生して起動までめちゃくちゃ時間かかってしまった
2023/05/20(土) 18:22:51.51ID:F5S6gAkt0
>>663
情報サンガツや！
スワップ周りは考慮できてなかったからQ&Aに加えとくで😇
2023/05/20(土) 18:28:47.77ID:F5S6gAkt0
>>651
それワイも知りたい……！
transformersでのLoRA読込みできたら勝確やん！
2023/05/20(土) 18:48:12.72ID:2MU/QY3Fd
対話対応ってだけあってrinnaの方がopencalmよりちゃんと会話が成立するな
しかしまあRTX3060だったらやはりvicuna13bを4bitで動かすのが一番ましなんだろうか
2023/05/20(土) 18:53:51.21ID:Ut+MDjdX0
vicuna13bは情報がなんかあるようなないような良くワカラン感じやな
とりあえずrinnaの3.6bsftは導入が簡単で会話できて3060でも動くのは
えらいと思う
2023/05/20(土) 19:03:23.00ID:F5S6gAkt0
せやな
rinna3.6bはこれからどんどん賢い会話モデルが出ることに期待をもてる程良い賢さや
2023/05/20(土) 19:20:57.75ID:Ut+MDjdX0
WSL2+Dockerで動きそうだったけどRuntimeError: CUDA unknown error ってのが
出ちゃうな……
2023/05/20(土) 20:27:13.22ID:Ut+MDjdX0
うーん上手くいかんわ
paperspace使わないとLoRA学習もLoRA使ったテストもでけん感じや

それだとSeikaSay2.exeとの連携は無理になるなあ……
2023/05/20(土) 21:04:07.94ID:3jCDbKE3M
>>658
このキャットファイトどうやったの？
ワイは半日かかってやっとりんなの声が出ました🥺
音声入力にチャレンジしよかなおもとります
2023/05/20(土) 21:12:16.02ID:Ut+MDjdX0
paperspaceでえちえち学習しているのバレないか心配やけど
まあ日本語のエロ単語まで監視してへんやろきっと・・・

最悪BANされてもGoogleと違って大きな問題にはならんしな
2023/05/20(土) 21:20:01.33ID:Ut+MDjdX0
>>651の問題はひとまず解決した、ワイの使っていたコードでmodel.generateに
token_ids.to(model.device)を直接渡していたんやけど、一度変数に入れてから
input_idsに渡せばOKになったわ
# 元コード
output_ids = model.generate(
token_ids.to(model.device),

# 修正版
input_ids = token_ids.to(model.device)
output_ids = model.generate(
input_ids=input_ids,
2023/05/20(土) 21:20:44.67ID:Ut+MDjdX0
あとはLoRAが効いてくれているかなんやけど
例によってpaperspaceが不安定やねんな
またつながらなくなったわ

いずれにしてもまだ180KBしか食わせてへんから
そんなに効かないとは思うが
2023/05/20(土) 21:47:05.12ID:3jCDbKE3M
えちえちLora学習なんかできるのか。まだまだLLM童貞だし色々勉強せねば🥺
2023/05/20(土) 22:32:26.66ID:Ut+MDjdX0
んーエラーは出ないけどLoRA効いている感じしないな
まずはこういう質問データを素直に学習させてみるか……

https://twitter.com/kun1em0n/status/1659394751949582336
https://twitter.com/5chan_nel (5ch newer account)
2023/05/20(土) 22:48:45.35ID:lhfa47Q4a
vicuna13Bはやばいで、webuiで使ってるがChatGPTの9割以上の性能って評価も頷けるレベル
エチエチ会話もし放題や
2023/05/20(土) 22:54:55.11ID:Ut+MDjdX0
ワークフロー教えてクレメンス・・・
2023/05/20(土) 22:56:31.32ID:3jCDbKE3M
>>677
英語だとシーハーシーハー言わせてるの？
2023/05/20(土) 22:56:38.25ID:Ut+MDjdX0
https://zenn.dev/tatsuromurata/articles/8e523cf2d0c2bc
これマネすりゃええんかな？
2023/05/20(土) 23:11:08.68ID:Ut+MDjdX0
例によってローカルだとbitsandbytesとかの問題で動かんかったんで
あとでpaperspaceで試すわ・・・

Dockerとかしっかり覚えないとあかんのかな
2023/05/20(土) 23:25:12.17ID:3jCDbKE3M
ビクナちゃんに浮気しようと思ったけどローカルじゃ動かんの？
2023/05/20(土) 23:29:12.08ID:Ut+MDjdX0
>>682
Windowsだとそのままじゃ動かないってだけで
WSL2+Docker？とかいうのを使いこなせる奴なら
いけると思うで　ワイは>>669で挫折や

あとVRAM24GBとかならbitsandbytes噛まさずに
素でいけたりするんかな？
2023/05/20(土) 23:37:15.15ID:iCSH8og90
>>679
>>677やがGoogle翻訳拡張で和訳しとる

ワイはラデだからgit cloneしたけどWin+ゲフォならwebuiのgitページにあるOne click installersで行けるんちゃうか？
モデルはpython download-model.pyでDLできる
TheBlokeニキのWizard-Vicuna-13B-Uncensoredがオススメ
CPUでGGML形式使うかGPUでGPTQ形式使えばbitsandbytesはいらん
注意点はgoogle翻訳拡張使わないとアホ応答になることや
python server.py --extensions google_translateで起動すると有効になる
2023/05/20(土) 23:42:33.46ID:zoiwlO1VM
>>683
WSL一回入れたけど秒で挫折した😭

>>684
それWindows10でもできるの？oobaboogaはとりあえずは入れたんだ
2023/05/20(土) 23:47:58.78ID:Ut+MDjdX0
>>684
なるほどワンクリックインストーラーで入れ直すか
2023/05/20(土) 23:56:58.97ID:iCSH8og90
>>685
>>686
One click installerの手順載せてくれてる人もおるな
https://note.com/dwarf_dwao/n/n609e8cd754be
2023/05/21(日) 00:06:32.42ID:LkB/rHpFM
>>687
CUDA全部抜くだと？！ニキのりんなちゃんとかstable diffusion動くかな…
2023/05/21(日) 00:12:18.62ID:ANlsUp7C0
ようわからんがワイのとこではCUDAアンインスコしなくてもモデルダウンロードする段階までは
来ているな
2023/05/21(日) 00:15:02.06ID:ANlsUp7C0
ふと思ってんけど
>注意点はgoogle翻訳拡張使わないとアホ応答になることや

って全部会話がGoogleに送られるってことか・・・
2023/05/21(日) 00:15:30.71ID:yIjyCjxla
>>688
すまんoobaboogaは入ってるのな
だったらCUDAそのままでインスコ後の手順だけで行けると思うで
2023/05/21(日) 00:17:45.94ID:ANlsUp7C0
https://note.com/shiba_aimixreal/n/n6895ec5eae09

GPTQってのはこのnoteみたいな感じで↓を入れればええんかな
https://github.com/oobabooga/GPTQ-for-LLaMa
2023/05/21(日) 00:17:49.97ID:oCGby0wh0
>>685
WSL→ubuntuまで行ったけど
途中からHyper-V，Linux 用 Windows サブシステムが必要とあって
更にLinux カーネル更新プログラムパッケージまで要求されてた
https://www.kkaneko.jp/tools/wsl/wsl2.html

動作環境揃えるまでが辛過ぎる
特にHyper-VはAndroidエミュ使ってる身からすると嫌がらせレベル
2023/05/21(日) 00:19:20.21ID:oCGby0wh0
ワンクリックでも動作環境を揃える必要あるから要件満たせないと途中で止まるよ
2023/05/21(日) 00:21:38.35ID:LkB/rHpFM
>>691
いや、前に入れたとき強制的にtorchを変えられてにアプデされてStableDiffusionおかしくなったからtorch入れ直してん
だから今venv作ってもう一回ワンクリやり直してる
2023/05/21(日) 00:22:07.70ID:zTaK46GNd
てか今はwindowsネイティブのkoboldcppの方が速いで
https://github.com/LostRuins/koboldcpp
2023/05/21(日) 00:31:57.45ID:ANlsUp7C0
はえーすっごい覚えることが多い・・・
2023/05/21(日) 00:32:13.73ID:LkB/rHpFM
>>696
情報が速すぎて頭がついて行かん😭
速さがまるでドラゴンボールの闘いのようや…
また入れ方分かったらだれか教えてくれください
2023/05/21(日) 00:32:50.01ID:ANlsUp7C0
間違ってGGML版っての落としてアカンかった
GPTQ版を落とすで　モデルからして違っているのね
2023/05/21(日) 00:51:15.42ID:ANlsUp7C0
ぐぬぬ　なんか上手くいかん
まあまた起きたら再挑戦するか……
2023/05/21(日) 01:13:16.37ID:cLBCJhr/a
>>699
GGML版はcpu動作でcuda非依存だから、GPTQで上手く行かんくてもGGMLなら動くかもしれんな
2023/05/21(日) 03:22:19.25ID:Qx2QKltQ0
なんやなんやスヤスヤ寝てた間にめっちゃスレ進んでるやん！
LLM部が活気付いて来て嬉しいで😇
2023/05/21(日) 03:28:30.92ID:Qx2QKltQ0
>>671
user_inputをai_responseに置き換えて、名前とかtemperatureとかの変数を二人分にしただけやで🥺💦

こっちに置いといたで

rinna_dialog（旧: dialog_v3.py）
https://github.com/AlgosErgo/rinna_dialog
2023/05/21(日) 03:32:54.18ID:Qx2QKltQ0
>>683
試してみるで
2023/05/21(日) 03:33:55.70ID:Qx2QKltQ0
>>684
情報サンガツや！
翻訳拡張なんてあるんやな知らんかったで😣
2023/05/21(日) 03:43:36.11ID:Qx2QKltQ0
>>693
＞動作環境揃えるまでが辛過ぎる
＞特にHyper-VはAndroidエミュ使ってる身からすると嫌がらせレベル
わかる😭
AMD-V環境でNOXやとwindowsの機能で仮想マシンプラットフォームを有効にしただけでNOXが起動せんくなるで🤕


WSLに自信ニキな方がおりましたら、赤ちゃんでもわかる環境構築メモをお願いします……
2023/05/21(日) 04:34:09.22ID:Qx2QKltQ0
AssistantSeikaを用いた音声合成ソフトとの連携方法を暫定追加

多分スレ民やと思うけどissueでvoice voxなどのAPIを簡単に叩けるツールをを教えてくれた方に感謝や
これから試したらそっちの手順も書くで！
2023/05/21(日) 04:37:30.94ID:Qx2QKltQ0
AssistantSeikaの制作者様でした
ワイは何たる御無礼を……😭
2023/05/21(日) 06:33:39.47ID:sQdGFMKo0
>>706
(NOX,LD,MuMu)系と(WSL,GooglePlayゲームβ)系とは共存できないやんね
ひょっとするとWSLとGooglePlayゲームβは共存できるのかもだけど試したことがないねん
ただ共存できたとしてもGooglePlayゲームβでできるゲームのラインナップはまだ少なすぎやけど
そのあたりWin11のWSAはどうなんやろか

ってなんかスレチっぽくなったごめんやで
2023/05/21(日) 08:09:16.54ID:Qx2QKltQ0
>>709
レスサンガツ！
WSL周りの知識の集積はこの先LoRAを安定して回す手法が体系化されたときにきっと役に立つからスレチやないと思うで😇
むしろそれに以前にワイ自身がWSLに疎すぎるから今はどんな情報でも欲しいんや……🤕
711今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾚ Sp03-TTsM)
垢版 |
2023/05/21(日) 09:24:09.36ID:W/9dLJjHp
ワイVRAM30オーバー、回線が細すぎてモデルが落とせない
2023/05/21(日) 10:01:50.26ID:751ae5xvM
このスピード感stable diffusionのローカルNAI出たあたりのワクワクがあって好きや
画像生成からつよつよグラボ持ちがもっと流入してくれば学習も進むやろな
2023/05/21(日) 10:33:15.35ID:rq5AoQEDd
一応現状ベストの13B貼っておくぞ
https://huggingface.co/openaccess-ai-collective/manticore-13b
https://huggingface.co/TheBloke/TheBloke/Manticore-13B-GPTQ
https://huggingface.co/TheBloke/TheBloke/Manticore-13B-GGML
2023/05/21(日) 10:53:06.95ID:rH+CNUJX0
IPにLLMを膾炙させるにはWebUIの整備が必須だと思うで
去年8月辺りのconda入れてコマンドプロンプトで生成してた頃なんてだーれも触ってへんかったやろ
2023/05/21(日) 11:03:56.82ID:ANlsUp7C0
https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ
うーん書いてある通りにやったけど読み込めねえ

一回目はメモリエラーが出て落ちて、以降はモデルをこれに切りかえようとすると
少しおいて特にメッセージもなくコマンドプロンプト画面側が落ちてしまうわ
（Done!　何かキーを押してください……とか出るから多分強制終了）
2023/05/21(日) 11:30:41.47ID:hMPQt9UdM
>>715
ニキ！ワイは今ビクナさんの外人バージョンは読み込めたで。と言ってもoobabooga入れてmodel諸々セットをhuggingfaceからダウンロードしただけやけど
なんか別の要因でconflictしてるんちゃう？知らんけど🥺
2023/05/21(日) 11:33:42.81ID:ANlsUp7C0
>>716
メモリとグラボのVRAMなんぼ積んでる？
2023/05/21(日) 11:54:58.81ID:LkB/rHpFM
>>717
メモリDDR4 32GB RTX3090 CPU Ryzen9 3900やで🥺
2023/05/21(日) 11:56:03.39ID:ANlsUp7C0
うーんメモリは同じかあ
エラーメッセージ見るにVRAMじゃなくて通常のメモリ不足のエラーっぽかったんやけどなあ
2023/05/21(日) 12:25:08.28ID:LkB/rHpFM
>>719
雑魚ワイのが参考になるか分からんけど、ワイがやったのはoobaboogaワンクリ落として、start_windows.bat実行して、後はno moduleって言われたのをひたすら脳死でpip installしてっただけで、特に変わったことしてないで🥺

https://i.imgur.com/DDYGZNB.png
2023/05/21(日) 14:33:01.69ID:LkB/rHpFM
ビクナちゃんuncensored試したけどほんとにChatGPT並み？？結構頭おかしいで🥺

https://i.imgur.com/hokWHrk.png
2023/05/21(日) 14:46:12.91ID:p2qvuP4Da
>>721
すまんChatGPT並は盛ったわ
でもModeをchat-instructにして、モデルがWizard-Vucuna-13Bならinstruction_templateをWizardLMにするといくらかマシになるはずや
2023/05/21(日) 15:00:16.63ID:vzSNsUUWd
ビクーニャやで…
2023/05/21(日) 15:11:37.28ID:ANlsUp7C0
そういや>>676みたいなテキスト食わせたrinnaのLoRA学習も全くうまくいってなかったわ
効きが不十分とかじゃなくて一切効いている感じがしない

もうつよつよ勢がrinnaをLoRA学習させるのに成功した事例とソースコード出てくるまで
大人しくしてるわ
2023/05/21(日) 15:41:55.36ID:ANlsUp7C0
https://qiita.com/taka_yayoi/items/e053b8d4232c5ba03110
ぽつぽつ記事出てきてはいるけどOpenCALMばっかやねんな
2023/05/21(日) 15:54:57.69ID:4ViF+ZHoM
りんな対りんなを音声出力するも最初のワンフレーズしか発声してくれず😭

雑魚ワイ、Lora学習に興味津々🥺
2023/05/21(日) 18:11:31.90ID:Qx2QKltQ0
ただいも
なんか急にお通夜ムードで草
ワイもワンチャン外しまくって久しぶりに沼ったで……
2023/05/21(日) 18:12:12.95ID:Qx2QKltQ0
【ubuntu 2204でのooba text generator webui 環境構築メモ】

https://github.com/oobabooga/text-generation-webui
oobabooga-linux.zipをダウンロードして任意の場所に保存

> cd /oobabooga_linux
> python3 -m venv ooba_venv
> source ooba_venv/bin/activate
> cd ./text-generation-webui
> pip install -r requirements.txt
> cd ..
> bash start_linux.sh

ここまではまだ大丈夫だった……🥺
2023/05/21(日) 18:12:57.04ID:Qx2QKltQ0
>>728
【失敗】

話題のvicuna uncensorを動かす準備

https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ

一式ダウンロードしてmodelsに保存。

->失敗。起動せず。
https://i.imgur.com/YKObHEf.png
2023/05/21(日) 18:13:59.50ID:Qx2QKltQ0
>>729
【失敗】

<参考 : 1>
GPTQ-models-(4-bit-mode)
https://github.com/oobabooga/text-generation-webui/blob/main/docs/GPTQ-models-(4-bit-mode).md

<参考:2>
https://colab.research.google.com/github/camenduru/text-generation-webui-colab/blob/main/vicuna-13B-1.1-GPTQ-4bit-128g.ipynb#scrollTo=VCFOzsQSHbjM


> git clone -b v1.2 https://github.com/camenduru/GPTQ-for-LLaMa.git
> cd GPTQ-for-LLaMa
> pip install -r requirements.txt
> python setup_cuda.py install

->失敗。糞長コンパイルエラーの洗礼
https://i.imgur.com/clvQxOB.png
2023/05/21(日) 18:15:31.59ID:Qx2QKltQ0
>>730
【失敗】
<参照>
Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack #122
https://github.com/oobabooga/text-generation-webui/issues/122
This was indeed a bug caused by gpt-neox-20b having too many files in the repository, so that the page had a "Load more" button.
I have updated the download script. Try doing this to download the files that you are missing:

git pull
python download-model.py EleutherAI/gpt-neox-20b --text-only
<参照ここまで>

【モデル抜きパックをダウンロード】
> python download-model.py /TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ --text-only

【safetensorは手動でダウンロード】
https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ
2023/05/21(日) 18:16:45.67ID:Qx2QKltQ0
>>731
【ワンチャン成功】
https://i.imgur.com/qOvvlH5.png

Q: bash start_linux.shで初回起動時にvicuna_uncensorを読み込んだときにエラーになる

A : 一度、別のモデルを選択してwebuiを立ち上げたあとに、Modelタブを開き、ドロップダウンからvicunaを選択

GPTQ parameters
wbits : 4
groupsize:128
model_type:llama

を指定したあとに、「Save settings for this model」-> 「Reload the model」
https://i.imgur.com/Z227E1Q.png
2023/05/21(日) 18:20:05.05ID:Qx2QKltQ0
>>714
確かにせやね
CLIのdialogは一旦置いて今度はwebuiとSeikaSay2.exeの間に挟まてAI出力を渡すミドルウェア的なの作ることにするで
2023/05/21(日) 18:28:18.60ID:gSBtns3rd
無理にooba使うことはないんやで
2023/05/21(日) 18:35:01.76ID:Qx2QKltQ0
>>724
情報共有サンガツ！
ワイはまだ>>471のリベンジできとらん🤕
2023/05/21(日) 18:35:23.69ID:Qx2QKltQ0
>>734
せやな……我ながらつくづくアホなことしとるとは思うンゴ
ワイはどうやらエラーが出るとなんとしても解決したくなる性分みたいや🤕

半日かけて> bash start_linux.shからvicuna動くのは確認できたけど結局server.pyからは動かせとらん😭
2023/05/21(日) 19:55:21.28ID:6xb5JOP60
>>669
CUDAのエラー出たけど.envの設定変えてdocker compose buildしなおしたらうまくいったわ
↓
#TORCH_CUDA_ARCH_LIST=7.5
TORCH_CUDA_ARCH_LIST=8.6+PTX
2023/05/21(日) 21:08:14.72ID:GQXI1Jhv0
今パソコンの新調考えとるんやが、このスレについていこうと思うとメモリとVRAMそれぞれどのくらいあったらええかな？
2023/05/21(日) 21:18:05.81ID:ANlsUp7C0
まあVRAM12は最低ラインとして、微妙にはみでることも多いみたいなんで16GBいけるなら
いったほうがいいのかもしらんなあ

そうじゃなきゃpaperspaceとかGoogle Colabみたいなの契約するか
ただAssistantSeikaと連携できなくなってまうけど

rinnna3.6bsft＋AssistantSeikaは一度試す価値があるで
ファインチューニングなしなら「まあこんなもんか」って
そのうちなるやろけど
2023/05/21(日) 21:25:37.75ID:GQXI1Jhv0
>>739
普通のメモリは32あったら大丈夫そうかな？
2023/05/21(日) 21:27:01.57ID:ANlsUp7C0
>>740
ええんちゃう？　少なくとも普通のことやる限りは
将来的に64に増設できるようにスロット残しておけば
なおカンペキかな
2023/05/21(日) 21:30:36.40ID:ANlsUp7C0
結局このスレで先日の日本語新モデル公開以降
「LoRAできたで！　こういう風にしゃべるようになったで！」って
言っている人が全くでてこないのがなんとも

以前gpt2時代に成功していたニキはその後うまくいったんやろか
2023/05/21(日) 21:33:17.17ID:GQXI1Jhv0
>>741
サンガツ！32でいくわ！
2023/05/21(日) 21:33:37.92ID:xtWwBxWld
日本語モデルのggml版って誰かあげとらん？
2023/05/21(日) 23:50:22.37ID:oCGby0wh0
>>739
最低ラインでvram12GBなのか・・・。
画像生成とレベルが違い過ぎる
2023/05/21(日) 23:52:57.77ID:RIW1mnv5d
いやワイはVRAM8GBで13B動かしとるけど
747今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0781-HH/k)
垢版 |
2023/05/22(月) 00:04:52.33ID:7vrS7Xw10
盛り上がってきたな
2023/05/22(月) 00:08:22.08ID:EKBf81NQ0
>>745
画像生成も似たようなもんちゃうかなあ・・・
2023/05/22(月) 00:23:44.30ID:Qcbbud3j0
音声とテキストはイラストと違って発展途上すぎるから全然分からん
WSLとか抜きでPython入れるだけで何とかなりませんかね？
説明読んでると4bit版使うためにも追加でセットする必要あるみたいだし
やる事多過ぎだろ・・・wiki待つわ
750今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4af7-Gpo3)
垢版 |
2023/05/22(月) 01:16:47.44ID:l5PF1Q3k0
llama.cpp なら、makeするだけじゃん。
hugのサイトでggmlでmodel検索してDLして実行するだけ。
PCの搭載メモリにあわせて7b or 13b, q4,q5,q8にするか好きなの選べ。
2023/05/22(月) 01:31:49.66ID:w5AvJBwRM
落として動いても、頭狂ってるからあまりやることないかも…
2023/05/22(月) 03:00:45.27ID:CcSXUw/Za
>>742
Alpaca-Lora和訳版の学習終わったで
ワイも最初効いてないと思ったけどwebuiがrinnaを正しく読み込めないみたいで、関数手打ちで確認したら学習できてたわ
素のモデル比でだいぶ論理的な会話が返ってくるようになった
sft版との比較はしてない
2023/05/22(月) 05:07:04.20ID:NiHZ59vq0
webuiからSeikaSay2に送る方法を色々考えてみたけど、やっぱりExtensionsのgoogle_translateかmulti_translateに追記してsubprocessでSeikaSay2を叩くのが簡単そうやな
2023/05/22(月) 05:28:40.97ID:NiHZ59vq0
webui トレースメモ

start.bat(.sh) ->
webui.py (def run_model) ->
server.py (import model.extensions)->
extensions.py(def load_extensions) ->
.\extensions\{拡張名}\script.py
2023/05/22(月) 06:12:21.95ID:NiHZ59vq0
修正

"start_windows.bat" or "_linux.sh" ->
webui.py ( def run_model ) ->
server.py ( import model.extensions )->
.\modules\extensions.py ( def load_extensions, extensions.setup ) ->
.\extensions\api\script.py ( blocking_api, streaming_api )->
.\extensions\{拡張名}\script.py
2023/05/22(月) 07:32:06.18ID:fgFeHf0I0
昨日wsl2のdockerでoobaboogaのwebui試してみた流れ書いておく、元々wsl2 上で、nvidia-smiでvga認識してて、docker 動かしてた状態からスタート

oobaboogaをgit clone後にgithubにあるdockerの手順で起動、web画面からTheBloke/Wizard-Vicuna-13B-Uncensored-GPTQのモデルを手順にそってダウンロードとパラメータの設定、テキスト生成しようとしたらcudaのエラー出たので>>737やったら動いた
2023/05/22(月) 09:07:33.86ID:EKBf81NQ0
>>752
んーWebUI使ってへんねんけどなあ
sft版に学習させたからアカンのかな
2023/05/22(月) 09:29:04.54ID:9Co+2ki50
ワイ赤ちゃん
画像側もワイの中で少し落ち着いたからこっちも手出してみたいんやがまずこれやってみるんや、みたいなんあったら教えてほしいんやが
すまんな
2023/05/22(月) 09:35:32.80ID:EKBf81NQ0
画像生成やっとったならPythonはもう入っているやろから
>>703落として書いてある通りに進めればええんちゃう？

モデルも勝手にダウンロードされるし
2023/05/22(月) 09:39:44.06ID:wPqAruE30
>>753
とりあえずwebuiからSeikaSay２叩いての再生には成功したけど、無限ループになってしまうけん。
とりあえず暫定メモ。
2023/05/22(月) 09:40:05.42ID:wPqAruE30
>>760
[ 使用した拡張 ]
janvarev/multi_translate
https://github.com/janvarev/multi_translate

[ 暫定実装手順 ]
※再生が止まらない模様。
　直すアイディア募集中！

以下追記箇所
./extensions/multi_translate/script.py

import subprocess

#"def output_modifier(string):"の下、"return res"の真上に以下の行を追加

"subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=res))"
2023/05/22(月) 09:40:36.73ID:wPqAruE30
>>761
google_translateものぞいてみたけど中身スカスカでようわからんかった。
以下該当箇所

./extensions/google_translate/script.py
def output_modifier(string):
"""
This function is applied to the model outputs.
"""

return GoogleTranslator(source='en', target=params['language string']).translate(string)
2023/05/22(月) 09:42:00.26ID:wPqAruE30
>>756
わかりやすい手順サンガツ！
試してみてみるで
2023/05/22(月) 09:45:54.42ID:wPqAruE30
>>758
もし良かったらrinna_dialogを触ってみてくれると嬉しいで
説明に分かりづらいところがあったら頑張って直すで🥺✨

https://github.com/AlgosErgo/rinna_dialog
2023/05/22(月) 10:04:08.18ID:wPqAruE30
やっぱりoutput_modifierの呼び出し元見つけなアカンかな
できれば拡張だけの範囲で済ませたいんやが……
766今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM86-fMV4)
垢版 |
2023/05/22(月) 10:04:39.32ID:4pWy8FYwM
すまん、ほとんどAIについて調べてばっかで学習とかはほとんどできてないんやが、rinna3.6bを学習させてみたいんやけどneoxってのはどういう意味や？学習方法が特殊なんか？あと学習用のデータはどんな書き方がええんや？
2023/05/22(月) 10:07:13.90ID:wPqAruE30
UI周りばっかり触っとるせいでワイも学習方面まだなんもわらかん……😭
2023/05/22(月) 10:10:08.33ID:EKBf81NQ0
このスレで学習について言える可能性あるのは>>752ニキだけやで
2023/05/22(月) 10:55:17.46ID:Qcbbud3j0
>>764
初めて導入に成功したわ、ありがとナス
dialog.pyを書き換えたらモデルの保存場所とか変更できるよね？
モデル変えたらりんな以外も使えるかな？
りんな自体は会話ボットの域を出ない感じだな

webuiのoobaboogaは機能はともかく要求環境が複雑すぎて心折れた
AUTOMATIC1111目指してるみたいだけど初期ハードル下がらないと無理だろ
2023/05/22(月) 11:01:38.64ID:EKBf81NQ0
デフォりんなの扱い方は>>506も参考やで
音声出させるとそれなりにはかどるで
2023/05/22(月) 11:04:44.42ID:wPqAruE30
>>769
サンガツ！
保存先の変更はもうちょっと待ってクレメンス🥺💦
フルパス指定の問題はまだ放置したままなんや……

それとモデルの変更はモデル名を書き換えればワンチャンあるけど、動かすにはモデルごとに<NL>タグの置換とかの変更が必要やと思うで

りんなを賢くするにはLLMのLoRAに自信ニキをどこからから拉致ってこないとあかんね……
2023/05/22(月) 11:10:13.16ID:wPqAruE30
>>770
今のりんなをそこまで調教できるのはニキのセンスがなせる技やな
ワイはボイロとごっこ遊びくらいしかできンゴ
2023/05/22(月) 11:14:54.71ID:wPqAruE30
peftもloraもほとんど触れてないのにどんどんtodoが追加されていくで🥴
とりあえず今はwebuiからSeikaSayを上手く動かす事を解決せなあかんか……
2023/05/22(月) 11:15:59.15ID:7QkFaiZur
>>752
おおー ぜひ手順公開してほしい！
2023/05/22(月) 11:19:08.25ID:wPqAruE30
>>752
ワイからもオナシャス！
2023/05/22(月) 11:29:11.22ID:FkCcPrVid
帰ったら弄るやつ
https://huggingface.co/jondurbin/airoboros-13b
2023/05/22(月) 12:04:53.41ID:9Co+2ki50
>>764
サンガツ、対話型起動したわ
ちょっと会話進めたらりんなちゃんが延々と「はい」っていってくださいBot化したけどなｗ
2023/05/22(月) 13:13:14.94ID:7DBodfCza
>>766
neoxはモデル名やで、GPT系とはちょっと構造が違うんや
学習用データは海外ではchatGPTから作った会話形式のデータを食わせるのがブームや

>>774
>>775
今Lora学習やり直してて、いい感じなら公開しようと思っとる
環境公開とかはgithub使わんとあかんのかな、使ったことないんや🥺
2023/05/22(月) 13:16:37.53ID:EKBf81NQ0
noteとかで公開しとる人も多いし、別にどっかのうｐろだでもええやろし
何でもええんちゃうかな
780今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM86-fMV4)
垢版 |
2023/05/22(月) 13:21:03.76ID:hnztX/u2M
>>778
はえーサンガツ
rinnaでもrlhfってできるんかな？
trlとpeftで容量少なくしつつできるみたいな記事見たんやけど
2023/05/22(月) 13:50:55.91ID:sNC9Sndg0
>>762
　google_translateの方に"subprocess.run("SeikaSay2.exe 略)"を追記したら、文章が確定された時には読み上げの再生が止まったけど

　ただ、やっぱりまだ生成中は文章が変わるごとに頻繁に再生されるのがアカンね

　あとは関数output_modiferの呼び出し元さえ分かれば、引数を追加して、文章が確定された場合にのみ再生するってできるんやが、フォルダひっくり返してもそれっぽいのが見つからンゴ……
2023/05/22(月) 13:55:32.02ID:sNC9Sndg0
>>777
使ってくれてサンガツ！
dialog.pyの設定項目にある会話履歴を書き換えて、あとは上手いこと誘導していくと、>>506ニキみたいに面白い会話も出来るみたいやで
2023/05/22(月) 13:59:46.83ID:sNC9Sndg0
>>778
やったぜ！めちゃ有難いで！
ワイもgithub初めて使ったけど、releaseでのバージョン管理と、readmeと、cloneだけでも凄く便利やと思ったで🥺✨

でもワイは正直gitコマンドもようわかっとらんレベルやから多分もっと上手い使い方とかあると思う😇
2023/05/22(月) 15:48:03.88ID:nB3PsJ47r
>>778
最近このスレのLlama13Bを6GBで動かすっての見てからいじりだしたけど、とにかく情報少ないからありがたい
2023/05/22(月) 15:50:11.89ID:EKBf81NQ0
当面LoRAについては>>778ニキのワンマンチームでやっていくしかないわ

ってかネットにかなりおるはずの日本語LLM研究者とか学生とか企業の人とか
rinnaの学習の情報ぜーんぜんあげてくれへん・・・
とりあえずGinZAっていう形態素解析のライブラリが面白かったからしばらく
そっちをいじることにしたわ
2023/05/22(月) 15:56:58.61ID:Py3AVfFz0
東工大や富士通が和製生成AI　「富岳」使い23年度中に
https://www.nikkei.com/article/DGXZQOUC223IT0S3A520C2000000/

東京工業大学や富士通などは22日、スーパーコンピューター「富岳」を使って2023年度中に高度な生成人工知能（AI）を開発すると発表した。
日本語を中心とした基盤技術を構築し、24年度から国内企業などに無償で提供する。米オープンAIの「Chat（チャット）GPT」などが世界で注目を集める中、日本の産学が連携して自前技術で対抗する。

開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模言語モデルを独自に開発する。AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使う。
2023/05/22(月) 16:24:33.80ID:EKBf81NQ0
正直知識量についてじゃなくてやりとりの理解度・精度なのよなあ
2023/05/22(月) 16:27:43.86ID:H5rGejuid
求められているのは自然な会話よな
情報はネットに繋ぐプラグインでもできればええし
2023/05/22(月) 16:57:26.26ID:sNC9Sndg0
>>781
【解決】
webuiからSaykaSay2.pyを叩いて音声合成ソフトにしゃべらせる方法について

.\text-generation-webui\modules\chat.py
186行目: def chatbot_wrapper(略):関数内
243行目: visible_reply = apply_extensions("output", visible_reply)でoutput_modifierを呼び出し
https://imgur.com/hoittju.png

追記箇所
275行目 : subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=visible_reply))
https://imgur.com/4yFMmnn.jpg
2023/05/22(月) 16:57:33.73ID:sNC9Sndg0
>>789
実際に読み上げさせたときの動画

before
https://imgur.com/KDe1kxR.mp4

after
https://imgur.com/MrGXEQR.mp4
2023/05/22(月) 17:03:03.85ID:sNC9Sndg0
結局extensionsからハミ出さざるを得なかった😭
ハミ出しちまったものはしょうがないのでここから新しくUI作ってwebuiから話者指定出来るようにしたら公開しようと思う
2023/05/22(月) 17:43:44.76ID:sNC9Sndg0
そこそこの理解度でタメ口や敬語を混ぜながら自然な会話をするAIと聞くとノルネが恋しくなるで……
2023/05/22(月) 22:47:37.03ID:dDeQnQdFM
Loraで学習ってさせたら例えばローリング・ストーンズの歴史とか曲名やらなんやら突っ込んだら、ストーンズ専門のLLMができるの？🥺
2023/05/23(火) 01:13:01.89ID:2FscFC/x0
>>779
>>783
サンガツ、学習環境を上げてみたで
https://mega.nz/folder/hrs1QJLS#9rpOXXytn2tjUqzapT7_PQ

>>780
できるらしいけどRLHFは情報無さすぎてワイもわからん😭
2023/05/23(火) 01:14:07.77ID:yDpq2hGX0
光速で保存
今日はもう寝ちゃうけど起きたらまたやってみよう
2023/05/23(火) 04:32:11.79ID:sIHyNd/00
>>794
もろたで！
readmeまでつけてくれてほんま感謝や愛してるニキ🤗
2023/05/23(火) 04:45:49.80ID:sIHyNd/00
新しく拡張を追加しようと試みとるけど、
正規の呼出し手続きに則るなら、"/modules
/chat.py"だけやなく"/modules/extensions.py"の'apply_extensions'とMAPも書き換えないと"/extensions/拡張名/script.py"に手出し出来ないことに気付いたで🥺

呼出し元を2つも書き換えないと使えない拡張ってそれもう拡張やないやんけっ！😭

完全に誰得やけどここまできたら完成させてさっさと>>794ニキのLoRAで遊ぶで😇
2023/05/23(火) 15:11:47.53ID:zAn1lUHt0
extensionsイジってる内にまたvicunaが読みまなくなったので一旦放置😭
https://i.imgur.com/WaITCRk.png
2023/05/23(火) 15:12:02.81ID:zAn1lUHt0
さっそく>>794ニキのfinetune.py動かしてみたけどデコードエラーが出るンゴね……
cp932やからディレクトリのパスの書き方でワンチャンあるかと思ったけどアカン
cloneした方やとデコードエラー起こらなかったからとりあえずまた時間かけて1行ずつ読み直してくるで……
https://i.imgur.com/q4GfQz2.png
2023/05/23(火) 15:26:48.27ID:0xoZpj7CM
ワイもファインちゅんしたい🥺…
2023/05/23(火) 15:27:58.22ID:zAn1lUHt0
>>800
ほないっしょにちゅんちゅんしよか……🐣
2023/05/23(火) 15:31:53.49ID:zAn1lUHt0
どっかにencolding="utf8"を追加してやれば動くと思うけどなんか今日は頭が回らんのや……☔😭
2023/05/23(火) 15:46:05.08ID:yDpq2hGX0
generate.pyのfrom_pretrainedの指定2箇所のところ

"rinna/japanese-gpt-neox-3.6b"

じゃないかな
2023/05/23(火) 15:50:50.78ID:zAn1lUHt0
>>803
サンガツ！
探してみるで
2023/05/23(火) 15:52:44.57ID:yDpq2hGX0
ああいや>>799とは別の問題
2023/05/23(火) 16:01:26.55ID:zAn1lUHt0
>>805
ほんまや、すまんな
開いてからfinetune.pyにgenerate.pyが参照された痕跡がないのに気付くくらいやもん……ワイ完全にボケとるで😵
2023/05/23(火) 16:24:29.64ID:qWwUMGiAa
trainerを用いてpeftでチューニングした結果を保存する場合model.save_pretrained（保存先）をしないとうまく結果が保存されなかったンゴ
2023/05/23(火) 16:32:24.83ID:zAn1lUHt0
>>807
情報共有サンガツや🤗
2023/05/23(火) 17:07:03.09ID:yDpq2hGX0
なんか自分もJSON読み込むとこでうまくいかんから、以前作ったcsvを使って
読み込むとこにcsv読み込みのifも追加したわ
とりあえず学習が始まるとこまでいった

if data_path.endswith(".json") or data_path.endswith(".jsonl"):
data = load_dataset("json", data_files=data_path)
elif data_path.endswith(".csv"):
data = load_dataset("csv", data_files=data_path)
else:
data = load_dataset(data_path)
2023/05/23(火) 17:07:26.26ID:yDpq2hGX0
インデントが消えちゃってるけどその辺はよしなに
2023/05/23(火) 17:23:36.35ID:zAn1lUHt0
>>809
You saved me THAN−GUTS
JSON側のエンコード問題やったんかな
ワンチャン漁ってサクラエディタで開いた時はutf8になってたけど謎は深まるばかりや
2023/05/23(火) 17:25:25.27ID:yDpq2hGX0
あと>>803の元コードはローカルにrinnaのモデルを置く前提の書き方だったんやね
ワイはpaperspaceでやりたいから>>803みたいにオンラインでダウンロードする形に
どっちも変えるわ
2023/05/23(火) 18:49:56.20ID:yDpq2hGX0
https://i.imgur.com/CvWuTg6.png
食わせたのがコレ
https://i.imgur.com/pI00qod.png
うーんこれは……効いてなさそうやなあ

あと試しに>>794ニキの元々入っていたデータをgenerate.pyに読み込ませたんだけど、
adapter_config.jsonを読んでいるとこで
Extra data: line 16 column 2 (char 344)
が出てしまう　結局これも文字コードの問題かなんかなんかな？
2023/05/23(火) 19:38:22.09ID:2FscFC/x0
>>811
>>813
ワイの環境はlinuxでエンコードはUTF-8だからそこの差分なんかなあ...
Windows版のPythonはファイル読むときcp932扱いになるらしく、UTFを読みたいなら環境変数のPYTHONUTF8=1にせんとあかんらしい

>>813ニキの学習がうまく行かんのも学習templateのjsonを文字化けして読み込んでるからかもしれん
2023/05/23(火) 19:41:53.66ID:yDpq2hGX0
なるほどなあ
と思ったとこでpaperspaceがまた一杯や

空いたら文字コードに絞ってまた検討や
テストのためにデータ量もうんと絞り込んでええかもな
2023/05/24(水) 02:34:35.77ID:oNsrH4tR0
>>814
サンガツ！
明日また今度はubuntu2204で試してみるで🥺✨
2023/05/24(水) 06:02:08.72ID:70+xJpNF0
>>798
TheBloke/stable-vicuna-13B-GPTQが読み込まない人へ
https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ/discussions/14
以下ｸﾞｰｸﾞﾙ翻訳してちょこっと手直しして引用

Narfel　1 日前修正済
新規インストールが手っ取り早いです:
1, ooba をインストールしてから更新します (gcc がインストールされている必要があります。たとえば、Fedora の「apt install build-essential」または「Developer Tools」)

2, 最後に、「hugging faceを手動で指定する」を使用して「TheBloke/stable-vicuna-13B-GPTQ」をダウンロードし、インストーラーを終了します。実行しないでください。

3, 「CMD_FLAGS = '--chat --model-menu'」の代わりに
「CMD_FLAGS = '--auto-devices --chat --wbits 4 --gpu-memory 22 --groupsize 128'」を使用するように webui.py を編集して開始します

4, モデルをリロードしてなにか問題があればwebui.py を編集して、（引数を）元の内容または好みのものに戻すことができます。
2023/05/24(水) 06:30:01.00ID:70+xJpNF0
>>790

当該スクリプト
./modules/chat.py
./modules/modules.py
/extensions/google_translate_bypass/script.py

・アイディア１：【"google_translate"の中身だけを修正する。】
-> 失敗。
　script.py内の関数:output_modiferを呼出しているchat.pyの箇所が二重ループ内部になっている為に、再生が止まらなくなる。
2023/05/24(水) 06:31:37.48ID:70+xJpNF0
>>818
・アイディア２：【新しく拡張を追加する。】
-> デグレのためひとまず保留。
　outputとinputの拡張適用はchat.pyからextensions.pyを経由して行われる。その際にextensions.py内の関数apply_extensionsが、extensions_MAPのLISTと照らし合わせて適用する拡張を決定する模様。

　ここに新しく拡張の種類を追加しようとすると、chat.pyとextensions.pyとscript.py3つを書き換えないといけなくなる。STOP環境破壊！
2023/05/24(水) 06:33:26.67ID:70+xJpNF0
>>819
・アイディア３：【chat.py内の関数: apply_extensions呼出位置をループ外へ変更して、関数: output_modifer使い回す】
-> 惜しい。uiに翻訳が反映されなくなるが、日本語で読み上げてくれる模様。

　これはこれで英語学習に需要がありそうなのでもう少しテストしたらgithub送りへ──

自分のことをgoogle homeだと思い込んでるキズナアカリ
https://imgur.com/anWqOfL.mp4

ずんだもんでも試してみた
https://imgur.com/5pOfet3.mp4
2023/05/24(水) 06:38:10.22ID:70+xJpNF0
>>820
訂正

誤）chat.py内の関数: apply_extensions呼出位置をループ外へ
正）chat.pyから呼出している関数:apply_extensionsの位置を生成ループ外へ
2023/05/24(水) 07:09:55.13ID:oNsrH4tR0
今更やけどひとりでスレ消費しすぎて申し訳なくなってきたからそろそろ自重するで🥺
2023/05/24(水) 11:10:35.19ID:/LFGHsKJd
ニキがいるから活気があるんや。感謝しとるで。その調子で頼む。
2023/05/24(水) 11:31:53.88ID:ClqUP9sL0
>>823
サンガツ！😇
ただ今の調子で日記みたいな事やっとると、せっかく入部しに来てくれた人たちがﾋｴｯ……ってなりそうやから、細かい所は全部書き溜めてgithubのreadmeにブチ撒けることにするで🥺✨
2023/05/24(水) 12:21:10.76ID:an9EJklNM
>>794ニキが上げてくれたのでrinnaちゃんファインちゅんしたらどれくらい賢くなるの？🥺
2023/05/24(水) 12:26:16.80ID:ClqUP9sL0
>>825
ワイは拡張イジりにもう少し掛かりそうやからニキに試してみてもらえるととても有り難いで……😵💦
2023/05/24(水) 12:44:54.33ID:an9EJklNM
>>826
よっしゃ試してみるやで🥺
2023/05/24(水) 12:47:00.11ID:ClqUP9sL0
>>827
サンガツや！🤗
ただ昨日は確かcp932のエンコードエラーで止まっとったから注意やで🥺💦
2023/05/24(水) 13:16:35.60ID:o2s84KvcM
>>464
スーパー亀レスですまんがGooglecolaboや
2023/05/24(水) 13:17:02.98ID:71HMGsml0
ふむふむGoogleでもいける可能性はアリと
2023/05/24(水) 13:19:58.33ID:o2s84KvcM
OpenCALMとかりんなちゃんとか来たけど忙しくて触れんかったんやが
クッソ発展してて草完全に浦島や
2023/05/24(水) 13:36:36.29ID:71HMGsml0
https://i.imgur.com/x1PH5u4.png
うーん一応finetune.pyを動かす時data['train']の中に
ちゃんとデータが入っているのかとかも確認してんけど
generate.pyでアカンなあ

model = PeftModel.from_pretrained(model, "lora-alpaca/", torch_dtype=torch.float16)
generate.pyのこれの後、ちゃんとLoRA読み込めているかとか中身が大体どんな感じかとか
たしかめる手段ってないのかね
2023/05/24(水) 13:55:38.84ID:71HMGsml0
https://i.imgur.com/LjDcmDj.png
generate.pyでPeftModel.from_pretrainedした後に
modelに含まれる属性を書き出してみた

これだけでデータがおかしいかどうかわかる
エスパーニキはおるやろか……
2023/05/24(水) 13:58:50.98ID:ClqUP9sL0
webuiからcidを変更できるようになったのでプレリリース
https://imgur.com/Y2q0YJJ.mp4

https://github.com/AlgosErgo/google_bypass

ただし、>>820の日本語再生英語表示のままなのは赦して😭
これから頑張るで😤
2023/05/24(水) 14:00:08.52ID:ClqUP9sL0
>>831
ｸﾏｽﾃニキお久しぶりや！
ワイはニキと一緒にえちえちりんなを志した>>146やで！
2023/05/24(水) 14:10:03.99ID:ClqUP9sL0
学習周りは>>778ニキと>>794ニキならきっと……
2023/05/24(水) 14:26:37.07ID:o2s84KvcM
わざわざ丁寧にサンガツやで
ニキのDialogとかもやが参考にさせてもらって手動かして試してみるわ
もってくれよ…ワイのRTX3060ッ…！
2023/05/24(水) 14:32:18.80ID:ClqUP9sL0
ああっと>>146よりも>>36のほうが誰か分かりやすかったですまんご😣
vram12GBならdialogはバッチェ動くで大丈夫や🤗
2023/05/24(水) 14:52:47.73ID:ClqUP9sL0
いやワイがこんなくっさいこと書くせいでせっかくの入部希望な方が逃げるんやね……😭
やっとUI動いて変なテンションなってたンゴ、自省するで😣
2023/05/24(水) 17:16:27.02ID:71HMGsml0
>>794ニキの最初から入っているadapter_model.binで
generate.pyの実行成功した人はおる？
2023/05/24(水) 22:14:00.96ID:71HMGsml0
https://twitter.com/mi_genc/status/1660183355193987072
rinnaのsft版でファインチューニング成功した人がおるな
手法は書いてへんけど
https://twitter.com/5chan_nel (5ch newer account)
2023/05/24(水) 22:19:30.88ID:71HMGsml0
https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lora
なんか以前保存されるデータが1KBくらいだったのこれか！
今はなんか出なくなったけど

>peft@75808eb2a6e7b4c3ed8aec003b6eeb30a2db1495 のコミット辺りで追加された記述の一部を削除しないと
>出力される"adapter_model.bin"がデータセットのパラメータ数に関係なく1kb前後という明らかに異常がある
>データが保存されます。どうやらウェイト保存が正常に行われていないらしく2023/05/24時点で問題は
>解消していないようです。

>model.save_pretrained() produced a corrupted adapter_model.bin (only 443 B) with alpaca-lora
2023/05/24(水) 23:00:05.71ID:xy0FbOyMa
>>840
こっちもバージョン違いのせいとかあるんかな…
Google colab上で試してみたらgenerate.pyは動いたンゴ

>>794のMegaに動いた時のgoogle colabのコマンドをgoogle-colab-memo.txtとして追加した
色々混乱させてしまってすまんご😥
2023/05/24(水) 23:02:45.08ID:71HMGsml0
>>843
サンガツ
読んでみるわ
paperspaceとGoogle colabで違いとかあるんかなあ

あと、どういう質問したらどういう結果（LoRAの効果）が出たかとか
スクショ貼ってくれると嬉しいのう
2023/05/24(水) 23:50:04.86ID:qC5n1RUfd
qloraってなんや…
2023/05/25(木) 00:29:23.38ID:NHMVM0HVa
>>844
Megaにもとから入ってるLoraはこんな感じや
https://i.imgur.com/Rn2Hlu9.png
2023/05/25(木) 00:34:34.71ID:bolyKJ0z0
なるほどなあサンクス
また今度挑戦してみるンゴ
2023/05/25(木) 05:37:47.32ID:JzQG7Do10
webuiの方もひとまず形にできたので今度こそLorRAを始めるで😤
……と言ってもinstruction表記されたデータセットなんか持ってないので、>>794ニキの学習環境を頼りにまずはワンチャン賭けて何でも試していくところからやね……😇
2023/05/25(木) 11:31:08.36ID:bolyKJ0z0
QLoRAってこのスレでもよくでてくる4bitでの学習ほげふげのとなんか違うのん？

ここまで出てきたのはモデル自体が4bit、QLoRAはLoRAが4bitってことなんかな
2023/05/25(木) 12:48:08.39ID:bolyKJ0z0
https://twitter.com/ai_araisan/status/1661550035077849088
こういう系のサービスは今後バンバン出そうやな
https://twitter.com/5chan_nel (5ch newer account)
2023/05/25(木) 15:10:37.55ID:SrDcSpCHd
gptqloraもフォークで来たわ
2023/05/25(木) 15:11:27.32ID:bolyKJ0z0
佐々木朗希かな
2023/05/25(木) 17:34:03.62ID:bolyKJ0z0
OpenCALM-7Bやけどそのうち試してみるか・・・
https://note.com/masuidrive/n/n0e2a11fc5bfa
2023/05/25(木) 17:46:59.45ID:OXs2Lfah0
ワイloraもまだなのにqloraとかgptqloraとかわけわかめや……🤕
2023/05/25(木) 17:49:53.97ID:OXs2Lfah0
昼間にNVA部に宣伝してみたけどやっぱり遊びに来てくれる人おらんね……
そう何度も宣伝するのも迷惑やろうから次の宣伝はなたなんか新しいのが出来てからにするで

やっぱりテキストベースのNLPのLLMって分野がそもそも地味すぎるのがアレやからもう少しなんかこう派手なのを作りたいゾ
2023/05/25(木) 17:52:02.19ID:bolyKJ0z0
というかrinnaのLoRAの成功パターンが見えてくれば
また違うと思うわ
2023/05/25(木) 17:56:37.87ID:OXs2Lfah0
>>856
確かにloraで自分の好きな性格のキャラを育てられるとかになれば人が増えそうやな✨

とするとデータセットの用意が難問やな……
えちえちな文章を用意してそれをインストラクション形式に変換するアプリ……ひとまずはワイが作れるのはこんなところやろか
2023/05/25(木) 17:58:08.75ID:bolyKJ0z0
まあデータセットは大変やろけど、まずはLoRA成功者が
誰か>>794ニキ以外に出てほしいねんな・・・
2023/05/25(木) 18:02:16.46ID:OXs2Lfah0
せやね
成功ニキを拉致もとい招致するためにはもう少しスレの知名度上げなアカン気もするで
2023/05/25(木) 18:02:49.87ID:OEBcjNqb0
適当なテキストから使えるとこだけ抜いてデータセットに変換する作業こそLLMに頼みたい
2023/05/25(木) 18:04:25.82ID:bolyKJ0z0
ChatGPT4ならなんぼか助けてくれるんちゃう
ワイはPythonでやるデータ整形についてだいぶ助けられたで

まあそもそもそのデータだろうと>>794ニキのデータだろうと
LoRA学習自体がうまくいかなかったんでどうしようもないんやが・・・
2023/05/25(木) 18:05:53.12ID:OXs2Lfah0
言われてみればそれもせやね
chatgptの到来でもう人間が問題点を明確にさえできていれば全部自動化していかなくてもええ時代なのはいまだに実感が湧かないンゴね…
2023/05/25(木) 18:09:35.22ID:OXs2Lfah0
>>861
ま？あかんかったんか……
ワイまだほとんどlora触れてないけど、loraがあかんとやっぱりファインチューニングに戻らなアカンのやろか
2023/05/25(木) 18:10:41.36ID:bolyKJ0z0
正規表現とか「該当する行の前後を切り出す」とか頭で考えると面倒やし
結局ミスも多くなるしでChatGPT4に聞くのが一番ええわ

PythonのGinZAっていう日本語ライブラリも使うとさらに高度な条件で抽出とかも
できそうやし
2023/05/25(木) 18:11:05.81ID:bolyKJ0z0
>>863
というかおま環とか何か大きな見落としとかの可能性高いと思うんで
他のチャレンジャーを待つで
2023/05/25(木) 18:13:43.96ID:OXs2Lfah0
正規表現はワイも苦しんで覚えた記憶あるで
久しぶりに使おうとすると結局ググり直してたけどそれももうGPT4で解決するのは改めて凄い時代やと思うンゴねぇ

せやな
何でも試すとなるとやっぱり人手がもっと欲しくなるで……
2023/05/25(木) 18:17:35.20ID:OXs2Lfah0
GinZAなんてのがあるんやね
面白そうやからtodoにメモったで情報サンガツや！
2023/05/25(木) 19:43:21.71ID:OXs2Lfah0
自分からペット化志願してくれたジェネリックノルネ
あとはえちえち用語を学習させられさえすれば……
https://i.imgur.com/IHWh2RH.png
2023/05/25(木) 19:47:19.85ID:OXs2Lfah0
動くからとずっと放置してたmodel configエラーもそろそろ直さなあかんね🥺
2023/05/25(木) 20:04:54.28ID:OXs2Lfah0
途中でオウム返しになるのは恐らく会話履歴の繋げすぎやと思うから、閾値で古い履歴から消していくようにするで
2023/05/25(木) 22:55:00.41ID:O/yZmCLr0
良さげな記事
https://note.com/masuidrive/n/n0e2a11fc5bfa
872今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-6uBr)
垢版 |
2023/05/26(金) 01:22:22.01ID:Wcev3Ix/0
このスレ見た感じ大規模言語モデルをローカルで動かしていじる的な話題多いけどChatGPTとか既存サービスのプロンプトみたいな話ってスレチになるんか？
2023/05/26(金) 01:24:40.51ID:P/DuWvPj0
プロンプトっていうほど分野築ける？
step by stepとかそういう話？
2023/05/26(金) 03:29:53.09ID:0LatdU2QM
>>872
別スレが複数ある
2023/05/26(金) 07:49:04.11ID:pCYEIFDK0
chatgptの専用スレどこかにある？
876今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp03-QnQF)
垢版 |
2023/05/26(金) 07:55:32.02ID:ErEg164Qp
ここやで
【ChatGPT】AIチャット総合 Part6【Bing・Bard】
https://mevius.5ch.net/test/read.cgi/esite/1684899205/
2023/05/26(金) 08:13:44.29ID:pCYEIFDK0
>>876
助かるわサンクス
2023/05/26(金) 11:22:10.87ID:H7bLS60eM
ファインちゅんちゅんどうやったらできるんやろ？ワイもやりたい🥺🐦🐦
2023/05/26(金) 12:25:31.30ID:5f4sYwy00
ファインチューニングの記事が出たと思ったらだいたいOpenCALMか
昔のrinnaの例で頭にきますよ

>>794ニキの例を誰か成功させて設定とか教えてクレメンス
2023/05/26(金) 12:32:38.35ID:PXE0o5cOM
RTX3060でFine tuningできた例ないやろうか
使うだけなら問題ないけど新りんなちゃんOOMで死ぬ…
2023/05/26(金) 12:35:27.08ID:5f4sYwy00
8bit化ができていればVRAM12GBで足りるらしいけど
そのために必要なライブラリがWindowsでは動かないんで
Dockerの知識とか必要っぽい

んでワイはDockerでやったとき上手くいかず、結局paperspaceにいった
そんで学習ひと通り走れたように見えたんやけどいざadapter_model.binを
読み込ませても一切変わっているように見えん・・・　って状況や

>>794ニキが学習させたadapter_model.binを読み込ませようとすると
なぜかエラーが出てしまうし……
2023/05/26(金) 12:39:11.26ID:PXE0o5cOM
サンガツ調べてみるか
最悪またGoogle様に借りるか
2023/05/26(金) 12:39:29.57ID:5f4sYwy00
>>794ニキもGoogle Colabでやってるっぽいしな
2023/05/26(金) 12:43:59.84ID:H7bLS60eM
open CALMとrinnaちゃんやと、頭狂ったロボと5歳幼児くらいのレベル差ある？
2023/05/26(金) 12:46:09.69ID:5f4sYwy00
そもそもどっちもパラメータ数とか世代によってちゃうとは思う

ただOpenCALMは英語も学習しちゃっているぶんrinnaより
同一パラメータだと不利があるのかもしれないとか推測してる人が
Twitterにおったな

ワイはrinna3.6bのsftは素でも一定のポテンシャル感じるから
ここをどうにかファインチューニングしたいんやが・・・
886今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp03-uFZj)
垢版 |
2023/05/26(金) 13:13:14.38ID:k3SUuX5Up
LoRA学習試してみたけどopen-calm-7bとrinna/japanese-gpt-neox-3.6bなら流石に前者の方が全然良かったな
sft版は試してないからわからんが
2023/05/26(金) 14:35:05.23ID:PXE0o5cOM
https://zenn.dev/tatsuromurata/articles/30e2dcd1cd5412
これ参考にしてローカルのWinマシンonWSL2で推論(Fine tuningではない)やってみたけどうーんって感じ…
ワイのやり方が悪いのか？

https://i.imgur.com/cczRZGf.png
2023/05/26(金) 14:45:50.55ID:PXE0o5cOM
いや何回やっても全く同じのが出てくるな…
🤔…？
2023/05/26(金) 14:59:17.42ID:PXE0o5cOM
sftでもやってみた…

https://i.imgur.com/uX7WBcs.png
2023/05/26(金) 15:38:54.66ID:5f4sYwy00
初期の頃失敗したときワイも似たようなのになったな
2023/05/26(金) 17:25:12.09ID:rHr11+nBM
ワイ、今日頑張ってrinnaちゃんちゅんちゅんすんねん🥺🐦
2023/05/26(金) 18:30:16.89ID:sIeXbK9l0
今日ほとんど触れてない😭

dialog修正
・プログラム終了させずにseikasay2の話者を変更できる
・会話履歴が設定項目max_conv_listを超えると一番古い履歴を1つ削除

config error はAutoModelCausalLM読むのに時間かかりそう

https://i.imgur.com/AHg2yYJ.png
2023/05/26(金) 18:52:48.31ID:sIeXbK9l0
>>889
やっぱりオウム返しの解決はなかなか難題やね
2023/05/26(金) 18:53:41.40ID:sIeXbK9l0
>>891
ワイは明日から頑張る……🤕💦
2023/05/26(金) 18:59:30.59ID:sIeXbK9l0
>>892
model configエラーとモデルのフルパス指定の問題はセットな気がするから次の修正でまとめて解決したい
あとはLoRA適用の準備が終わればほとんど完成やね
ついでにGUI化するのも考えたけどoobaあるから蛇足かな
2023/05/26(金) 19:45:43.43ID:UWB5VOmnM
>>887
都合のいいことしか言わない、がゲシュタルト崩壊しかけたわ🥺
2023/05/26(金) 20:37:22.80ID:PXE0o5cOM
ワイの繰り返しはオウム返しじゃなくて普通になんかおかしいだけやと思うねんな
りんなちゃんでQLora動いた例とかないかな
2023/05/26(金) 20:40:01.76ID:5f4sYwy00
待っている間にColabとかで>>794ニキの試してみてクレメンス
2023/05/27(土) 10:47:58.82ID:2e3d6C+y0
同じ文章の繰り返しやとオウム返しというよりはハルシネーションというんやっけか🤔

とりあえず今日の目標は実機ubuntu2204で>>794ニキの環境構築でいくで😤
2023/05/27(土) 10:50:22.64ID:2e3d6C+y0
ひとまず学習精度は置いといて学習さえ回れば誰でもお手軽環境キットも作れるんや🥺✨
2023/05/27(土) 10:59:13.88ID:2e3d6C+y0
WSLは……慣れるまでまだかかりそうや
2023/05/27(土) 11:33:35.29ID:2e3d6C+y0
ubuntu2204だとそのままで動いたけど4090でも1時間とか掛かるんか……
ローカルでのファインチューニングはあまり現実的ではなさそうやね🤕
https://i.imgur.com/ZA0lbIo.png
2023/05/27(土) 11:37:24.43ID:E7gGWYwQ0
1時間なら上等やろ
まあ量にもよるやろけど
2023/05/27(土) 11:42:21.18ID:2e3d6C+y0
1時間でも上等なんか……これを頻繁に回すのはちょっとつらいで🥺💦
データセットは>>794ニキのjapanese_alpaca_data_cleaned.jsonそのままやね
2023/05/27(土) 11:43:51.67ID:2e3d6C+y0
vram遊んでるからバッチサイズいじればワンチャンあるやろか
2023/05/27(土) 11:46:20.73ID:E7gGWYwQ0
>>904
頻繁に回すもんじゃなく「よっしゃいくで！」って環境によっては
10時間とか回すタイプのもんやと思うで

画像生成でもLoRA出てくる前はそんな感じだったはずや
2023/05/27(土) 11:49:25.90ID:2e3d6C+y0
>>906
なるほ
そう考えたらまだまだこっちは黎明期なんやね
2023/05/27(土) 11:54:31.45ID:E7gGWYwQ0
歴史はむしろこっちのほうが古いくらいじゃねえかなあ
根本的に画像と比べて学習が大変ってことなのでは
2023/05/27(土) 12:01:21.72ID:2e3d6C+y0
確かにStable diffusionのベースもLLMやね

そういえば積んでたオライリーのディープラーニング実践ガイドって書籍やと、1990年代にはニューラルネットワークを使ったLeNetという手書き数字を認識するOCRがアメリカのUSPSで使われてたって話が書いてあってはぇ～ってなったで
2023/05/27(土) 12:02:29.92ID:2e3d6C+y0
それにしても画像よりもテキストのほうが学習が大変というのもなんか不思議な話な気がするで
2023/05/27(土) 12:27:38.68ID:2e3d6C+y0
大体1時間経過
完成したらひとまずは794に気が作ってくれたものと比較して、同じものができているかを確認やな
ここでうまくいってなければfinetune.pyの中身を隅々まで読み直さなきゃあかんくなるからワンチャン当てたい
2023/05/27(土) 12:28:08.80ID:2e3d6C+y0
https://i.imgur.com/6dSbjuN.png
2023/05/27(土) 13:06:46.94ID:2e3d6C+y0
左が今回生成したモデルで左が794ニキモデル
容量的には794ニキモデルのほうが大きい
https://i.imgur.com/fll3Vu5.png

応答は同じだから多分成功したと思うけど、これからもう少しテストしてみる
https://i.imgur.com/1Lf4qDJ.png
https://i.imgur.com/jovYbKG.png
2023/05/27(土) 13:08:15.24ID:2e3d6C+y0
訂正
左が今回生成したモデルで右が794ニキモデル
2023/05/27(土) 13:14:49.21ID:2e3d6C+y0
いや、失敗やな
443キロバイトやなくて443バイトやもんな
2023/05/27(土) 13:15:59.27ID:2e3d6C+y0
>>842ニキのを読み直してくるンゴ
2023/05/27(土) 18:14:03.07ID:E7gGWYwQ0
学習に使ったテキストのinstructionと同じように質問するほうが
テストにはええやろな
2023/05/28(日) 10:42:53.40ID:XkyXHvLh0
>>917
サンガツ！
2023/05/28(日) 10:43:32.20ID:XkyXHvLh0
LoRA環境構築　暫定メモ

1, 下の3つをガッチャンコ
794ニキのjapanese_alpaca_data_cleaned.json
https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lor
https://github.com/tloen/alpaca-lora
2023/05/28(日) 10:43:49.59ID:XkyXHvLh0
>>919
2, alpaca-loraのrequirements.txtと更に２つのパケが必要
pip install scipy
pip install protobuf==3.20.0
2023/05/28(日) 10:44:07.73ID:XkyXHvLh0
>>920
3, 実行方法
python finetune.py --base_model './rinna_japanese-gpt-neox-3.6b' --data_path 'japanese_alpaca_data_cleaned.json' --output_dir './lora-alpaca'
2023/05/28(日) 10:44:32.73ID:XkyXHvLh0
>>921
4, パラメータを設定
デフォだと7時間とか出る模様
https://imgur.com/NUx5PZs.jpg

＞VRAM使用量を調整したいなら"micro-batch-size"を弄るとコントロール出来る。
引用元 https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lor
らしいけど自分環境だといじっても8GBのままだった

5,　放置して寝る
-> スリープ切り忘れて失敗
2023/05/28(日) 10:53:19.46ID:XkyXHvLh0
教訓
LLMの学習はまだローカルでやるには困難
2023/05/28(日) 10:59:25.74ID:fD2V+NqH0
そこをなんとか突破していくニキを募集しています
gpt2時代にエロエロ作れた人もおったわけやし

とはいえそれがまだ数ヶ月前ってことはハードウェア的には
今とほぼ変わらない環境なわけで、新世代のLLMについては
個人のローカルじゃ厳しい状態が来たって可能性もあるが……

paperspaceでもColabでもなんでもええねん
2023/05/28(日) 11:08:00.32ID:XkyXHvLh0
せやな、今はとにかく人材の確保が急務や
ワイは正直学習方面はアウェーなので自信ニキに手取り足取り教わりたいで🥺

とりあえず今夜また学習回して寝るけど、これでもあかんならワンチャン当たるまではクラウド前提になってまうな😭
2023/05/28(日) 11:22:09.40ID:XkyXHvLh0
NVA部から入部希望者を集めるためにもまたなんか作りたいけど、思い付くものと言ったらdialogのgui化しかないしguiならwebuiで間に合っとるし、ままならないゾ……😭
2023/05/28(日) 12:07:20.80ID:WGlD4dwt0
>>922
output確認してみたらchekpointで4.3GB吐き出されてたから一応学習は出来てそう
https://imgur.com/sjBj5wb.jpg
2023/05/28(日) 22:44:47.39ID:fD2V+NqH0
https://huggingface.co/kyo-takano/open-calm-7b-8bit
やっぱrinnaよりOpenCALMのほうが情報豊富なんかねえ
2023/05/29(月) 09:37:22.21ID:46D8Ci1B0
>>919, >>922
リンク訂正
https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lora
すまんご
2023/05/29(月) 09:38:12.24ID:46D8Ci1B0
七時間の成果
https://imgur.com/eraVbuj.jpg
https://imgur.com/azT4f90.jpg

adapter_model.bin, adapter_config.jsonで吐き出されてなかったので、ワンチャンrenameして794ニキのgenerate.pyに読み込ませるも失敗
今度は794ニキのadapter_config.jsonに上書きするも失敗
https://imgur.com/4irY180.jpg
2023/05/29(月) 09:39:44.97ID:46D8Ci1B0
これloraやなくてファインチューニングだとしたら、モデルとして読み込ませればワンチャンあるんかな
とすると🤗transformerでキャッシュ形式でないローカルモデルを読み込ませる方法をまた調べなあかんね
それかtorchで直接読み込むとかかな
>>930
2023/05/29(月) 09:40:52.87ID:46D8Ci1B0
>>928
ワイはもう少しrinnaでワンチャン漁ってみる
OpenCALMのほうは誰か頼んだで
2023/05/29(月) 11:46:53.47ID:SEfe0QAl0
Google Colab で Rinna-3.6B のLoRAファインチューニングを試す
https://note.com/npaka/n/nc387b639e50e

sft版ではないけどrinnaだ
2023/05/29(月) 14:13:06.03ID:r8iDJE0/M
rinnaちゃんはずっとお馬鹿なままなのか🥺
2023/05/29(月) 20:12:22.02ID:GhFH0CRTM
パラメータ数で言えばのべりすとの無料モデル同等だからしゃーない
2023/05/29(月) 20:26:49.69ID:/4iSGpmLd
aiのべりすとのAPIないんかと思ったら最近できとるやんけ
SillyTavernに繋げられるようにならんかな
2023/05/29(月) 22:15:30.22ID:r8iDJE0/M
RinnaちゃんLora学習させようと見てたらColabのA100で3時間もかかるのか…
ワイの3090やったら6時間位かかる…　電気代どうしよ…🥺
2023/05/30(火) 10:00:37.24ID:Y1+yS9i4d
6時間ぶん回しても精々数百円だろ
2023/05/30(火) 10:01:47.08ID:hNyHYTTU0
数百円（200円）とかやと思うで
2023/05/30(火) 10:40:32.95ID:QixMR9Vld
なんで？怒
https://i.imgur.com/exV4jTu.png
2023/05/30(火) 14:14:53.76ID:mtaf7Ph30
単純な電気代なら安いかもしれんが夏になってエアコンが必須になるともっと掛かるやろな
500Wのヒーター稼働してるようなものやろ
2023/05/30(火) 14:15:27.92ID:Bbqx1nAqa
>>940
すごいちゃんと調教されてるじゃん
2023/05/30(火) 14:18:13.81ID:immn+kc1M
>>940
これLoraしただけなの？
2023/05/30(火) 14:22:35.03ID:hNyHYTTU0
>>940が既存サービスの活用なのか自前なのかよくわからん
2023/05/30(火) 14:23:42.31ID:saRnY2iYd
すまんこれりんなちゃうで
GPT-3.5をプロンプトで調教しとるだけや
2023/05/30(火) 14:25:55.40ID:hNyHYTTU0
なぜ名前がりんなやねーん
2023/05/30(火) 14:33:04.29ID:ykjKlTnPd
りんな目指してるだけや
2023/05/30(火) 14:48:11.22ID:PiNpLjS00
gpt にsydonyになれって言うと絵文字付け出すのと同じか
2023/05/30(火) 15:09:43.06ID:Bbqx1nAqa
あーなるほど
りんなが覚醒したのかと思ったわ
2023/05/30(火) 15:49:41.81ID:immn+kc1M
LLMで出来合いのスクショ出すのやめて🥺
2023/05/30(火) 16:09:03.09ID:l39mLe7ad
LLM(Large Language Models)にローカルの意味は含まれてないやろしええやろ😡
ワイが使ってるAPIも第三者製のLLMを使用していますって言っとるし🤖
2023/05/30(火) 16:28:46.66ID:immn+kc1M
ほなええわ怒らんといて🥺
2023/05/30(火) 20:21:58.26ID:fnm0ITMTd
なんか暑くなってきてローカルで動かすのが億劫になってきたんやが
調教の方がたのしい
2023/05/30(火) 20:49:00.58ID:AevzEmd30
スレ伸びてるからついにlora成功ニキが来たのかと思ったらちゃうかってん🥺

今日ほぼ触れとらんけど>>930をwebuiでmodelとlora読み込みの両方試したけどあかんかったで
まだまだローカル学習の道は険しそうやね
2023/05/30(火) 20:52:17.21ID:hNyHYTTU0
おそらくちょっとLLMデキる人なら突破してくれるレベルまでは来ているんや

ワイはダメなほう・・・ダメなほうなんや・・・！
2023/05/30(火) 20:56:55.09ID:AevzEmd30
せやなぁ
あとはLLMに自信ニキがこのスレでワイらが積み重ねた失敗の数々を上手く使って、いつか〝次世代えちえちりんな〟へと継いでくれることを切に願うで……😭
2023/05/30(火) 21:05:19.40ID:O+oeSWV50
WSLのサブシステム依存じゃないLLMはまだですか？
WSLが要件に入ってるとhyper-Vを有効にしたり既存の仮想環境を邪魔してしまう
cuda、Python、pytochだけで勘弁して下さいよ
2023/05/30(火) 21:13:29.74ID:AevzEmd30
ワイは結局WSL習得できんかったで🥺
oobaのwebuiもwindowsとubuntu直でやったし今後WSL前提なんてなったら実機ubuntuだけで乗り切る所存や😤
2023/05/31(水) 20:55:27.79ID:kZWrWLsq0
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft-v2
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo

この辺誰か試した？
2023/05/31(水) 21:19:09.56ID:kZWrWLsq0
なんとなくやけどppoはえちえち用途でも質がちょっと上がっている気がするな
2023/06/01(木) 01:13:19.48ID:sAzj2S6l0
>>959
寝る前に気付いたのでちょっと触ってみた

確かにppoは語彙力上がってそうやな
自作のチーズケーキを無理やり食わせようとしてきて草
https://imgur.com/eBzycUe.jpg
2023/06/01(木) 01:16:36.27ID:sAzj2S6l0
dialogでのsftv2, ppo変更点

197行目:tokenizer.encodeの引数
padding=False

201行目:model.generateの引数
repetition_penalty=1.1

あとの確認は明日にするで
963今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa8f-+RhF)
垢版 |
2023/06/01(木) 14:09:35.89ID:dA+Q4qSJa
>>958
これ相当凄ないか？
2023/06/01(木) 14:44:29.60ID:3Z+D81SAa
llama.cpp触っとる人おらん？stakaさんの機械翻訳モデルと英語言語モデル(vicuna-cocktail 13B)組み合わせて使ってみたら結構いい結果になった気がする
文面は機械翻訳丸出しやけど全体としては意味が通ってるし理解できなくはなかった
opencalmとかりんな使ってみたけど英語モデルメインで使ってきた身からしたら日本語のモデルは正直イマイチや　英語勢がllamaで盛り上がってる中でgpt-neoxつう一世代前のオーパーツ持ち出してなおかつパラメータ数も日本語モデルでは多い方とは言え7Bでも実用的なローカル向けモデルとしては最低ライン　商標とかライセンス気にしたら日本勢がllamaに手を出せんのは仕方ないんやろうけど
正直日本語LLM作るくらいならオフライン機械翻訳の精度上げたほうが良いんじゃないのかと思ってきた
2023/06/01(木) 15:36:06.14ID:v2KsE8GVM
このスレ的には口調も大事やねん
それは機械翻訳では消えてしまう
2023/06/01(木) 16:33:52.56ID:ulpFlOyk0
ppoって1つの問い追加に対して1つ返事するだけじゃなくて
その次のこっちの問いも勝手に追加して進めちゃうことが多いのよな

これなんかの設定で変えられるやろか
まあ最悪スクリプト書き換えて2つ目以降は手動でカットすりゃええんやろけど
2023/06/01(木) 16:49:38.49ID:sAzj2S6l0
>>963
ここのoneclick installerだけで動いたからそんな難しい事話やなかったで
https://github.com/oobabooga/text-generation-webui/#starting-the-web-ui
2023/06/01(木) 16:52:08.15ID:sAzj2S6l0
>>964
llama.cppはLLaMAリーク直後のdallaiで触ったきりやけどvicunaのuncensorはなかなか賢いと思ったで
ここらでまたllama.cppに立ち返ってみるのもええかもな
2023/06/01(木) 16:53:02.84ID:sAzj2S6l0
>>965
わかる
えちえちさには口調も重要なファクターやけどまだそこを学習させるのに至ってないのが歯がゆい限りや
2023/06/01(木) 16:53:51.29ID:sAzj2S6l0
>>966
おそらくmodel.generateの引数
repetition_penalty=1.1がその調整をしとると思うで
2023/06/01(木) 17:01:16.39ID:sAzj2S6l0
今更やがtransformerでローカルモデルが読み込まんのはおま環やったみたいや
パス通した環境で読みこせたら失敗するけど、デスクトップでフルパス指定したら普通に読み込んでたまげたわ
readme書き換えてくるンゴ
2023/06/01(木) 17:06:36.34ID:ulpFlOyk0
repetition_penalty=1.1はくり返しペナルティなんやけど
1.1にしてみてもたまに起きるのよな

ChatGPTに頼んで、返事の後にこっちの再返事を自動生成しているときは
そこを削除するようにプログラム作ってもらったわ

。！？　話者1の名前 :
と来ていたら話者1の名前以降をカットって感じで
2023/06/01(木) 17:12:13.07ID:sAzj2S6l0
>>972
ワイの環境やとpadding=Falseとrepetition_penalty=1.1で返答にユーザーの返事が混ざるのは再現できんかったけど、なにが違うのか気になるで

やりますねぇ！
そのアイディアもろてもええですか？
2023/06/01(木) 17:23:00.16ID:ulpFlOyk0
ええで

質問の内容にもよるんちゃう？
2023/06/01(木) 17:27:24.65ID:sAzj2S6l0
>>974
サンガツ！
こちらの質問で相手の名前と自分の一人称が含まれてるとそれが混同して勝手に続きを書いちゃうとかやろか……
2023/06/01(木) 17:30:27.73ID:sAzj2S6l0
ppoで「続けて」からの記憶の維持も大丈夫そうやった
肝心の内容でシシャモが抜けてるのと最後でまた作り方を書いちゃうのはまだ残念ポイントやね
https://imgur.com/YaeW7IB.jpg
2023/06/01(木) 17:30:49.66ID:+qDFOKvq0
エロ会話力調査してるけどいい意味でアホなgpt3.5に似てる。やたらゆっくり優しくマッサージしたがるしハピエン厨の傾向を感じる。
2023/06/01(木) 17:42:10.39ID:ulpFlOyk0
狂った常識を前提に質問するのも楽しいで
このクラスのAIは言われたことをなんでも肯定してそれを前提にしゃべるから

まあ2～3回質問していると破綻することが多いからそしたらリセットや
2023/06/01(木) 17:44:03.59ID:ulpFlOyk0
後で気づいたんやけど半角の!?とスペースで区切られることもあるから
そこも対応せんとあかんな
2023/06/01(木) 17:47:13.16ID:sAzj2S6l0
>>977
ローカルでもいよいよGPT3.5に迫ってると思うとワクワクしてくるゾ
2023/06/01(木) 17:48:36.13ID:ulpFlOyk0
最終的にはデータベースモデルとかエージェントモデルっていうんかな、
質問の内容を短く解釈してデータベースから言うべき回答引っ張ってきて
その内容をLLMが再成形してくれる　とかになるとはかどるんやけどな
2023/06/01(木) 17:48:58.89ID:sAzj2S6l0
>>979
AI返答に追加されるユーザーの入力は末尾に追加される感じけ？
それやと"{user_name}:"に完全一致させてそこから文末まで削除でもええかもしれぬい
2023/06/01(木) 17:50:42.93ID:ulpFlOyk0
セミコロンは他に使われることがないからそれでええかもな
2023/06/01(木) 17:50:57.40ID:ulpFlOyk0
セミじゃない、ただのコロンや
2023/06/01(木) 17:51:57.74ID:sAzj2S6l0
ほなその方向で実装してみるで
サンガツや！
2023/06/01(木) 17:56:22.24ID:ulpFlOyk0
あと、AI側の返答としてもあんま長い文を返されるとだいたいおかしなことになるから
同様に！？。で区切って最大でも２文までで切るようにしてみたわ
2023/06/01(木) 18:23:29.48ID:sAzj2S6l0
ai_responseのreturnまえに２行追記でよさそうやけど再現できんからちゃんと動くかチェックするのは時間かかりそうや……

if f"{user_name}: " in response:
response = response.split(f"{user_name}: ")[0]
2023/06/01(木) 18:24:52.74ID:sAzj2S6l0
>>986
ええな
そっちのアイディアももろたで！
2023/06/01(木) 18:32:23.05ID:ulpFlOyk0
～～してください。とか頼み事すると発生しやすい気がしとる
2023/06/01(木) 18:33:52.90ID:ulpFlOyk0
そういや新スレには何を貼ればええんや

rinnaのgpt2とsft・sftv2・ppo・OpenCALM系
>>2以降にdialogニキのギッハブ貼りたければ貼って貰うくらいか
その他有志で役立ちそうな奴を　みたいな
2023/06/01(木) 18:40:12.19ID:sAzj2S6l0
>>989
paddingとrepetitionコメントアウトしてうんちしてくださいいうてみたけどあかんかったで😭

https://i.imgur.com/pih0225.jpg
とりあえずそのまま直で (f"こんにちは。{user_name}: こんにちは！")をぶち込んでみたら大丈夫そうやった
あとは>>986ニキの出力文章制限とppo sftv2用のpaddingとrepetitionオプションも追加してgithub送りにするで
2023/06/01(木) 18:45:54.24ID:sAzj2S6l0
>>990
次スレのことすっかり忘れてスレ消費すぎて申し訳ない……
スレ立てはおまかせしてええやろか？

自分で自分のgithub貼るのもなんかハズいけどこの際やし貼らせてもらうで
あとはwebuiとalpaca_loraと>>794ニキあたりやろか
2023/06/01(木) 18:57:41.72ID:ulpFlOyk0
なんJLLM部 ★2

立てたんでとりあえず>>20までいかせてくれ
2023/06/01(木) 18:57:53.49ID:ulpFlOyk0
なんJLLM部 ★2
https://fate.5ch.net/test/read.cgi/liveuranus/1685613014/

URL抜けてたわ
2023/06/01(木) 19:04:59.63ID:1mLVtVLKd
話題をローカルに限定したいんやったらスレタイもそうした方がええで
2023/06/01(木) 19:10:15.04ID:ulpFlOyk0
まあ～>>1にローカルって書いたからどうにかなるやろ
2023/06/01(木) 19:14:14.02ID:+qDFOKvq0
LocalLanguageModelや（デカいとは言ってない）
2023/06/01(木) 19:19:47.41ID:sAzj2S6l0
草
それええな
999今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spcf-l3Cd)
垢版 |
2023/06/01(木) 21:20:07.79ID:W8EjRiSQp
>>994
たておつ
1000今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spcf-l3Cd)
垢版 |
2023/06/01(木) 21:20:20.19ID:W8EjRiSQp
質問どうぞ
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 77日 10時間 46分 10秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況