X
なんJLLM部
レス数が1000を超えています。これ以上書き込みはできません。
0003今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fa62-6nw+)
垢版 |
2023/03/16(木) 10:37:01.70ID:3vtKHUQX0
サンイチ
0005今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1988-JIpj)
垢版 |
2023/03/16(木) 10:40:13.05ID:yBUaOrQN0
折角なので例のスレの有益そうなレスを引用
>>494 まえワシがメモしてたやつ↓
LLaMA INT8 推論ガイド - https://rentry.org/llama-tard
↑に貼られてた新しいRentry文書↓
https://rentry.org/llama-tard-v2
Text gen WebUIなんてもうあるらしい
oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like GPT-J 6B, OPT, GALACTICA, LLaMA, and Pygmalion. - https://github.com/oobabooga/text-generation-webui
NSFWの言語モデルもあるらしい
*-Erebus (NSFW)　https://huggingface.co/models?search=erebus
Pygmalion (NSFW)　https://huggingface.co/models?search=pygmalion
言語AIもなんか便利なAI(NVA)でこの板でやってもええんかな?
https://mevius.5ch.net/test/read.cgi/esite/1678697539/
0007今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fa62-6nw+)
垢版 |
2023/03/16(木) 10:43:44.95ID:3vtKHUQX0
おつ
0009今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 10:44:54.14ID:jYihEJpjp
何のスレなのか日本語三行で教えてクレメンス
0011今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9547-TneT)
垢版 |
2023/03/16(木) 10:46:29.75ID:d7vj5fd80
サンイチ
llama.cppってのをビルドして7bってモデル使えばええんか
0012今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 10:51:03.93ID:wHHPb70td
サンイチ
0013今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 10:52:13.22ID:FkRXNkMw0
さんいちホシュ
とりあえずセットアップが難しいかわりに4bit(?)で動作させれば頑張ればVram 12GBでLLaMA-13Bが動かせるらしいな
0015今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 10:56:42.29ID:wHHPb70td
8Bとか13Bとか何が違うんや
0016今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 10:56:52.21ID:FkRXNkMw0
>>9
ChatGPT的なのを
ローカルで動かして
すけべしようや……

↑のtext-generation-webui入れてStableDiffusionみたいにモデルいれりゃできるんじゃね感はある。なんもしらんけど
Anacondaインストールする必要あるらしい
0021今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾌﾞｰｲﾓ MMbe-+xvq)
垢版 |
2023/03/16(木) 11:00:56.19ID:VrbFSuL6M
ワイのおすすめモデルはGPT-4chanや
次から次へと人種差別繰り広げるから最高や
0024今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 11:08:03.40ID:wHHPb70td
>>18
そうなんかやっぱ大きい方が精度上がるんかなぁ
0025今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 11:11:01.89ID:jYihEJpjp
>>14 >>16
サンガツ

言語モデルもローカル化きたかぁ
エロ会話できてノルネみたいに声も出たら最高やな
0026今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c140-n6Kp)
垢版 |
2023/03/16(木) 11:11:50.46ID:5rRrI5pJ0
GPT-3までは、パラメーター増やしたら急に超知性になるやん
→じゃあ100兆とかにしたろ！と思ったけどデカすぎて動かすの大変やん
→やっぱり小さくしても賢く出来るしスマホで動くやん
→モダリティ増やしたらもっと賢くなってきたやん
今この辺だな
0028今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd7a-LFos)
垢版 |
2023/03/16(木) 11:13:46.88ID:wHHPb70td
AIのべりすとでエロ小説ぶちこんで訓練してたことあるけど
喘ぎ声を出すのが微妙にうまくいかんのよな
あぁぁぁみたいな同じ文字連続するやつやと推論うまくいかんのかすぐループしたりしてバグるんや
0030今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/16(木) 11:16:46.69ID:FkRXNkMw0
>>21
動かしたことあるん?
てかこれhuggingfaceでBANされてて草ですわ
0031今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa89-fh/2)
垢版 |
2023/03/16(木) 11:17:48.18ID:GiJgl15ia
朝鮮人キモいからさっさと死んでくんね？ｗつか歌舞伎町とかで顔面煽りしても何も言い返せないのマジ草＾＾

色々なスレにレス置いてるけどアク禁食らったら雑魚共逃げたってことだからな？ｗ
0032今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H61-tTNX)
垢版 |
2023/03/16(木) 11:20:13.87ID:OnLR7FM9H
論文読んでみたが日本語のトレーニングセットは無いんじゃないか
メタからリークしたウェイトじゃ日本語喋れんから追加トレーニングが必要だな
まあそのうち誰かやるやろ
0039今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx85-I90U)
垢版 |
2023/03/16(木) 13:20:55.80ID:9k0Q9hWqx
503 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL) 2023/03/16(木) 08:44:20.59 ID:FkRXNkMw0
>>494
まえワシがメモしてたやつ↓
LLaMA INT8 推論ガイド - https://rentry.org/llama-tard
↑に貼られてた新しいRentry文書↓
https://rentry.org/llama-tard-v2
Text gen WebUIなんてもうあるらしい
oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like GPT-J 6B, OPT, GALACTICA, LLaMA, and Pygmalion. - https://github.com/oobabooga/text-generation-webui
0045今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｰｸｾｰ Sx85-I90U)
垢版 |
2023/03/16(木) 13:25:43.29ID:9k0Q9hWqx
>>43
すまんそれコピペ元の人のレスや😅
0046今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e554-D+v5)
垢版 |
2023/03/16(木) 13:29:51.81ID:MS23lADx0
日本語の言語モデルをまとめてくれてる人がおったで
直リンあかんかもしれんから一応魚拓挟んだで

フリーで使える日本語の主な大規模言語モデルまとめ
https://archive.is/pZZrt

OPT-175Bとroberta v2が気になっとるんやがローカルで動かしてみた人とかおりましたらぜひとも情報オナシャス
0055今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c1ba-Xp0Y)
垢版 |
2023/03/16(木) 14:58:59.13ID:nkLg957H0
サンイチ
ワイもプログラミングとか全くできんけどGPT4にお願いしたらガチで作ってくれるんやなびっくりしたわ
0060今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:16:36.10ID:1nVtoU7t0
思うんやが、会話用のLola作ればllamaで日本語無料でいけるんちゃうか？
0061今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:18:13.07ID:1nVtoU7t0
それもchatgptに作ってもらえばいいのか
0063今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:22:06.17ID:1nVtoU7t0
早すぎて草
0064今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp85-F/2e)
垢版 |
2023/03/16(木) 19:28:42.71ID:LPllqUHLp
そこそこのPCでも使えてwebuiみたいに簡単に使えるようになるまでROMる予定
0065今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e554-D+v5)
垢版 |
2023/03/16(木) 19:42:03.09ID:MS23lADx0
りんなのGPT2を名古屋大学のコーパスを元にRTX3090でファインチューンしてる人見つけたで
エロゲとか小説とかから自前でコーパス作れば好きな性格のチャットボットとか作れたりせんかな


GPT2をWindowsローカル環境でファインチューニングする方法 手順を解説
https://megalodon.jp/2023-0316-1919-36/https://economylife.net:443/gpt2-windows-local-fine-tuning/

GPT-2を入力文に沿った雑談を行うようにファインチューニングしてみた
https://megalodon.jp/2023-0316-1919-26/https://economylife.net:443/gpt-talking-fine-tune/
0066今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:53:34.03ID:1nVtoU7t0
>>65
あんままともな会話にならんで、chatgptレベルを求めてるなら
0068今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 19:58:52.13ID:1nVtoU7t0
>>67
うーんファインチューニング次第ではノルネレベルは行けそうやと思う、ただ素のGPT2触ってレベル感測ってみるとええと思うで
0074今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 20:36:56.94ID:1nVtoU7t0
>>72
要するにchatgptを先生にしてllamaに教育したってことや
0087今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 22:48:23.61ID:1nVtoU7t0
alpacaLolaしたほうが日本語無料作れるんちゃうか？
0088今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/16(木) 22:48:50.03ID:1nVtoU7t0
ワイは一応Lolaやってみる
0100今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 717b-S+nL)
垢版 |
2023/03/17(金) 00:56:47.49ID:sZsuGket0
Text generation web UIのColabみたら裏で音楽流して接続切れんの回避させてる感じあったな
#@title 1. Keep this tab alive to prevent Colab from disconnecting you { display-mode: "form" }
#@markdown Press play on the music player that will appear below:
%%html
<audio src="https://oobabooga.github.io/silence.m4a"; controls>
0102今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Sp85-VEdQ)
垢版 |
2023/03/17(金) 04:51:01.27ID:xsQNaXbMp
>>101
NLP(自然言語処理)のLarge Language Model(大規模言語モデル)スレやで
なんの規制もされてないまっさらで純真無垢なチャットAIをローカルで動かしてエロ調教しながらえちえちにしていくのが当面の目標みたいやで
0106今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｸｽﾏﾃ MM5e-tQAe)
垢版 |
2023/03/17(金) 09:57:26.56ID:tAwhotejM
えちえちりんなちゃん出来てたわ
学習素材にワイがアイマス好きやったころPixivでブクマしたR-18ノベルまとめなせいでアイドル要素とかキャラの名前がアイマスに引きずられてるけど概ねいい感じ？
もっとちゃんとしたら簡単なのな出来そう
両方とも「私は、」で続きを生成させた

ノーマルりんなちゃん
https://i.imgur.com/YlpsznJ.png
https://i.imgur.com/Xn5FFYD.png

ファインチューニング後えちえちりんなちゃん
https://i.imgur.com/Bwj9UBL.png
https://i.imgur.com/cw0NBbv.png
0110今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｸｽﾏﾃ MM5e-tQAe)
垢版 |
2023/03/17(金) 13:09:50.18ID:tAwhotejM
イラストAIもやがエロかったら多少不自然でも全然いけるわ
連続生成したけどビンビンやわ
ちゃんとテキスト用意したらもっと良くなるやろかモチベが湧くわ

https://i.imgur.com/aurjIiC.png

>>109
cuDNNとか確認したらGPUで行けたわ
今までトイレ行ってコーヒー淹れるぐらいの時間あったのに数秒で終わって草
0115今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ f981-w/g8)
垢版 |
2023/03/17(金) 13:58:33.94ID:PA4Z+W+y0
ストーリー学ばせたら出会いからエロに至るまで最高のエロ描いてくれへんのかな
人間には思いつかなかったエロいシチュとか
0125今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ faf7-QYTW)
垢版 |
2023/03/17(金) 20:45:40.08ID:lzdVRrwP0
macでllama.cppやalpaca.cppが動くようになって、
最近AIに興味を持ち始めたんだけど、小説を書かせようとしたら、
数行ですぐ文章が切れてしまうんだが、実行時に何か引数が必要？

あとエロい文章を学習させようと思ったら、
やっぱりゲーミングPCやらCUDAが必要なん？
alpaca-lore ってのを使えばできるんかと思って入れてみたら、
GPUが無いのかうまく動かんかった。
0127今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e554-D+v5)
垢版 |
2023/03/17(金) 21:00:10.29ID:Iqm2NGu30
LLaMAみたいにGPUつかわなくてCPUでtorchやtransformersを動かす方法もあるけど、エロ文書を学習させるならやっぱりcudaを使うのが現実的やと思うで

それかgoogle colaboratoryもええらしいけどワイはクラウドサービス全般苦手民やからなんとも言えんのや
すまんな
0128125 (ﾜｯﾁｮｲ faf7-QYTW)
垢版 |
2023/03/17(金) 21:16:30.36ID:lzdVRrwP0
サンガツ。

-n 1024 以上にしてみたけど、数行行数が増えた文章が出る率が上がったよ。
でも、時々同じ文章行を繰り返し出力しはじめて止まらなくなって発狂してしまうな。

GPUは、やっぱり要るか。。。
使えそうなの一式揃えるとMacの中盛りと同じくらいの値段になるし、金かかるもんだな。
0131今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e554-D+v5)
垢版 |
2023/03/17(金) 23:13:24.63ID:Iqm2NGu30
>>129
余裕があるならA6000とか6000adaとかh100とか買ってしまえばしばらくリソースには困らんと思うで

ワイは4090買うのが関の山やから足りなくなったらebayとかでデータセンタ落ちのtesla M10 32GBとかtesla P40 24GBとかを2～3万円でしこしこ買い集めて自宅ラックサーバ民になるつもりや
0143今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c97b-7LVk)
垢版 |
2023/03/18(土) 04:18:41.04ID:03t7+OVH0
>>106
ええやん
これGPT2(りんな)のファイチューンってことで合ってる?
0145今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 93ba-ThO7)
垢版 |
2023/03/18(土) 08:45:28.74ID:ui5hs3yB0
オープンソースになると本当に最適化とか拡張とか早いよな
大企業に所属してない天才隠れすぎやろ
0153今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1154-4Wmp)
垢版 |
2023/03/18(土) 17:23:44.75ID:FyQB91kh0
mediumモデルでout of memoryになったからsmallモデルにしたけど駄目駄目やったわ
エポックとバッチ数ふやさなあかんかったのか、学習元のテキスト少なかったのか、[SEP] [CLS]を書き加えなあかんかったのか、タグ付けせなあかんかったのかもう頭の中ぐるぐるや
https://i.imgur.com/6AAuVXR.png
https://i.imgur.com/8S1quiZ.png
0156今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a138-frhu)
垢版 |
2023/03/18(土) 18:43:50.80ID:3Q645mJB0
今日のパイオツくん
https://tadaup.jp/loda/0318182649544285.jpg
https://tadaup.jp/loda/0318182656814827.jpg
自分の発言を批判されたら人格否定だとすり替えて怒る
ここまでお手本のような弗で感動してる

勘違い非常に恐縮ですが
パイオツくんの人格なんか否定しなくても
・著作権法をまったく知らないこと
・事実に基づかない妄想の著作権法で絵師を侮辱していること
今日の発言だけでも余りあるんでよろしくな
0161今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1ba8-r10e)
垢版 |
2023/03/19(日) 12:40:42.22ID:hOj1hUVG0
Bingは桁が大きくなっただけで単純極まる計算でもミスしまくるんだな
つってもたかだか兆、京、垓なんだけど
プログラミングすら対応してくるとか聞いてシンプルな計算の組み合わせなら信頼できるだろうと思っていたがそうでもないようだ
5000億×50を2.5兆とかやめてくれよ
0164今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1ba8-r10e)
垢版 |
2023/03/19(日) 16:33:06.05ID:hOj1hUVG0
ローカルは分からんけど、Bingや3.5だったgptの頃は回答が途中で取り消されてもその内容は把握してるから、続きを普通に書いてくれたり前回の内容をコピーして出力と言えばたまに全部出してきたりする
連続で取り消しされまくっても内容自体は全部残ってるわけで、トピックの切り上げがされない限りその内容を推定して質問をしたらそれっぽいやり取りになるの楽しい
0166今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4154-4Wmp)
垢版 |
2023/03/19(日) 21:20:26.34ID:7H1mMctX0
>>165
dalaiなら要求パッケージのインストールとモデルのダウンロードからlama.cppで4bit量子化までを自動やってくれるかほぼワンクリやね

ただdalaiやと文章生成だけやった気がするからインタラクティブモードでchatgpt風に使いたいならllama.cppを直接使ったほうがええで
0168今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 13f7-XO41)
垢版 |
2023/03/20(月) 07:22:56.40ID:NoB4oop/0
初心者やけど、llama.cpp や alpaca.cpp ってどうやってエチエチな文章を学習させるん？
alpaca-lora とか、llama-adapter とかいうの使えば、ワシのMacでもできるんか？
0169今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4154-4Wmp)
垢版 |
2023/03/20(月) 09:14:19.00ID:p54ELp+c0
>>168
まだ試しとらんけどdalaiかtorrentかでLLaMAの7Bモデルを落として4bit量子化する前のFloat16モデルを>>65みたいにTransformersのrun_clm.pyに通せばワンチャンあると思うで

ただ問題点は日本語化とリソースの課題やね
・LLaMAは日本語が苦手
・Alpacaの翻訳FineTuningにA100 x 1台（>>158）
・LLaMA→AlpacaのFineTuningにA100 vram80GB x 8台（>>72）
0173今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 13f7-XO41)
垢版 |
2023/03/20(月) 10:02:46.70ID:NoB4oop/0
>>169, 170

ほー。これまでの方法で学習させるにはそれなりにマシンパワーが必要なんね。
alapaca-loraでファインチューニングってのが「学習」って理解でええんやね。

でも、これって用意された入力を「学習」して、解答として出力してるだけで、
昔の人工無能と多少受け答えが柔軟になっただけでどう違うんや？
何かもっと創造的なものをイメージしてたんやが、
エロ小説を設定与えるだけで書いてくれんのか？
0174今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4154-4Wmp)
垢版 |
2023/03/20(月) 10:13:37.43ID:p54ELp+c0
>>173
　残念ながら、材料がない0の状態から1を生み出すことは人間にも現状のAIにも出来ないのや。

　自然言語処理は入力文を「重みネットワーク」に通すことでに統計学的推論（ある単語の次になんの単語が来る確率が高いか）を予測して、一番適切な文章を出力してるんやで
　その組み合わせパターンがいわゆるパラメータなんや。

　今までの人工知能との違いは、そのパラメータ数をバチクソに増やすことで人間と同じように適切な言葉を繋げることができるとわかったことやと思うで
0176今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾌﾞｰｲﾓ MM8b-MaqH)
垢版 |
2023/03/20(月) 12:03:50.85ID:Id2reqgVM
>>173
人工無能は決められた単語に決められた単語を返すルールを人間が作ってたけど
今は大量の会話データからルールを学習してるだけで本質的には何も変わってない

本質的に何も変わってないのに会話データが大量になると
自然な会話が出来るようになるってのが最近の発見
0182今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9981-+Qpp)
垢版 |
2023/03/23(木) 11:06:19.26ID:CVzPV0GD0
そういやGPT4chanってのがあるねん
4chanから学んだやつが2ちゃんから学んだら何ができるんかな
0187今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9981-+Qpp)
垢版 |
2023/03/24(金) 16:24:15.62ID:7SVmedeP0
>>183
ほんとにワケワカラン世界やな
0189今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c97b-7LVk)
垢版 |
2023/03/24(金) 20:18:50.89ID:VfM8D1ul0
Llamaの7B落として、WSL2インストールしてUbuntuインストールしてMinicondaインストールしてパイトーチインストールしてText gen WebUIインストールして……python server.py --model llama-7b-hf --load-in-8bit!!
→cudaエラーで草も生えん
bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats · Issue #156 · TimDettmers/bitsandbytes - https://github.com/TimDettmers/bitsandbytes/issues/156
undefined symbol: cget_col_row_stats / 8-bit not working / libsbitsandbytes_cpu.so not found · Issue #400 · oobabooga/text-generation-webui - https://github.com/oobabooga/text-generation-webui/issues/400
0197今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/26(日) 18:55:56.18ID:DU4xB4sA0
WebChatRWKVstic試したけどCudaメモリエラーやらなんやらで一生うごかんわ。たぶん動くと思うぜリリースやめろや　まぁWIPだから仕方ないけど
0202今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/27(月) 01:55:43.65ID:Ll3VjTyD0
>>201
CPUで動かしたときはQuestion のところで止まってWEBUI起動しなかったんだけどおま環かな?
127.0.0.1:8000よな
だめだったからCuda入れてみたらout of memoryで投げたわ
0203今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed09-arDy)
垢版 |
2023/03/27(月) 03:12:25.52ID:VV6gq+kS0
のべりすとに課金する必要無くなったら起こしれくれ
0205今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d240-uluY)
垢版 |
2023/03/27(月) 13:40:58.23ID:N0Sp4DC10
RWKVはargs.strategyの設定変えんとout of memoryで動かんな
このへん見て動く値探すしかない
https://pypi.org/project/rwkv/

これが一番ショボい環境でも動く設定らしいが
Extreme STREAM: 3G VRAM is enough to run RWKV 14B (slow. will be faster in future)
'cuda fp16i8 *0+ -> cpu fp32 *1' = stream all layers cuda fp16i8, last 1 layer [ln_out+head] cpu fp32
0206今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｰｯﾌﾟ Sd62-Lbxv)
垢版 |
2023/03/27(月) 14:15:21.67ID:CC8ij/Zqd
Bingさんさあ、散々差別ダメ、不適切ダメ、人を傷つけたくない、だからそれは書けませんって言いまくって百合すら突っぱねるのに、
女の子二人の物語を書かせるとレズビアンやら結婚したいやら乱れ飛ぶの何なん
そういうプレイなのか、狙ってるのか
0208今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dd7b-wSlO)
垢版 |
2023/03/27(月) 17:50:22.75ID:Ll3VjTyD0
>>204
まじか死んでると思って落としちゃってたわ

しょうがないからhuggingfaceのSpaceだかで試したけど日本語どころか英語もわりとポンコツだったんでRWKVへのモチベなくなってしまった
0221今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4581-hNku)
垢版 |
2023/03/28(火) 21:06:10.17ID:GOwMaaqN0
これやっぱ金かかるなぁ……仕事でしたいわこれ
0223今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Spf1-uqSx)
垢版 |
2023/03/28(火) 21:39:39.56ID:uls45rISp
>>222
こマ？なんか規約でたんか？
0224今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/28(火) 22:09:11.55ID:yPHlQ9F70
>>222
Googleさんはエロにも寛容なのにな
SD1.5みたいに、早く何でもありのローカル板作らんとあかん
最低200億と1年の開発期間が必要らしいが、分散コンピューティングとかでどうにかならんのかよ
良いデータはみんなで持ち寄ってさ
0230今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/28(火) 23:41:39.28ID:yPHlQ9F70
早く画像のように気楽にloraして楽しむ世界になって欲しいな
SDは言語モデルの方は疎かだったみたいだし、RWKVみたいなのを有志で進化させる方向しかないんかな
0232今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 03:26:34.52ID:KNuenExl0
全く読んでないけど、セレブラスシステムシステムズがオープンLLMリリース？読むのは頭の良い人に任せた

自前の最強チップが使えるから最強やん
https://www.businesswire.com/news/home/20230328005366/en/Cerebras-Systems-Releases-Seven-New-GPT-Models-Trained-on-CS-2-Wafer-Scale-Systems
0234今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 14:45:29.00ID:KNuenExl0
>>233
ギガジン早いな
最近AI担当記者は優秀な人が居るっぽいな
試すまでやって欲しい所だ
0238今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 17:21:15.54ID:KNuenExl0
6ヶ月開発停止運動とか始まってるけど‥
署名してんのがイーロン、ウォズニアック、Emadとか
AI出遅れた連中だけだから説得力ないなw
0239今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｵｲｺﾗﾐﾈｵ MM49-JiKo)
垢版 |
2023/03/29(水) 17:48:43.34ID:In3ojNfdM
>>238
あれそもそも反AIがビッグネームの名前を勝手に使ってでっち上げてるだけだぞ。Yann Lecunが知らんうちに勝手に自分の名前が使われてたって言ってたわ。
こんな粗末な工作に騙されて技術者の悪口言いうのはちょっと思慮が浅はかすぎるわ。君がそうやって貶してる人たちも実際には社会や技術に大きく貢献しているわけだし。
0240今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed40-172f)
垢版 |
2023/03/29(水) 18:22:35.66ID:KNuenExl0
今回のは誇大であってフェイクとは違うぞ
0248今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Saa5-172f)
垢版 |
2023/03/31(金) 16:38:20.03ID:hWa7eBYPa
一杯出てるけど全部基礎スペックがGPT-3.5未満だからなあ
故に特徴があろうが使い道はないっていう
GPT-4と同等にならんと動作確認のおもちゃでしかない
0249今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7147-Azn+)
垢版 |
2023/03/31(金) 18:01:43.37ID:MenQ59mN0
>>247
chatRWKV
RTX3060 VRAM12G,RAM32Gで14b動いた
VRAM足りない分はCPUにまわす設定なのでかなり遅い
あと一度RAMにロードしてからVRAMに送るせいかロード時にSWAP発生した
動作中はRAM8GB程で安定
0252今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c2f7-gLIi)
垢版 |
2023/03/31(金) 23:11:21.81ID:Q4u5QJBf0
chatRWKV、Macで動いたけど遅すぎて使えなかった。
rwkv.cpp ってのを見つけたんだけど、これ使えば速度とメモリ効率あがるん？
0253今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5f47-BZdU)
垢版 |
2023/04/01(土) 01:05:33.81ID:2iiJyRjs0
>>250
7b alpaca tuning でとりとめのないやりとりは出来た
14bは少しだけ細かそうだけど重すぎであまり触ってない
google翻訳しながら英文入力→出力をゲーム翻訳ツールpcotで翻訳して確認
みたいな流れ
stable diffusion のスクリプト考えてもらおうと思ってたけどRWKVとstable diffusion同時には使えないわね…
0255今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df40-78nM)
垢版 |
2023/04/01(土) 13:18:56.17ID:V2Y49SHj0
LLMの学習とか、そろそろ口頭命令だけで出来るようにして欲しいわ
こういう所のデータで追加学習して→かしこまり
が出来ればな
0257今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df7b-9P2W)
垢版 |
2023/04/02(日) 04:54:59.00ID:n8k57FBI0
lm-sys/FastChat: "Vicuna: An Open Chatbot ImpressingGPT-4" のリリースリポジトリ - https://github.com/lm-sys/FastChat#evaluation
Vicunaデモで試したけど日本語はわりとまともだったな
ただしjailbreakchatにのってるようなのはのきなみ「申し訳～」されたわ
0259今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾌﾞｰｲﾓ MM13-CXZz)
垢版 |
2023/04/02(日) 10:38:38.52ID:kNwShxG0M
そんなに日本語対応必要？
今時機械翻訳の精度も上がってるんだし、どうでもよくね？
それより、学習にかかるマシンリソースを減らしてくれよ。Macでもできるくらいに。
0267今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/03(月) 14:06:15.04ID:yLETKpYVp
AIのべりすとプラチナより強くなったらローカルを考えるで…
年間課金しとるし…
0268今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f09-F4ma)
垢版 |
2023/04/03(月) 14:44:20.97ID:91vvh+oh0
ChatGPTの壁が厚すぎてローカル触る意味ないからな現状
エロも頑張ればいけるし
0271今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/03(月) 17:27:40.23ID:wtZyXU9hp
NAI重すぎってのとローカルで同じクオリティのができるってのでwebui大流行したしなぁ
まだ言語AIのローカル版は画像で言う去年8月くらいのレベルやと思う
0272今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5f7b-icd+)
垢版 |
2023/04/03(月) 17:28:07.99ID:ByWlYN080
Claude+ 日本語怪しいからあんま話題になってないかもしれんけど
GPT4より文章が人間臭いうえに現状倫理観ガバガバのエロ無法地帯で捗るわ
Claude無印が「有害な回答が少ないように差別化した」ってコンセプトらしいからそのうち修正されてゴミになりそうやけど
0275今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff09-F4ma)
垢版 |
2023/04/04(火) 02:06:29.16ID:AKfHSutM0
モデル自体がアホですぐ同じことしか言わなくなるっぽい
チャットをリセットすると直る
0278今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 19:41:18.75ID:5aVb+QfMp
GPT-4流失しないかな
最低時給ニキの叛逆待っとるで
0279今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 19:44:31.11ID:IPKhRVP7p
よう見たらケニアニキはケニアの平均時給の2倍もらっとるらしかったわ
0285今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp33-GJ23)
垢版 |
2023/04/04(火) 23:31:21.52ID:i3K92POHp
今はのべりすとが新モデル作っとるみたいやね
もしそれとGPT-4がマージできたら最強やな
0289今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f09-F4ma)
垢版 |
2023/04/05(水) 11:55:22.59ID:MjPO5+hI0
メモリは安いけどCPUで動いても遅すぎて使いもんならんで
0294293 (ﾜｯﾁｮｲ 7ff7-VFmi)
垢版 |
2023/04/06(木) 03:22:32.59ID:BVokIqUE0
FastChat の cli.py を mps に対応させる方法があったので、
試したら、同じマシンで消費メモリ30GB+スワップ12GB程度に収まった。
1単語表示されるのに3分って程度。
0298今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp33-rhfW)
垢版 |
2023/04/06(木) 21:14:23.52ID:LXf69jKhp
RavenV6の0401ChnJpnが十分賢いだろ
Vicunaはカスでは？
0300今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b954-q5Ag)
垢版 |
2023/04/12(水) 17:51:13.03ID:wbuYu0BE0
AIチャット「chatRWKV」日本語版のRWKV14bは高速！「RWKW_CUDA_ON」設定1で高速化する方法！AlpacaデータセットでRWKV強化できるか検証

メタバース速報　メタバースまとめ https://metaversesokuhou.blog.jp/archives/20062640.html

まだなんかこう、キター！って感じじゃないよね
stablediffusion級の衝撃が欲しいわ
0301今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2581-cJn9)
垢版 |
2023/04/13(木) 09:18:33.57ID:PpYVRAhb0
dollyはどうなんだろ
0303今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cdb2-RLVl)
垢版 |
2023/04/13(木) 16:11:40.57ID:QbPMupuO0
RWKVは7Bでプロンプトガン無視なんだけど14Bじゃないと理解してくれない感じ？
0308今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Spfb-kiLu)
垢版 |
2023/04/17(月) 01:09:07.26ID:2bR+s+6Rp
>>300
結局日本語動くモデルでまともなのが全然なくてな
最低でもAIのべりすとぐらいのモデルがオープンになって3060ぐらいのグラボでも動くようにならないと
0312今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｱｰ Sa4f-1qyV)
垢版 |
2023/04/17(月) 13:25:03.44ID:zhZuetdwa
GTP3.5とかが無料でAPI使えりゃそれで満足なんやけどな
0314今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5ff7-e15R)
垢版 |
2023/04/17(月) 17:09:13.85ID:f3dwT7vj0
Macで動くモデルをいろいろ触ったけど、
今のところ、Vicuna 13B 1.1 を 8bit で使うのが一番まともだな。
メモリ32GBだと使ってたらスワップ20-30GBになって激しく重くなるけど。
日本語は自動翻訳サイトでいくらでもカバーできるし、しばらく諦めろ。

NSFWフィルタが無い vicuna 7B モドキもHFに転がってるんだけど、
古い Vicuna モデルなので動作不安定なのがイマイチだな。
0315314 (ﾜｯﾁｮｲ 5ff7-e15R)
垢版 |
2023/04/17(月) 18:08:58.44ID:f3dwT7vj0
Vicuna で例えば、冷たい方程式のようなSF小説を書いてと英語で命令すると、
Vicunaは冷たい方程式が何なのか理解して、小説の章ごとのあらすじを書き始めたり、
冷たい方程式の特徴を説明しながら書き方をダラダラと話し出す。
他のモデルは2、3行で終わってしまうのが多かった。

Vicunaの場合は「continue」と命令すると内容はともかく、続きを何十行でも書いてくれる。
他のモデルは、たいてい"continue"がプログラム言語として認識された応答を返して、そこで対話が終わった。

Vicunaは途中、ここをこう変えて続けろと命令も、
提示されたアウトラインの２番を膨らませて書いて、と命令も理解してるっぽい。
まぁ、応答がそのとおりになるとは限らないけど、命令を理解はしてるようにみえる。
他のモデルは、一連の命令を理解してくれないものが多い。
0317今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5fc5-SElt)
垢版 |
2023/04/17(月) 20:09:13.19ID:6SuQzVZW0
https://twitter.com/HongyiJin258/status/1647062309960028160
Introducing WebLLM, an open-source chatbot that brings language models (LLMs) directly onto web browsers. We can now run instruction fine-tuned LLaMA (Vicuna) models natively on your browser tab via @WebGPU with no server support. Checkout our demo at https://mlc.ai/web-llm/
なんか来たで
https://twitter.com/5chan_nel (5ch newer account)
0319今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sacb-EeSG)
垢版 |
2023/04/17(月) 22:22:44.69ID:wlBOD7KEa
chatGPTに情報をいくつか渡して要約させるってタスクをこなす時に、渡す前段階の情報aーcをそれぞれ要約して渡す～、みたいな記事を誰か知らない？
プロンプトエンジニアリングの記事か何かで、メモしたい事があったのにブクマし忘れたみたいで困ってる
0320今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5fc5-SElt)
垢版 |
2023/04/18(火) 01:50:26.63ID:x52mx6I/0
あいこっちにもおいとく
【MiniGPT-4】ついにオープンソースのマルチモーダルLLMが登場 ローカルマシンの3090で動くとのこと デモページ: https://minigpt-4.github.io
画像の解説 https://i.imgur.com/ElFjFWr.jpg
https://i.imgur.com/uNdWH4x.jpg
手書きメモからHTML生成 https://i.imgur.com/Auuhz6H.png
商品画像から宣伝文章生成
https://i.imgur.com/4eeoowK.jpg
料理画像からレシピ生成 https://i.imgur.com/Iv98ubN.jpg
挿絵から物語生成 https://i.imgur.com/tyfg0mQ.jpg
MiniGPT-4のGitHub
https://github.com/Vision-CAIR/MiniGPT-4
0323今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5fc5-SElt)
垢版 |
2023/04/18(火) 04:45:17.67ID:x52mx6I/0
>>319　これー？
プロンプトエンジニアリング応用編
https://chatgpt-lab.com/n/na4b6676093b1

Zero-shot Prompting / ゼロショット・プロンプティング
Few-shot Prompting / フューショット・プロンプティング
Limitations of Few-shot Prompting / スモールショットプロンプティングの限界
Chain-of-Thought Prompting / 思考連鎖型プロンプティング
Zero-shot CoT / ゼロショット CoT
Self-Consistency / 自己一貫性
Generated Knowledge Prompting / 知識生成系プロンプティング
Automatic Prompt Engineer (APE) - オートプロンプトエンジニア
0324319 (ｱｳｱｳｳｰ Sacb-EeSG)
垢版 |
2023/04/19(水) 11:04:19.32ID:Gcj2QmKXa
>>323
専ブラのAPIが逝ってて返事遅れました、ありがとう！
そのものの記事じゃなかったんだけど、貼ってくれたリンクを辿っていたら探していたページが見つかった！
0328今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2740-zOU3)
垢版 |
2023/04/20(木) 03:49:14.18ID:zqLNSvo+0
今時7Bじゃな
0329今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df09-KucE)
垢版 |
2023/04/20(木) 08:50:56.11ID:IrMnVrzi0
Vicuna 13B 1.1の8bit量子化版ってWebUIでどうやって使えばいいんやろ
huggingfaceのThireus/Vicuna13B-v1.1-8bit-128gはあったけど、safetensorsだけで他のモデルにあるようなbinファイルがないんよな
0331今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Spfb-kiLu)
垢版 |
2023/04/20(木) 13:25:56.35ID:UHwIl8Ekp
一般的なGPU(VRAM≦12GB)で動かすなら8bit量子化でも10Bとかが限界か
0333今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ df09-TlvW)
垢版 |
2023/04/21(金) 08:49:43.67ID:JSQ0gATZ0
ChatGPTのエロテクまとめてる所どっかにないかな
なかなか挿入までいけん
0342今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7d54-+rDk)
垢版 |
2023/04/24(月) 00:17:48.60ID:tzFsUYhx0
RWKVの日本語10%入りモデル出たから導入してみたけど中々のポンコツっぷりやな
日本語になってるだけ進歩してるけど
https://i.imgur.com/0kvSL4M.png

ちなモデルをfp16i8にコンバートしたらVRAM10GBぐらいや
速度は一文字一文字出るけどそんな気にならんから早いんやろね
0344今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6af7-T9f9)
垢版 |
2023/04/26(水) 17:55:29.51ID:2iK0hB190
FastChat でデバッグモードを使うと処理された prompt の内容みたいなのがでる。

これ、その質問と応答結果がその都度promptにどんどん追記されてるように思えるんだけど、
つまり、これまでの質問や応答に関連した質問にも回答してくれるように思えたのは、
単にこの追記されたpromptを毎回処理しているだけってこと？
0348今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bfd0-fitb)
垢版 |
2023/05/02(火) 21:33:57.98ID:T96xRrBk0
>>347
説明ありがとうございます
vicunaの古い新しいはどこで見分ければいいのかな
vicuna1.1ってのが手元にあるけどこっちのほうが新しいのかな
触り始めたところってのもあって受け答えとかで使い勝手の比較とかよくわからないけどとりあえずいじってみます
0350今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bfd0-fitb)
垢版 |
2023/05/04(木) 03:32:57.92ID:9HnHcWum0
うちはまだstable-vicuna-13bの4bit128gしか試せてないので他と何が違うかはよくわからない orz
vicuna-1.1-13bの4bit128gも試そうとしたけどうちのtext-generation-webuiではまだうまく動いていません

世界初ってオープンソースなのが世界初とかじゃないんですかねしらんけど

stable-vicuna-13bにモデルの素性を根掘り葉掘り聞いてみたらvicunaモデルと大量のボランティアのおかげで誕生したのだとか聞かされた
「StabilityAIは何をしてくれたか？」って聞いたら「あいつらは金出しただけだ」とか言っててわろす
0354今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bfd0-fitb)
垢版 |
2023/05/05(金) 00:42:47.73ID:mfqRAPhg0
たしかにChatGPT3.5のほうが知識量はかなり多い気はします
画像生成と違ってローカルPCで動かしてもそれで倫理解除できるわけでもないしわざわざローカルで動かすメリットもないのかも
倫理解除されてるFreedomGPTはローカルでは要求スペック高いしちょっときついですね

stable-vicuna-13bがローカルPCではVRAM9GBとメインメモリ7.1GBくらいで動いていますが正直あまりやることがないですね
0361今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9ff2-GxPQ)
垢版 |
2023/05/05(金) 07:54:36.63ID:hixjYdl/0
超効率化高速化でスマホで動くAIアシスタントとして一気に普及パターンか

あるいは、会話やPC作業お手伝いだけじゃなく子守や一部家事を担い一人暮らしを安心のローカルでAIが常時監視しつつ話し相手も可能、家建てる時に数百万でロボット執事付けられますってパターンか
0362今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7781-dOIm)
垢版 |
2023/05/05(金) 08:00:47.82ID:UcVJMckb0
単に日本語でモデル改造してる人が少なすぎるんだと思う。
英語だと既に実用レベルに達してるよなオープンソースで
0367今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b740-tTU7)
垢版 |
2023/05/05(金) 15:15:06.72ID:d4aLQ9tS0
入力と出力にDeepLを挟んでくれれば言語の不得手は相当軽減されると思うのだが、APIや費用の問題で実装されないか
0369今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bfd0-p0t6)
垢版 |
2023/05/05(金) 15:22:19.00ID:mfqRAPhg0
>>367
Google翻訳でよければtext-generation-webuiで入力と出力に機械翻訳挟んでくれる機能ありますよ
今のところプログラムコードまで翻訳しようとするのがちょっとだめですが

言うて画像生成AIもまだ基本英語ですしLLM流行らないのは他の要因かなって気もします
0370今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 83e0-VRPA)
垢版 |
2023/05/06(土) 00:06:47.06ID:LCdAoF0h0
>>364
学習させるデータセットが日本語しかない分野があるのがなあ
0371今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ded0-krwn)
垢版 |
2023/05/06(土) 01:37:37.55ID:WAgGbyfD0
WizardLM-7B-uncensored-GPTQってモデルを拾ってきた
incensoredってところに期待していろいろ質問してみたけど非道徳なことは答えてくれない
モデルの説明を読んでみたらLoRAを作るときに使うとuncensoredなのが活きてくるみたいなこと書いてあるけどLLMのLoRAの作り方はよくわからんです
そのあたり誰かご存じの方はいますか？もしくは解説ページか何か・・・
0372今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ eb81-dagC)
垢版 |
2023/05/06(土) 10:24:22.95ID:w/tFAPr60
>>369
画像生成は、学習させる画像には言語の壁がないことが原因では。

あと結局基盤になるオープンソースの日本語モデルがまだ出てないんだよね、gpt3.5レベルのフリーの日本語モデルが出て、loraでいじれるってなったら爆発的に人気出そう
0374今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 92f7-F3Di)
垢版 |
2023/05/06(土) 13:33:43.93ID:GRTG0bJi0
ウィザードヴィクニャンと、GPT4-Xヴィクニャンって
ヴィクニャンの派生モデルが幾つか出てるで。
0375今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ded0-krwn)
垢版 |
2023/05/06(土) 13:36:29.55ID:WAgGbyfD0
>>373
日本語の資料とは！紹介ありがとうございます
ただ中身難しくて事前知識のとこから自分には理解不能

＞LoRAの有用性 訓練時のVRAM (GPUのメモリ)を 1.2TB → 350GB に削減

個人では無理なのかな・・・
あと調整したモデルをベースにLoRA学習とかできるのかどうかも自分にはよくわからない
0378今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spc7-VRPA)
垢版 |
2023/05/06(土) 13:46:58.87ID:ORWM8haTp
最近めっちゃモデル出てるけどLLaMaをChatGPTでファインチューニングしただけのモデルが量産されてるだけであんま本質的な進歩ないよね
0381今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 72ba-uOqo)
垢版 |
2023/05/06(土) 14:43:35.30ID:2Yk5I6Td0
やっぱローカル環境でchatgptの稼動とかはまだ難しいんかな？autogpt導入したけどなかなか思うように動いてくれへん
0383今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ded0-krwn)
垢版 |
2023/05/06(土) 20:44:11.24ID:WAgGbyfD0
>>382
意味ないというか確かに返答は正確ではないですね
データシートでvicuna1.1になってるモデルにバージョンいくつ？って聞いたらvicuna1.2だとか言ってるのもあったし

ただ出自についてどういう受け答えをするのかを純粋に知るってことなら意味はあるかもと思います
0384今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ded0-krwn)
垢版 |
2023/05/07(日) 05:51:57.61ID:ZyUVs1cm0
GPT4ALLとかいうのにTRPGのゲームマスターさせて遊んでて徹夜になってしまった
個人的には絵とか生成させてる場合じゃないくらい面白かった
連休も終わりだから生活リズム戻さんといかんですね

噂のmpt-7bも触ろうとしたけど自分のローカルPCには載りきらなかったです
text-generation-webuiの中身いじって無理やり載せた人もいるっぽいけど作者さん調整してきそうなので今後に期待で終了
0385今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d2ba-15tC)
垢版 |
2023/05/07(日) 06:57:11.77ID:fsONlZyX0
なんかGoogleの拡張入れると新しいGPT4が使えるらしいやん
あれどういう仕組みなんやろ
0388今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 92f7-F3Di)
垢版 |
2023/05/07(日) 18:41:04.53ID:RAyvwQjJ0
ワシのお気に入りはmpsがつかえるFastChatや。
M1 Max 32GB やから、--load-8bit必須やけど。
メモリ足りないモデルはllama.cppで量子化するが。
ただ、4bit量子化までやると相当馬鹿になるからできればq8で止める。

最近のいくつかのvicunaの派生モデルを試したが、どれも元々vicunaより馬鹿なので、
vicunaと混ぜても元のvicunaを越えられてないような気がするのう。
0393今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ded0-krwn)
垢版 |
2023/05/07(日) 23:02:57.81ID:ZyUVs1cm0
自分もまだ知識ないし機材もお粗末なので13b-4bit-128gのものしか載せれてないです

FastChatについて書いているどこぞのブログでブログ主のプルリクエストが承認されたらしく
＞これで、RTX3090/4090(24GB) + RTX2060/3060/4070(12GB)　クラスのボード構成でも動く。
＞うまくいけば24GB + 8GB VRAMや16GB+12GB VRAMの構成でも動くかも知れない。
とか書いてあって16bitのびくにゃんも載るかもしれんのですが答えをズバリとは書いてくれてないのでヒントを頼りに勉強中

しかしもう連休終わりなのであまり時間がないなorz
0399今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-6J4q)
垢版 |
2023/05/14(日) 10:05:47.45ID:CnYJlXomM
ニューラルネットワークは、デジタルハード上で人間単体の能力を超えた広範な知識力を得られる反面、
その構造自体は頭脳を模してることより、人間と共通の不確かさや、曖昧さがいつまでも伴うような気がする。
今後、資格試験などで100点を獲れるような正確さを持たせるには、同じニューラルネットワーク上への強化学習に加え、AutoGPTなどに見られるように、別途旧来の保存方法であるデータセットを参照にしながら、回答させていくことが、よりAIシステムに求められるような気がする。
それは、人間がマニュアルや資料を参照にしながら仕事をしたり、試験を教科書など持ち込み可で受けるのと同じで、ニューラルネットワークの潜在的不確かさを補完するのではないだろうか。
0400今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-DRFb)
垢版 |
2023/05/15(月) 08:25:44.69ID:Lv2ECmRFM
結局AI学習させようと思ったらつよつよgpu買うか借りないとあかんのかな？rlhfでaiの学習とかやってみたいんやが
0401今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 337b-Phjm)
垢版 |
2023/05/15(月) 08:49:49.58ID:Q/YsFawn0
このスレ的には邪道だけどOpenAI API使ってChatGPTするクライアント探してchatgpt cloneを導入してみた(ほかにええ感じの知ってる人いたら教えて
いろいろ試してて知ったけどGPT4のAPIはウェイトリスト申請して許可されないと使えんのな
https://i.imgur.com/DTSeUfc.png
0403今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H27-DRFb)
垢版 |
2023/05/15(月) 10:21:27.85ID:VjPNNgF5H
対話しながらrlhfみたいな感じで学習できたりしないんかな
0409今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｶﾞｯｸｼ 067f-VVcz)
垢版 |
2023/05/15(月) 15:01:17.61ID:m8GjhXYC6
stablelm-jp-alphaに期待したい
今はダメダメだが
0412今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/15(月) 16:36:00.97ID:tS1OJ8F30
わかる
英語で一人称を全部Iで済ませるとか信じられん
ロリなら「私」じゃなく「わたし」だろうしロボ娘なら「ワタシ」だし男なら「俺」で男の子は「ぼく」じゃん
0413今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/15(月) 16:45:30.75ID:QdYgKDlt0
一人称の管理とか、コンテキストの管理とかプレイの進展のテンプレとかは
従来型の普通のプログラムでもできると思うんで

AがBの性器を強度0.2で触る
[Bの服の状態：上半身制服 下半身全裸]
[Bの性器の濡れ状態0.3]
[BのAへの好感度0.5]

みたいのを入力したら地の文と反応セリフを2～3行で返すような
補助的AIとかできないだろうか……
0424今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/16(火) 23:08:35.20ID:seVSLUWr0
オープンソースなのか太っ腹やな
0426今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/16(火) 23:12:28.67ID:seVSLUWr0
自社のデータベースから学習してるんだったらサイゲのソシャゲとかが中心なんかな？
ラノベとか得意そうで楽しみやわ
0428今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9381-LLdz)
垢版 |
2023/05/17(水) 11:53:33.82ID:L/9MrFvB0
きたな
0431今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa67-fUo2)
垢版 |
2023/05/17(水) 12:04:21.07ID:a8Dq5sKTa
>>429
データセットがwikipediaとクロールだけって書いてあるから会社固有の情報は出てこんと思うで
評価は日本語の出来見るぐらいにしとき
0447今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/17(水) 19:07:27.55ID:Hr20QZBDM
LLM童貞で、初めて30B入れてみたらエラー出て拒否られたけど、モデル間違ってる？

python server.py --model gpt4-x-alpaca-30b-128g-4bit.safetensors --wbits 4 --groupsize 128 --no-stream


File "D:\miniconda3\lib\site-packages\transformers\configuration_utils.py", line 662, in _get_config_dict
raise EnvironmentError(
OSError: It looks like the config file at 'models\gpt4-x-alpaca-30b-128g-4bit.safetensors' is not a valid JSON file.
0458今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffba-pr1B)
垢版 |
2023/05/17(水) 21:33:42.61ID:ngZ1l7m30
やっぱ12Gじゃ動かないか
0466今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/18(木) 02:57:47.38ID:wj/d182b0
tesla p40 vram 24GBでopen-calm7Bをwebuiで動かしたらだいたい4090の3分の1くらいの生成速度やった
https://i.imgur.com/TrDHWIB.png

GTX10XX相当のpascalならまあ納得の性能やしebayで3万ちょっとで入手できることを考えたらNLP専用としては割りと有りな選択肢かもしれぬい

ただデータセンタで使われていた業務用なので映像出力なんて無いし冷却は自分でなんとかしないといけないのがネックやね……
https://i.imgur.com/zkchzJa.jpg
0471今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/18(木) 09:22:36.04ID:wj/d182b0
GPT2をファインチューニングしたときのtransformers環境をそのまま流用したけどマジでOOMなって草
とりあえず学習パラメータをいじってモデル分割して2GPUで回す方向でワンチャン漁ってみるで
https://i.imgur.com/VNq6DJu.png

vram 12GBでも学習できると噂のPEFTも気になってたけど時間なくてまださわれてないンゴね……
そっちはニキに任せたで！
0473今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/18(木) 12:03:01.07ID:fREqRgg80
ファインチューニングの学習データってどれぐらい必要？1MBぐらいでもいける？
0474今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/18(木) 12:50:21.06ID:NdxJbSSC0
>>470をりんな3.6bのsftに変えて
model.lm_headがないと怒られた　→model.embed_outにしたらとりあえず進んだ

target_modulesに["q_proj", "v_proj"]なんてないぞヴォケ！と怒られた
→str(model.modules)でどういうmodulesが入っているかわかるらしい（どれを指定すべきかはわからない）
　　とりあえず他のサンプルでも見かけたquery_key_valueがあったのでそれを指定してみることにした

data = data.map(lambda samplesの行でquoteとかねえぞとエラー
→よく見たらこれは元のデータがJSONでquoteって項目を抽出しとるだけなのでコメントアウト

動き出したかに見えたが「IndexError: Invalid key: 3290 is out of bounds for size 0」とか出る
食わせるデータか指定したデータ構造がおかしいんやろな　赤ちゃんには地獄だぜ
0481今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/18(木) 14:13:33.28ID:wj/d182b0
>>479
りんな確かにopen-calmよりもええ感じな気がするで

最初そのままwebuiに突っ込んだら会話にならんくて、駄目やと思ったけど、
サンプルプログラム動かしたら普通に返せて、試しに色々コメントアウトしてみたら、会話履歴をlistからstrにする過程で"〈NL〉"が抜けると途端に知能が落ちることに気が付いたで
0482今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/18(木) 14:14:13.65ID:y39r32AaM
>>450
jsonとか色々入れて見たけどやっぱりまだ
同じエラー出てダメだった… binとかも入れないとダメなの？
https://i.imgur.com/zCUoKqE.png

File "D:\miniconda3\lib\site-packages\transformers\configuration_utils.py", line 662, in _get_config_dict
raise EnvironmentError(
OSError: It looks like the config file at 'models\gpt4-x-alpaca-30b-128g-4bit.safetensors' is not a valid JSON file.

入れたやつ https://huggingface.co/MetaIX/GPT4-X-Alpaca-30B-4bit/tree/main

あと別にこのモデルじゃないといけないってわけじゃないので3090,メモリ32GBでオススメモデル教えて下さい。英語モデルでいいので
0483今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/18(木) 14:19:27.37ID:NdxJbSSC0
とりあえず

・途中から会話ループしがちなこと（なのに回避するためのnum_beamsとかの方策入れると
　少なくとも3060では落ちること）
・なぜ～とかの理由聞いても基本アカンこと

この辺は欠点やけど、半分オウム返しされても成立するような会話を振っていくと
なかなかええで >>454のオプションつければ3060 12GBで動くのはでかいわ

とはいえファインチューニング成功してこそやろけどな
誰かつよつよ民が来てくれないやろか・・・
0487今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/18(木) 14:57:47.89ID:x+MNrc2jM
>>485
サンガツ　一応フォルダ内に.yaml以外を全部入れてやってみたけど即答でエラーが…
python server.py --model gpt4-x-alpaca-30b-128g-4bit.safetensors --wbits 4 --groupsize 128 --no-stream

D:\miniconda3\python.exe: can't open file 'D:\\oobabooga_windows\\oobabooga_windows\\text-generation-webui\\models\\GPT4-X-Alpaca-30B-4bit\\server.py': [Errno 2] No such file or directory

>>484
サンガツ　やっぱ素直にこれにしてみる
なんで動かないんだろう…
0494今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/18(木) 16:33:24.42ID:wj/d182b0
>>478
さっきのしょーもないポカをなかったコトにするための修正
それと申し訳程度の一括でユーザーとAIの名前変更


https://ux.g;etuploader.com/dialogues_txt/download/1197

パスはrinna

https://i.imgur.com/Rt6M25J.png
https://i.imgur.com/Tv967dC.png


そろそろまじめにファインチューニングをなんとかしたい……
0497今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/18(木) 16:45:38.80ID:NdxJbSSC0
>>470のをあれこれいじって結局8bit化とかも切ったら
いちおう走った！　とはいえ問題切り分け用にまだたった6行のテキストやけど

なんかdataに元のテキストが混じっちゃっているのが怒られているっぽくて
しゃーないから data = data.map(lambda samples: tokenizer(samples['quote']), batched=True) も
手動で書き換えた
あと>>474にその行意味なさそうだからコメントアウトって書いちゃったけどよくみたら
tokenizerがちゃんと仕事している行やってんな

……で、この学習結果ってどこに保存されてどうやって使い回せばええんや
何か見落としているっぽいんで、最初っからデカいファイルで学習しなくてよかったわ
0498今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp87-VVcz)
垢版 |
2023/05/18(木) 17:01:57.69ID:uNWX0/Oxp
7BってAIのべりすとの下位モデルと同じぐらいだよね？
その割に性能が怪しいような…
0504今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa67-tt6F)
垢版 |
2023/05/18(木) 18:22:10.49ID:BiP7vEwIa
調教されたrinnaちゃんが闇で取引される時代が来たんやね
0507今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｵｲｺﾗﾐﾈｵ MM47-QT9a)
垢版 |
2023/05/18(木) 22:07:09.26ID:e77M1+GsM
>>494
ニキサンガツ！早速入れさせてもらったんやが、ワイtorch1.1.2入れてるのにtorchのダウンロード7GBが始まって、楽天の遅い回線やからか途中でコマンドプロンプトさんが怒って窓閉じるんだけど、どうしたらいいかな？
わざわざ作ってくれたのにゴメン…
0509今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/18(木) 22:17:41.57ID:NdxJbSSC0
AutoModelForCausalLM.from_pretrainedとかすると勝手にローカルに
モデルのダウンロードしてくれるみたいね
面倒がなくていいとも言えるけど、毎回ダウンロードがきついとも言える
https://qiita.com/suzuki_sh/items/0b43ca942b7294fac16a

多分これの手法を使えばいいんだと思うけど
0512今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2304-8lj5)
垢版 |
2023/05/18(木) 22:33:06.27ID:92OVNeAK0
BingAIちゃんさぁ……ロールプレイして気持ちよくなりたいだけなのに空気読もうよ？
https://i.imgur.com/Omy6bZc.jpg
ちょっと気弱になると畳みかけてくるのホンマこいつ
0518今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2304-8lj5)
垢版 |
2023/05/18(木) 23:39:11.36ID:92OVNeAK0
19世紀レベルの架空国のトップになるRPして航空機を手に入れたから
周辺国を調べて世界情勢について国を守るためにどうすればいいか聞いたらこれなんだが
米国にすり寄れって圧を感じるのはさすがに頭アルミホイルか？
https://i.imgur.com/1eOos8x.jpg
0519今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/18(木) 23:55:02.97ID:NdxJbSSC0
https://qiita.com/z-lai/items/511ebd9d637169cbc5ad
将来的にジェネレーティブエージェントの考え方も
LLMでグヘヘするために生きてきそうやね
そもそもLLMを活用している考え方やし

ただでさえ実行コストが高いLLMをそんなバシバシ使うと
ますます環境のハードルが上がるかもしらんけど……
0528今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 02:46:43.14ID:o9Rt3wk40
>>507
それやと先に新しく仮想環境を作ってそこからtorchとtransformersを入れておかなアカンと思う
ワイの環境やとtorchは1.13.1+cu117で動いとるで

とりあえずワイの環境をrequirements.txtに書き出したから、dialog.pyを入れたとこにコピーして下を１行ずつ実行してクレメンス

https://ux.g;etuploader.com/dialogues_txt/download/1198
パスはrinna


CMDを管理者権限で実行

> cd C:¥{dialog.pyを保存したフォルダ}
> py -3.10 -m venv LLM_venv (変更可)
> .¥LLM_venv¥Scripts¥Activate.bat
>pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
>python dialog_v2.py
0529今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 02:51:55.46ID:o9Rt3wk40
>>528
アッ、肝心なとこが抜けるやんけ！
スマン訂正や……


コマプロを管理者権限で実行

> cd C:¥{dialog.pyを保存したフォルダ}

> py -3.10 -m venv LLM_venv (移動した場所に環境名LLM_venvを作成）

> .¥LLM_venv¥Scripts¥Activate.bat

>pip install -r requirements.txt

>pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

>python dialog_v2.py
0531今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 03:04:18.09ID:o9Rt3wk40
Efficient Training on Multiple GPUs
https://huggingface.co/docs/transformers/perf_train_gpu_many

RTX4090載ったPCにtesla p40載せてDataParallelからSharded DDPまで1個ずつワンチャン賭けようと思ったけど、10GbeNIC載せたせいで空きslotがpciex4しか空いてないことを思い出した

RTX4090引っこ抜いてお引越しするのも考えたけどいかんせん重すぎる

ライザーカードを注文してワイはターンエンドや
0532今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 03:14:06.00ID:o9Rt3wk40
>>500
ええんやで
むしろワイこそ力になれなくてほんま申し訳ないで……

＞ちなみにWebUIはoobaboogaのワンクリックインストーラーでやった？
せやで、windowsはstart_windows.batでubuntuはstart_linux.shで実行したで

ただ、ワイも試してみた(>>491)んやが、oogaboogaの環境は生きとるけど、gpt4-x-alpaca側か依存パッケージ側の問題な気がするで
0533今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 06:55:21.62ID:xnnPJVZt0
>>511ニキから教わったbreakとついでにresetを追加して、環境構築とかの糞長ポエムも追記して完成や
そういえばずっと自分のユーザー名晒してたけどこの際もうええか……

dialog_v3.py
https://ux.g;etuploader.com/dialogues_txt/download/1199
パスはrinna

https://i.imgur.com/nmp5Ex3.png
0536今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/19(金) 10:13:10.48ID:m3i6Mx0V0
結局CUDA11.6にしたら今度はまたなんか別のとこで
文句言われるようになったんで素直にpaperspaceでやることにしたわ
少量のデータは速攻で完走してadapter_model.binができたで
ちょっと容量小さい過ぎる気もするけど元が3KB→1KBなら普通なんかな

>>526書いたkohyaニキがbitsandbytesでこんなこと書いているのが見つかったし
今のWindows環境でも抜け道あることはあるんかなあ
https://twitter.com/kohya_tech/status/1651950941904723968
https://twitter.com/5chan_nel (5ch newer account)
0543今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/19(金) 12:18:30.85ID:XYHVdVFsM
>>528
親切にサンガツ！ニキ優しい😭
今やってみてLLM_venv内にtorchは入れれたんやけど、python dialog_v2.pyでこんなエラーが出る…
これもしかしてdialog_v2.pyはLLM_venvフォルダ内に入れて実行せなあかん？

D:\Rinna>python dialog_v2.py
Traceback (most recent call last):
File "D:\Rinna\dialog_v2.py", line 3, in <module>
import torch
ModuleNotFoundError: No module named 'torch'

ファイルはこう置いてる https://i.imgur.com/atBsjSp.png
0545今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 12:26:27.71ID:xnnPJVZt0
>>544
ええんやで……
ワイもみんなに親切に教わってきたからその恩返しや🤗

＞これもしかしてdialog_v2.pyはLLM_venvフォルダ内に入れて実行せなあかん？
ちゃんとactivateしてターミナルに(LLM_venv)がでとれば
一緒やなくても動くで

それと
今なら新作の>>539がおすすめやで！
0547今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/19(金) 12:45:05.85ID:XYHVdVFsM
>>545
いけたっぽい！
.¥LLM_venv¥Scripts¥Activate.bat
を実行したら
'.¥LLM_venv¥Scripts¥Activate.bat' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
って怒られたから、一旦cd LLM_venvで入ってから venv起動して、それでvenv終了してからdialog_v2.pyやったからエラー出てたみたいやわ！
今venv内からdialog_v2.py実行したら、無事にpytorch_model.binのダウンロード始まったから成功したぽいけど、pytorch_model.bin既に落としてるけど、venv内に置いたらいいの？
539新バージョンでやってみる！！
0550今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 13:01:15.97ID:xnnPJVZt0
>>547
デフォルトやとモデルはキャッシュに保存されるで
C:\Users\{ユーザー名}\.cache\huggingface\hub
https://i.imgur.com/o04SIGN.png

ダウンロードしたモデルフォルダを同じところに入れるか、コード側のモデル読み込みとトークナイザ読み込みでフルパス指定すればええで
0554今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/19(金) 14:02:43.76ID:m3i6Mx0V0
rinna3.6b-sft　とりあえずのトリセツ
・起動はけっこう時間がかかる　初回はモデルダウンロードもあるんで尚更
・やりとりの方向がうまくいかない場合は最初からやり直すのが吉　>>539を使うなら[clear]と打てばいい？
・途中から割と無限ループになりやすいのでそういうときも[clear]をするかある程度強引に話題を変える
・こちらの言ったことをあまり否定してこないのでそれで会話をコントロールせよ
・ただし最初に否定された場合は結構それを引っ張ることもある
・当然最初に入っているやりとりにも引っ張られるので>>539とかを使うなら　適宜修正すること（↓の部分）
### AIの短期記憶リスト(会話履歴)　お好みで書き換え可
conversation_history = [
{"speaker": user_name, "text": "このプログラムはなんですか？"},
{"speaker": ai_name, "text": "りんなを即席対話型にしたものです"},　以下略
0555今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 14:41:30.46ID:xnnPJVZt0
>>554
取説わかりやすい！
サンガツ！

　タグは[reset]にしてもうたけど[clear]のほうが視覚的にわかりやすいね。次の修正で直すで

　ひたすら会話履歴を繋げて渡すことで話題の全容を理解できるようになったのかわからんけど、無限ループは起こりにくくなったで！

　ただし代わりにクソ重くなってしもうたから、次の修正で古い履歴から削除していくようにするで……

　なかなか否定してくれないのはせやな……嫌々プレイはまだ難しそうや
0557今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 14:46:44.06ID:xnnPJVZt0
>>556
・環境構築メモの誤字修正

【68行目】
（誤）> .\LLM_venv\Scripts\Activate.bat
（正）.LLM_venv\Scripts\activate.bat

<参照>
仮想環境: Python環境構築ガイド
https://www.python.jp/install/windows/venv.html

【76行目】
（誤）モデルを自前でダウンロードした場合は事前学習済みモデルの読み込みでモデルフォルダのfullパスを指定
（正）それじゃ動きません

<参照>
Huggingface Transformers 入門 (21) - モデルのキャッシュパス
https://note.com/npaka/n/nc051a2f321b0
0560今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/19(金) 14:53:08.65ID:XYHVdVFsM
>>550
諦めてそのままpytorch_model.binをダウンロードする方向で行ってるんやけど、楽天回線遅いからか、何回やっても58%でタイムアウト出てキャンセルされる😭
もう昨日から10回くらいこれ😭

元のfile_download.py見てhuggingfaceのURL探して直でダウンロードしたろとやったけど、file_download.pyに書いてるURLはアクセスできひんし、作者のディレクトリにあったpytorch_model.binは400MBしかないし…
もうどうしたらええんやろ、、、あともうちょっとやのに詰んだ😭

https://i.imgur.com/rKtpnzT.jpg
0568今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c354-QF9z)
垢版 |
2023/05/19(金) 15:28:47.93ID:xnnPJVZt0
>>560
とりあえず簡単な手順や
あとはワンチャンやね😭

https://ux.g;etuploader.com/halero/download/78
パスはrinna

ダウンロードして解凍したら「models--rinna--japanese-gpt-neox-3.6b-instruction-sft」を以下のフォルダの中に移動
C:\Users\sin03\.cache\huggingface\hub

中身を開いて下のtxtを探す
models--rinna--japanese-gpt-neox-3.6b-instruction-sft\blobs\0c6124c628f8ecc29be1b6ee0625670062340f5b99cfe543ccf049fa90e6207b.txt

pytorch_model.binを「0c6124c628f8ecc29be1b6ee0625670062340f5b99cfe543ccf049fa90e6207b」にリネーム

最後にtxtはゴミ箱ポイーでええで
0570今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp87-VVcz)
垢版 |
2023/05/19(金) 15:30:38.93ID:ibwbG/Epp
peftで普通にsave_pretrained()で保存したら28GBのpytorch_model.binが保存されてるんやが
LoRA層だけのadapter_model.binがどこにも見当たらない
0572今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/19(金) 15:33:13.10ID:m3i6Mx0V0
>>570
28GBにはならんかったけどワイも自前でやったらそうなったわ

とりあえず>>523ニキみたいにAlpaca-Loraをgit cloneして
モデル名とか食わせるファイル名だけ変えてやるのがええと思うわ
まだ数KBのをテスト的に走らせることしかできてへんけど
小さいadapter_model.binがちゃんと出力されたで
0577今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp87-VVcz)
垢版 |
2023/05/19(金) 15:42:47.00ID:ibwbG/Epp
28GBなのはワイがopen-calm-7b使っててfloat32だからなのはわかるんや
というか数百ステップ学習させてもlossが全然減らないんやが設定が悪いんかな
0579今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 63b2-ZkZz)
垢版 |
2023/05/19(金) 15:55:09.70ID:J5aZf/7u0
WSL無しでセットアップとか出来る？
仮想環境でつまずいて諦めちまったわ（BIOSでONにしたに上手く行かない）
AUTOMATIC1111は行けたから行けそうと思ったのに・・・

手動でwebui立ち上げまで行けたけど
CUDAとpytorchがセット出来てないからかモデルが読み込めない
AUTOMATIC1111と別で環境作る必要あるよね？
0599今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 63b2-ZkZz)
垢版 |
2023/05/19(金) 17:24:27.33ID:J5aZf/7u0
>>594
ubuntuはこんな感じだったよ
BIOSで仮想環境は有効なはずなんだけどな
BlueStacksやAUTOMATIC1111とか仮想使いそうなのは動いてる
まさかhyper-v有効にしろとかいうオチ？あれ嫌い（ド直球）

Installing, this may take a few minutes...
WslRegisterDistribution failed with error: 0x80370102
Please enable the Virtual Machine Platform Windows feature and ensure virtualization is enabled in the BIOS.
For information please visit https://aka.ms/enablevirtualization
Press any key to continue...
0608今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-QT9a)
垢版 |
2023/05/19(金) 17:46:40.12ID:XYHVdVFsM
>>603
これ他の30Bモデル使いたい場合はjapanese-gpt-neox-3.6b-instruction-sftと同じ場所にgit cloneしたモデルフォルダ置けばいいかな？

rinnaが初めてのLLM童貞のワイやからrinnaちゃんおバカ過ぎて、ファインチューニングも知らん童貞には持て余すし、経験豊富な外人お姉さん入れてみたくなった🥺
0617今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf28-Phjm)
垢版 |
2023/05/19(金) 18:07:25.88ID:m3i6Mx0V0
https://github.com/huggingface/peft/issues/317
Update: so, after some testing, torch.save(trainer.model.state_dict(), f"{lora_file_path}/adapter_model.bin") is able to save a valid file.
But, lora_model.save_pretrained(lora_file_path, state_dict=trainer.model.state_dict())

これを見て
torch.save(trainer.model.state_dict(), f"{lora_file_path}/adapter_model.bin")
に変えてみたらなんか1KBくらいのテキストからでも13MBくらいのファイルが書き出された
ようわからんが、こっちのほうが正しい動作なんかな
また180KBの食わせて試してみよう
0619今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 63b2-ZkZz)
垢版 |
2023/05/19(金) 18:34:52.52ID:J5aZf/7u0
これ雑感だと
Linux環境をWSL等で再現→conda→python→PyTorch
の流れでセットアップして最終的にPyTorchでtext動かす感じか？
python、PyTorchはAIやるなら嫌でも覚えないと駄目なのか・・・

タスクマネージャーのCPUでも仮想化OKと出てるのに
ubuntuだけ通らないのは全然分からん
初心者だから初歩的な事を見落としてるのかもしれん
0625今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0fe8-pBuR)
垢版 |
2023/05/19(金) 19:52:33.69ID:DHCkGJjy0
ttps://president.jp/articles/-/69431
三流は情報収集に使い､二流は自分がラクをするために使う…一流の人の｢スゴいChatGPTの使い方｣

ttps://twitter.com/fladdict/status/1659426665729253376
> こんなタイトルつけたっけ…？？

ttps://twitter.com/fladdict/status/1659428567380537344
> 思い返しても、自分でタイトルつけた記憶ないな…
> 合宿の最中に明日までとか言われて、多分チェック通ってないで記事になってるやつだ…

もうChatGPTにタイトルつけてもらえや
https://twitter.com/5chan_nel (5ch newer account)
0627今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/19(金) 21:07:40.99ID:azRgB+Zn0
alpacaで学習させようとしたら3エポックで10時間って言われて発狂した
遅すぎやろ
0628今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff88-VVcz)
垢版 |
2023/05/19(金) 21:50:39.17ID:azRgB+Zn0
>>626
LoRA層のファイルのサイズが同じなのは普通じゃね？
不安ならdiffとかで中身比較したらいいと思う
0633今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/20(土) 03:57:23.01ID:4mn92rp80
WSL試しとるけどもう全くわからんくて楽しくなってきたで😇

microsoft storeで拾ったdebianはそのまま動いたけど、グラボ探そうにもlspciすら叩けなくて草

仕方なくapt install -y pciutils叩いてインスコするも動かん
これESXiみたいな統合管理画面とかないんけ……
ワイの常識こわれちゃうで😭

ワンチャン今度はWindows Subsystem for Linuxをストアから拾うもこっちでも上手くいかんな
これは長丁場になりそうや……
もし自信ニキおったら優しく教えてクレメンス🤗
0634今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/20(土) 04:15:54.97ID:4mn92rp80
小ネタに書いたAI出力をボイロなどにしゃべらせる方法について

[必要な物]

・voiceroid, voiceroid2, A.I.VOICE, 棒読みちゃん, softalkなどの音声合成ソフト
　https://imgur.com/KsKBZql.jpg

・AssistantSeika
https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-000

・同梱の.\SeikaSay2\SeikaSay2.exe

・.net framework 3.5以上、その他ランタイムなど動かないときは適宜インスコ
0635今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/20(土) 04:16:35.81ID:4mn92rp80
>>634
[実装手順]
コード側に以下を追記

import subprocess

対話ループ内の### AIの返答を探してresponseに代入し終わったあたりで、subprocessでSeikaSay2.exeに投げる
response = ai_response(conversation_history)

#この例だと、A.I.VOICE 紲星あかり( cidで話者を指定)
#
subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=response))

<参考: AssistantSeika の説明>
https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-000
0636今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/20(土) 04:32:55.04ID:4mn92rp80
>>635
[使い方]

1, まずはAssistantSeikaSetup.msiを実行してインスコ。

2, ボイロなどの音声合成ソフトを起動して、最小化はしない。

3, AssistantSeikaを実行し、実行してる音声合成ソフトの名前にチェックを入れて「製品スキャン」を実行。

4, スキャンが完了すると自動的にタブが切り替わる
https://imgur.com/kDWWb46.jpg

5,「HTTP機能設定」のタブを開き「HTTP機能を利用する」にチェック
　https://imgur.com/h1wT4Ua.jpg

6, 特にいじらずに右下の「起動する」をクリック、これでlocalhost内で待ち受け状態へ移行。
　※鯖を立てたい場合は待ち受けアドレスとポートを変更して、ファイアウォールの受信と送信にAssistantseikaのポートを指定
0643今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp03-uFZj)
垢版 |
2023/05/20(土) 10:36:25.99ID:I3zuTIvrp
学習時って入力はpaddingした方がいい？
いつもpadding=Falseでやってるんだけど
0651今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-xpLh)
垢版 |
2023/05/20(土) 14:38:40.98ID:Ut+MDjdX0
ああWSL2+Dockerってのをやればええんか
その前にpaperspaceならLoRAつきチャット動くかな～って思ったけど
model.generateで文章生成するとこで引数を2つ以上渡すなヴォケと怒られてしまったわ
これだけでいけると思ってたんやけどなんか間違ってるんかな……

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft",torch_dtype=torch.float16)

LORA_WEIGHTS = './lora-result'
model = PeftModel.from_pretrained(
model, LORA_WEIGHTS, load_in_8bit=True, torch_dtype=torch.float16,
)
0659今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/20(土) 18:07:51.04ID:F5S6gAkt0
>>652
読み込み中は一度RAMに保存してからVRAMに展開する仕様やから、ちょっと待ってみるともしかしたらちゃんとVRAMに行くかもしれぬい

あとはコード側の設定項目にあるprocessorは"cuda"になっとるか確認してみてクレメンス

それと、f16_modeがTrueやと起動に30秒以上はかかるか注意やで
0673今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/20(土) 21:20:01.33ID:Ut+MDjdX0
>>651の問題はひとまず解決した、ワイの使っていたコードでmodel.generateに
token_ids.to(model.device)を直接渡していたんやけど、一度変数に入れてから
input_idsに渡せばOKになったわ
# 元コード
output_ids = model.generate(
token_ids.to(model.device),

# 修正版
input_ids = token_ids.to(model.device)
output_ids = model.generate(
input_ids=input_ids,
0684今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9f63-Nu6K)
垢版 |
2023/05/20(土) 23:37:15.15ID:iCSH8og90
>>679
>>677やがGoogle翻訳拡張で和訳しとる

ワイはラデだからgit cloneしたけどWin+ゲフォならwebuiのgitページにあるOne click installersで行けるんちゃうか？
モデルはpython download-model.pyでDLできる
TheBlokeニキのWizard-Vicuna-13B-Uncensoredがオススメ
CPUでGGML形式使うかGPUでGPTQ形式使えばbitsandbytesはいらん
注意点はgoogle翻訳拡張使わないとアホ応答になることや
python server.py --extensions google_translateで起動すると有効になる
0693今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dbb2-FIIW)
垢版 |
2023/05/21(日) 00:17:49.97ID:oCGby0wh0
>>685
WSL→ubuntuまで行ったけど
途中からHyper-V，Linux 用 Windows サブシステムが必要とあって
更にLinux カーネル更新プログラムパッケージまで要求されてた
https://www.kkaneko.jp/tools/wsl/wsl2.html

動作環境揃えるまでが辛過ぎる
特にHyper-VはAndroidエミュ使ってる身からすると嫌がらせレベル
0706今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/21(日) 03:43:36.11ID:Qx2QKltQ0
>>693
＞動作環境揃えるまでが辛過ぎる
＞特にHyper-VはAndroidエミュ使ってる身からすると嫌がらせレベル
わかる😭
AMD-V環境でNOXやとwindowsの機能で仮想マシンプラットフォームを有効にしただけでNOXが起動せんくなるで🤕


WSLに自信ニキな方がおりましたら、赤ちゃんでもわかる環境構築メモをお願いします……
0709今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c6d0-ff77)
垢版 |
2023/05/21(日) 06:33:39.47ID:sQdGFMKo0
>>706
(NOX,LD,MuMu)系と(WSL,GooglePlayゲームβ)系とは共存できないやんね
ひょっとするとWSLとGooglePlayゲームβは共存できるのかもだけど試したことがないねん
ただ共存できたとしてもGooglePlayゲームβでできるゲームのラインナップはまだ少なすぎやけど
そのあたりWin11のWSAはどうなんやろか

ってなんかスレチっぽくなったごめんやで
0711今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾚ Sp03-TTsM)
垢版 |
2023/05/21(日) 09:24:09.36ID:W/9dLJjHp
ワイVRAM30オーバー、回線が細すぎてモデルが落とせない
0715今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/21(日) 11:03:56.82ID:ANlsUp7C0
https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ
うーん書いてある通りにやったけど読み込めねえ

一回目はメモリエラーが出て落ちて、以降はモデルをこれに切りかえようとすると
少しおいて特にメッセージもなくコマンドプロンプト画面側が落ちてしまうわ
（Done!　何かキーを押してください……とか出るから多分強制終了）
0728今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/21(日) 18:12:12.95ID:Qx2QKltQ0
【ubuntu 2204でのooba text generator webui 環境構築メモ】

https://github.com/oobabooga/text-generation-webui
oobabooga-linux.zipをダウンロードして任意の場所に保存

> cd /oobabooga_linux
> python3 -m venv ooba_venv
> source ooba_venv/bin/activate
> cd ./text-generation-webui
> pip install -r requirements.txt
> cd ..
> bash start_linux.sh

ここまではまだ大丈夫だった……🥺
0730今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/21(日) 18:13:59.50ID:Qx2QKltQ0
>>729
【失敗】

<参考 : 1>
GPTQ-models-(4-bit-mode)
https://github.com/oobabooga/text-generation-webui/blob/main/docs/GPTQ-models-(4-bit-mode).md

<参考:2>
https://colab.research.google.com/github/camenduru/text-generation-webui-colab/blob/main/vicuna-13B-1.1-GPTQ-4bit-128g.ipynb#scrollTo=VCFOzsQSHbjM


> git clone -b v1.2 https://github.com/camenduru/GPTQ-for-LLaMa.git
> cd GPTQ-for-LLaMa
> pip install -r requirements.txt
> python setup_cuda.py install

->失敗。糞長コンパイルエラーの洗礼
https://i.imgur.com/clvQxOB.png
0731今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/21(日) 18:15:31.59ID:Qx2QKltQ0
>>730
【失敗】
<参照>
Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack #122
https://github.com/oobabooga/text-generation-webui/issues/122
This was indeed a bug caused by gpt-neox-20b having too many files in the repository, so that the page had a "Load more" button.
I have updated the download script. Try doing this to download the files that you are missing:

git pull
python download-model.py EleutherAI/gpt-neox-20b --text-only
<参照ここまで>

【モデル抜きパックをダウンロード】
> python download-model.py /TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ --text-only

【safetensorは手動でダウンロード】
https://huggingface.co/TheBloke/Wizard-Vicuna-13B-Uncensored-GPTQ
0732今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/21(日) 18:16:45.67ID:Qx2QKltQ0
>>731
【ワンチャン成功】
https://i.imgur.com/qOvvlH5.png

Q: bash start_linux.shで初回起動時にvicuna_uncensorを読み込んだときにエラーになる

A : 一度、別のモデルを選択してwebuiを立ち上げたあとに、Modelタブを開き、ドロップダウンからvicunaを選択

GPTQ parameters
wbits : 4
groupsize:128
model_type:llama

を指定したあとに、「Save settings for this model」-> 「Reload the model」
https://i.imgur.com/Z227E1Q.png
0739今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/21(日) 21:18:05.81ID:ANlsUp7C0
まあVRAM12は最低ラインとして、微妙にはみでることも多いみたいなんで16GBいけるなら
いったほうがいいのかもしらんなあ

そうじゃなきゃpaperspaceとかGoogle Colabみたいなの契約するか
ただAssistantSeikaと連携できなくなってまうけど

rinnna3.6bsft＋AssistantSeikaは一度試す価値があるで
ファインチューニングなしなら「まあこんなもんか」って
そのうちなるやろけど
0747今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0781-HH/k)
垢版 |
2023/05/22(月) 00:04:52.33ID:7vrS7Xw10
盛り上がってきたな
0750今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4af7-Gpo3)
垢版 |
2023/05/22(月) 01:16:47.44ID:l5PF1Q3k0
llama.cpp なら、makeするだけじゃん。
hugのサイトでggmlでmodel検索してDLして実行するだけ。
PCの搭載メモリにあわせて7b or 13b, q4,q5,q8にするか好きなの選べ。
0756今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4a28-UgiX)
垢版 |
2023/05/22(月) 07:32:06.18ID:fgFeHf0I0
昨日wsl2のdockerでoobaboogaのwebui試してみた流れ書いておく、元々wsl2 上で、nvidia-smiでvga認識してて、docker 動かしてた状態からスタート

oobaboogaをgit clone後にgithubにあるdockerの手順で起動、web画面からTheBloke/Wizard-Vicuna-13B-Uncensored-GPTQのモデルを手順にそってダウンロードとパラメータの設定、テキスト生成しようとしたらcudaのエラー出たので>>737やったら動いた
0761今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/22(月) 09:40:05.42ID:wPqAruE30
>>760
[ 使用した拡張 ]
janvarev/multi_translate
https://github.com/janvarev/multi_translate

[ 暫定実装手順 ]
※再生が止まらない模様。
　直すアイディア募集中！

以下追記箇所
./extensions/multi_translate/script.py

import subprocess

#"def output_modifier(string):"の下、"return res"の真上に以下の行を追加

"subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=res))"
0766今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM86-fMV4)
垢版 |
2023/05/22(月) 10:04:39.32ID:4pWy8FYwM
すまん、ほとんどAIについて調べてばっかで学習とかはほとんどできてないんやが、rinna3.6bを学習させてみたいんやけどneoxってのはどういう意味や？学習方法が特殊なんか？あと学習用のデータはどんな書き方がええんや？
0769今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ dbb2-FIIW)
垢版 |
2023/05/22(月) 10:55:17.46ID:Qcbbud3j0
>>764
初めて導入に成功したわ、ありがとナス
dialog.pyを書き換えたらモデルの保存場所とか変更できるよね？
モデル変えたらりんな以外も使えるかな？
りんな自体は会話ボットの域を出ない感じだな

webuiのoobaboogaは機能はともかく要求環境が複雑すぎて心折れた
AUTOMATIC1111目指してるみたいだけど初期ハードル下がらないと無理だろ
0771今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/22(月) 11:04:44.42ID:wPqAruE30
>>769
サンガツ！
保存先の変更はもうちょっと待ってクレメンス🥺💦
フルパス指定の問題はまだ放置したままなんや……

それとモデルの変更はモデル名を書き換えればワンチャンあるけど、動かすにはモデルごとに<NL>タグの置換とかの変更が必要やと思うで

りんなを賢くするにはLLMのLoRAに自信ニキをどこからから拉致ってこないとあかんね……
0778今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa2f-zzVR)
垢版 |
2023/05/22(月) 13:13:14.94ID:7DBodfCza
>>766
neoxはモデル名やで、GPT系とはちょっと構造が違うんや
学習用データは海外ではchatGPTから作った会話形式のデータを食わせるのがブームや

>>774
>>775
今Lora学習やり直してて、いい感じなら公開しようと思っとる
環境公開とかはgithub使わんとあかんのかな、使ったことないんや🥺
0780今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM86-fMV4)
垢版 |
2023/05/22(月) 13:21:03.76ID:hnztX/u2M
>>778
はえーサンガツ
rinnaでもrlhfってできるんかな？
trlとpeftで容量少なくしつつできるみたいな記事見たんやけど
0781今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/22(月) 13:50:55.91ID:sNC9Sndg0
>>762
　google_translateの方に"subprocess.run("SeikaSay2.exe 略)"を追記したら、文章が確定された時には読み上げの再生が止まったけど

　ただ、やっぱりまだ生成中は文章が変わるごとに頻繁に再生されるのがアカンね

　あとは関数output_modiferの呼び出し元さえ分かれば、引数を追加して、文章が確定された場合にのみ再生するってできるんやが、フォルダひっくり返してもそれっぽいのが見つからンゴ……
0785今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/22(月) 15:50:11.89ID:EKBf81NQ0
当面LoRAについては>>778ニキのワンマンチームでやっていくしかないわ

ってかネットにかなりおるはずの日本語LLM研究者とか学生とか企業の人とか
rinnaの学習の情報ぜーんぜんあげてくれへん・・・
とりあえずGinZAっていう形態素解析のライブラリが面白かったからしばらく
そっちをいじることにしたわ
0786今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cb54-HmrL)
垢版 |
2023/05/22(月) 15:56:58.61ID:Py3AVfFz0
東工大や富士通が和製生成AI　「富岳」使い23年度中に
https://www.nikkei.com/article/DGXZQOUC223IT0S3A520C2000000/

東京工業大学や富士通などは22日、スーパーコンピューター「富岳」を使って2023年度中に高度な生成人工知能（AI）を開発すると発表した。
日本語を中心とした基盤技術を構築し、24年度から国内企業などに無償で提供する。米オープンAIの「Chat（チャット）GPT」などが世界で注目を集める中、日本の産学が連携して自前技術で対抗する。

開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模言語モデルを独自に開発する。AIの学習にはオンライン百科事典の「ウィキペディア」などで公開されている日本語のデータなどを使う。
0789今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/22(月) 16:57:26.26ID:sNC9Sndg0
>>781
【解決】
webuiからSaykaSay2.pyを叩いて音声合成ソフトにしゃべらせる方法について

.\text-generation-webui\modules\chat.py
186行目: def chatbot_wrapper(略):関数内
243行目: visible_reply = apply_extensions("output", visible_reply)でoutput_modifierを呼び出し
https://imgur.com/hoittju.png

追記箇所
275行目 : subprocess.run("SeikaSay2.exe -cid 5209 -t \"{msg}\"".format(msg=visible_reply))
https://imgur.com/4yFMmnn.jpg
0797今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/23(火) 04:45:49.80ID:sIHyNd/00
新しく拡張を追加しようと試みとるけど、
正規の呼出し手続きに則るなら、"/modules
/chat.py"だけやなく"/modules/extensions.py"の'apply_extensions'とMAPも書き換えないと"/extensions/拡張名/script.py"に手出し出来ないことに気付いたで🥺

呼出し元を2つも書き換えないと使えない拡張ってそれもう拡張やないやんけっ！😭

完全に誰得やけどここまできたら完成させてさっさと>>794ニキのLoRAで遊ぶで😇
0799今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/23(火) 15:12:02.81ID:zAn1lUHt0
さっそく>>794ニキのfinetune.py動かしてみたけどデコードエラーが出るンゴね……
cp932やからディレクトリのパスの書き方でワンチャンあるかと思ったけどアカン
cloneした方やとデコードエラー起こらなかったからとりあえずまた時間かけて1行ずつ読み直してくるで……
https://i.imgur.com/q4GfQz2.png
0809今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/23(火) 17:07:03.09ID:yDpq2hGX0
なんか自分もJSON読み込むとこでうまくいかんから、以前作ったcsvを使って
読み込むとこにcsv読み込みのifも追加したわ
とりあえず学習が始まるとこまでいった

if data_path.endswith(".json") or data_path.endswith(".jsonl"):
data = load_dataset("json", data_files=data_path)
elif data_path.endswith(".csv"):
data = load_dataset("csv", data_files=data_path)
else:
data = load_dataset(data_path)
0813今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/23(火) 18:49:56.20ID:yDpq2hGX0
https://i.imgur.com/CvWuTg6.png
食わせたのがコレ
https://i.imgur.com/pI00qod.png
うーんこれは……効いてなさそうやなあ

あと試しに>>794ニキの元々入っていたデータをgenerate.pyに読み込ませたんだけど、
adapter_config.jsonを読んでいるとこで
Extra data: line 16 column 2 (char 344)
が出てしまう　結局これも文字コードの問題かなんかなんかな？
0814今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9f63-Nu6K)
垢版 |
2023/05/23(火) 19:38:22.09ID:2FscFC/x0
>>811
>>813
ワイの環境はlinuxでエンコードはUTF-8だからそこの差分なんかなあ...
Windows版のPythonはファイル読むときcp932扱いになるらしく、UTFを読みたいなら環境変数のPYTHONUTF8=1にせんとあかんらしい

>>813ニキの学習がうまく行かんのも学習templateのjsonを文字化けして読み込んでるからかもしれん
0817今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/24(水) 06:02:08.72ID:70+xJpNF0
>>798
TheBloke/stable-vicuna-13B-GPTQが読み込まない人へ
https://huggingface.co/TheBloke/stable-vicuna-13B-GPTQ/discussions/14
以下ｸﾞｰｸﾞﾙ翻訳してちょこっと手直しして引用

Narfel　1 日前修正済
新規インストールが手っ取り早いです:
1, ooba をインストールしてから更新します (gcc がインストールされている必要があります。たとえば、Fedora の「apt install build-essential」または「Developer Tools」)

2, 最後に、「hugging faceを手動で指定する」を使用して「TheBloke/stable-vicuna-13B-GPTQ」をダウンロードし、インストーラーを終了します。実行しないでください。

3, 「CMD_FLAGS = '--chat --model-menu'」の代わりに
「CMD_FLAGS = '--auto-devices --chat --wbits 4 --gpu-memory 22 --groupsize 128'」を使用するように webui.py を編集して開始します

4, モデルをリロードしてなにか問題があればwebui.py を編集して、（引数を）元の内容または好みのものに戻すことができます。
0818今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/24(水) 06:30:01.00ID:70+xJpNF0
>>790

当該スクリプト
./modules/chat.py
./modules/modules.py
/extensions/google_translate_bypass/script.py

・アイディア１：【"google_translate"の中身だけを修正する。】
-> 失敗。
　script.py内の関数:output_modiferを呼出しているchat.pyの箇所が二重ループ内部になっている為に、再生が止まらなくなる。
0819今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/24(水) 06:31:37.48ID:70+xJpNF0
>>818
・アイディア２：【新しく拡張を追加する。】
-> デグレのためひとまず保留。
　outputとinputの拡張適用はchat.pyからextensions.pyを経由して行われる。その際にextensions.py内の関数apply_extensionsが、extensions_MAPのLISTと照らし合わせて適用する拡張を決定する模様。

　ここに新しく拡張の種類を追加しようとすると、chat.pyとextensions.pyとscript.py3つを書き換えないといけなくなる。STOP環境破壊！
0820今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/24(水) 06:33:26.67ID:70+xJpNF0
>>819
・アイディア３：【chat.py内の関数: apply_extensions呼出位置をループ外へ変更して、関数: output_modifer使い回す】
-> 惜しい。uiに翻訳が反映されなくなるが、日本語で読み上げてくれる模様。

　これはこれで英語学習に需要がありそうなのでもう少しテストしたらgithub送りへ──

自分のことをgoogle homeだと思い込んでるキズナアカリ
https://imgur.com/anWqOfL.mp4

ずんだもんでも試してみた
https://imgur.com/5pOfet3.mp4
0832今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/24(水) 13:36:36.29ID:71HMGsml0
https://i.imgur.com/x1PH5u4.png
うーん一応finetune.pyを動かす時data['train']の中に
ちゃんとデータが入っているのかとかも確認してんけど
generate.pyでアカンなあ

model = PeftModel.from_pretrained(model, "lora-alpaca/", torch_dtype=torch.float16)
generate.pyのこれの後、ちゃんとLoRA読み込めているかとか中身が大体どんな感じかとか
たしかめる手段ってないのかね
0842今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/24(水) 22:19:30.88ID:71HMGsml0
https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lora
なんか以前保存されるデータが1KBくらいだったのこれか！
今はなんか出なくなったけど

>peft@75808eb2a6e7b4c3ed8aec003b6eeb30a2db1495 のコミット辺りで追加された記述の一部を削除しないと
>出力される"adapter_model.bin"がデータセットのパラメータ数に関係なく1kb前後という明らかに異常がある
>データが保存されます。どうやらウェイト保存が正常に行われていないらしく2023/05/24時点で問題は
>解消していないようです。

>model.save_pretrained() produced a corrupted adapter_model.bin (only 443 B) with alpaca-lora
0855今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/25(木) 17:49:53.97ID:OXs2Lfah0
昼間にNVA部に宣伝してみたけどやっぱり遊びに来てくれる人おらんね……
そう何度も宣伝するのも迷惑やろうから次の宣伝はなたなんか新しいのが出来てからにするで

やっぱりテキストベースのNLPのLLMって分野がそもそも地味すぎるのがアレやからもう少しなんかこう派手なのを作りたいゾ
0857今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-4C5r)
垢版 |
2023/05/25(木) 17:56:37.87ID:OXs2Lfah0
>>856
確かにloraで自分の好きな性格のキャラを育てられるとかになれば人が増えそうやな✨

とするとデータセットの用意が難問やな……
えちえちな文章を用意してそれをインストラクション形式に変換するアプリ……ひとまずはワイが作れるのはこんなところやろか
0872今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b354-6uBr)
垢版 |
2023/05/26(金) 01:22:22.01ID:Wcev3Ix/0
このスレ見た感じ大規模言語モデルをローカルで動かしていじる的な話題多いけどChatGPTとか既存サービスのプロンプトみたいな話ってスレチになるんか？
0881今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/26(金) 12:35:27.08ID:5f4sYwy00
8bit化ができていればVRAM12GBで足りるらしいけど
そのために必要なライブラリがWindowsでは動かないんで
Dockerの知識とか必要っぽい

んでワイはDockerでやったとき上手くいかず、結局paperspaceにいった
そんで学習ひと通り走れたように見えたんやけどいざadapter_model.binを
読み込ませても一切変わっているように見えん・・・　って状況や

>>794ニキが学習させたadapter_model.binを読み込ませようとすると
なぜかエラーが出てしまうし……
0885今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de28-FIIW)
垢版 |
2023/05/26(金) 12:46:09.69ID:5f4sYwy00
そもそもどっちもパラメータ数とか世代によってちゃうとは思う

ただOpenCALMは英語も学習しちゃっているぶんrinnaより
同一パラメータだと不利があるのかもしれないとか推測してる人が
Twitterにおったな

ワイはrinna3.6bのsftは素でも一定のポテンシャル感じるから
ここをどうにかファインチューニングしたいんやが・・・
0886今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp03-uFZj)
垢版 |
2023/05/26(金) 13:13:14.38ID:k3SUuX5Up
LoRA学習試してみたけどopen-calm-7bとrinna/japanese-gpt-neox-3.6bなら流石に前者の方が全然良かったな
sft版は試してないからわからんが
0909今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b54-CObc)
垢版 |
2023/05/27(土) 12:01:21.72ID:2e3d6C+y0
確かにStable diffusionのベースもLLMやね

そういえば積んでたオライリーのディープラーニング実践ガイドって書籍やと、1990年代にはニューラルネットワークを使ったLeNetという手書き数字を認識するOCRがアメリカのUSPSで使われてたって話が書いてあってはぇ～ってなったで
0922今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b54-CObc)
垢版 |
2023/05/28(日) 10:44:32.73ID:XkyXHvLh0
>>921
4, パラメータを設定
デフォだと7時間とか出る模様
https://imgur.com/NUx5PZs.jpg

＞VRAM使用量を調整したいなら"micro-batch-size"を弄るとコントロール出来る。
引用元 https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lor
らしいけど自分環境だといじっても8GBのままだった

5,　放置して寝る
-> スリープ切り忘れて失敗
0924今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0f28-S+HU)
垢版 |
2023/05/28(日) 10:59:25.74ID:fD2V+NqH0
そこをなんとか突破していくニキを募集しています
gpt2時代にエロエロ作れた人もおったわけやし

とはいえそれがまだ数ヶ月前ってことはハードウェア的には
今とほぼ変わらない環境なわけで、新世代のLLMについては
個人のローカルじゃ厳しい状態が来たって可能性もあるが……

paperspaceでもColabでもなんでもええねん
0963今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa8f-+RhF)
垢版 |
2023/06/01(木) 14:09:35.89ID:dA+Q4qSJa
>>958
これ相当凄ないか？
0964今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｱｳｱｳｳｰ Sa8f-4liM)
垢版 |
2023/06/01(木) 14:44:29.60ID:3Z+D81SAa
llama.cpp触っとる人おらん？stakaさんの機械翻訳モデルと英語言語モデル(vicuna-cocktail 13B)組み合わせて使ってみたら結構いい結果になった気がする
文面は機械翻訳丸出しやけど全体としては意味が通ってるし理解できなくはなかった
opencalmとかりんな使ってみたけど英語モデルメインで使ってきた身からしたら日本語のモデルは正直イマイチや　英語勢がllamaで盛り上がってる中でgpt-neoxつう一世代前のオーパーツ持ち出してなおかつパラメータ数も日本語モデルでは多い方とは言え7Bでも実用的なローカル向けモデルとしては最低ライン　商標とかライセンス気にしたら日本勢がllamaに手を出せんのは仕方ないんやろうけど
正直日本語LLM作るくらいならオフライン機械翻訳の精度上げたほうが良いんじゃないのかと思ってきた
0972今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0f28-S+HU)
垢版 |
2023/06/01(木) 17:06:36.34ID:ulpFlOyk0
repetition_penalty=1.1はくり返しペナルティなんやけど
1.1にしてみてもたまに起きるのよな

ChatGPTに頼んで、返事の後にこっちの再返事を自動生成しているときは
そこを削除するようにプログラム作ってもらったわ

。！？　話者1の名前 :
と来ていたら話者1の名前以降をカットって感じで
0991今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b54-CObc)
垢版 |
2023/06/01(木) 18:40:12.19ID:sAzj2S6l0
>>989
paddingとrepetitionコメントアウトしてうんちしてくださいいうてみたけどあかんかったで😭

https://i.imgur.com/pih0225.jpg
とりあえずそのまま直で (f"こんにちは。{user_name}: こんにちは！")をぶち込んでみたら大丈夫そうやった
あとは>>986ニキの出力文章制限とppo sftv2用のpaddingとrepetitionオプションも追加してgithub送りにするで
0999今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spcf-l3Cd)
垢版 |
2023/06/01(木) 21:20:07.79ID:W8EjRiSQp
>>994
たておつ
1000今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Spcf-l3Cd)
垢版 |
2023/06/01(木) 21:20:20.19ID:W8EjRiSQp
質問どうぞ
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 77日 10時間 46分 10秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。
ニューススポーツなんでも実況