!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
なんJLLM部 ★3
https://fate.5ch.net/test/read.cgi/liveuranus/1691639766/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
探検
なんJLLM部 ★4
■ このスレッドは過去ログ倉庫に格納されています
1今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 6f66-0F6f)
2023/09/30(土) 08:32:45.60ID:wbO7dX6P0226今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9554-pcI3)
2023/10/13(金) 12:44:19.83ID:3FqoHuBN0 >>225
主人公の設定を日本人にすればいいんじゃ?
主人公の設定を日本人にすればいいんじゃ?
227今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 76f0-Hwqz)
2023/10/13(金) 12:46:57.71ID:xW+BKsfE0 pythonすごいなmecabとかwikipediaのライブラリあるのね
なんかエロ辞書を作るの全部自動で出来そう
なんかエロ辞書を作るの全部自動で出来そう
228今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (オイコラミネオ MM49-PzYs)
2023/10/13(金) 12:47:35.94ID:hYZ8eISyM LLMは言語を介して文化をも学習してると
229今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 76f0-Hwqz)
2023/10/13(金) 12:49:13.41ID:xW+BKsfE0 外国語の翻訳で日本語は難しいって男女の言葉遣いの違い、喘ぎ方の違いとか翻訳ではできないでしょ
230今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMea-6Yuv)
2023/10/13(金) 13:51:22.38ID:0TRBCqksM なんでそんなにエロに必死なんだよ😅
231今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (テテンテンテン MM0e-rRiV)
2023/10/13(金) 14:19:49.06ID:f8NtxhfNM ズリネタを自給自足して思うさまシコりたいからに決まってるだろ!!!
232今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3150-lHjV)
2023/10/13(金) 14:22:52.83ID:fQaZ0aba0 LLaVA-1.5ってどうなんだ?
web uiあるけど入れるの面倒くさそう
web uiあるけど入れるの面倒くさそう
233今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 46bb-X0Wo)
2023/10/13(金) 15:10:24.18ID:V7SpSP3L0 Xwinの新しいバージョンきてる?
234今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ae1f-6t2b)
2023/10/13(金) 16:14:25.46ID:hlN4sPbt0 >>225
koboldのmemoryとかinfoに日本要素設定すれば日本として扱ってくれるよ
モブキャラの名前も勝手に日本人名になる
このごろMLewd ReMM Chat 20Bばっかり使ってるわ
新しいエロいのあったら教えてクレ
koboldのmemoryとかinfoに日本要素設定すれば日本として扱ってくれるよ
モブキャラの名前も勝手に日本人名になる
このごろMLewd ReMM Chat 20Bばっかり使ってるわ
新しいエロいのあったら教えてクレ
235今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 76f0-Hwqz)
2023/10/13(金) 16:28:55.92ID:xW+BKsfE0 >>216のコードはスクレイピング対策されて動かないや、JS対応させないと
236今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 46eb-iLfk)
2023/10/13(金) 16:46:22.84ID:dyoSxveU0 Xwin V0.2さらに出来るようだな。
70Bはよ
70Bはよ
237今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ b6a7-rRiV)
2023/10/13(金) 17:01:03.24ID:Zf4gxW470 modelにもよるけど、舞台は何々時代の日本です、とするとちゃんと描写してくれる…こともある
ただ英語で、futonに寝て、gohanとmiso-soup頂くのはあってるんだけど変な感じがする
ただ英語で、futonに寝て、gohanとmiso-soup頂くのはあってるんだけど変な感じがする
238今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d562-Nh27)
2023/10/13(金) 17:34:16.20ID:EpdZt/9v0239今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4698-STj1)
2023/10/13(金) 17:44:45.99ID:dyoSxveU0240今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ b191-EjTM)
2023/10/13(金) 18:06:57.30ID:NARmhi070 >>237
画像検索するとわかるけど、英語のfutonはどこをどう間違ったのか「折りたたみ式ソファベッド」のことになってるからね・・・
画像検索するとわかるけど、英語のfutonはどこをどう間違ったのか「折りたたみ式ソファベッド」のことになってるからね・・・
241今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9554-Hwqz)
2023/10/13(金) 18:15:03.09ID:sF7qAYOX0 折りたたみまではあってる
242今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3150-lHjV)
2023/10/13(金) 18:55:27.68ID:fQaZ0aba0 Xwin V0.2は圧縮版?じゃないと自分のPCじゃたぶん無理や
というかそっちは本家が配布してるわけじゃないのね
というかそっちは本家が配布してるわけじゃないのね
243今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ aee3-yTFY)
2023/10/13(金) 19:57:51.10ID:hlN4sPbt0 【Zephyr 7b Alpha】ついにLlama 2を超えるLLM現る!HuggingFaceの最強AI
https://weel.co.jp/media/zephyr-7b-alpha
https://weel.co.jp/media/zephyr-7b-alpha
244今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4698-STj1)
2023/10/13(金) 20:37:14.08ID:dyoSxveU0 >>243
日本語なら70Bやイライザの方が賢いな
日本語なら70Bやイライザの方が賢いな
245今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5a30-B5Nq)
2023/10/13(金) 21:07:02.69ID:yjdU2o5v0 Llama 2をファインチューニングしたモデルとそうではないモデル分けてくんね
246今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b19-+yyM)
2023/10/14(土) 04:44:13.88ID:zjt8Yd1Y0 エロじゃなければ別にGPT4で問題ないからローカルにこだわる人間はほぼほぼエロ目当てなのだ
247今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ fb8d-/4nw)
2023/10/14(土) 05:00:52.10ID:dOnslAya0 大葉でAutoAWQ Loaderをなかなか動かせなかったので、動かした方法をメモ。
どうも最新版だとダメらしいので過去のリビジョンを取ってくる。set-upstream-toやらないとstart_windows.batに怒られた。
git clone https://github.com/oobabooga/text-generation-webui text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
cd text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
git switch -c mybranch 06fff3b2e918f37e0c7d477d111a08d042e72968
git branch --set-upstream-to=main mybranch
あとはstart_windows.batで起動。
--sdp-attentionは指定したらエラーが出たので指定しない方が良さそう。
AutoAWQオプションのno_inject_fused_attentionはチェック入れないとVRAM消費きつい。
どうも最新版だとダメらしいので過去のリビジョンを取ってくる。set-upstream-toやらないとstart_windows.batに怒られた。
git clone https://github.com/oobabooga/text-generation-webui text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
cd text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
git switch -c mybranch 06fff3b2e918f37e0c7d477d111a08d042e72968
git branch --set-upstream-to=main mybranch
あとはstart_windows.batで起動。
--sdp-attentionは指定したらエラーが出たので指定しない方が良さそう。
AutoAWQオプションのno_inject_fused_attentionはチェック入れないとVRAM消費きつい。
248今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e97b-7fP9)
2023/10/14(土) 08:57:31.31ID:oP8PFaPy0 https://huggingface.co/Sao10K/Euryale-1.3-L2-70B-GGUF
Euryaleもバージョンアップしてた
元々NSFWに強いモデルだけど他のモデルでよくある問題の「繰り返し」が起きにくいらしい
少し書かせてみたけど文章もエロくて詳細だしなかなか良さげ
Euryaleもバージョンアップしてた
元々NSFWに強いモデルだけど他のモデルでよくある問題の「繰り返し」が起きにくいらしい
少し書かせてみたけど文章もエロくて詳細だしなかなか良さげ
249今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1330-RnKc)
2023/10/14(土) 09:21:53.82ID:IKntE0Pw0250今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0107-rPjP)
2023/10/14(土) 09:47:40.33ID:LkPR865M0251今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d12d-T9H3)
2023/10/14(土) 12:25:26.92ID:JQ6os8aD0 基本的なことなんだけどwebuiに入れたモデルの削除って普通にmodel内のフォルダを削除するだけでいいんかな?
252今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d191-dJqj)
2023/10/14(土) 14:33:20.88ID:qp48TMQu0 >>251
それでいい パラメータをいじって保存してたらmodels/config-user.yamlに設定が保存されてるから当該部分削除したら完全に入れる前の状態に戻る(ファイルサイズ的には誤差)
それでいい パラメータをいじって保存してたらmodels/config-user.yamlに設定が保存されてるから当該部分削除したら完全に入れる前の状態に戻る(ファイルサイズ的には誤差)
253今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d12d-T9H3)
2023/10/14(土) 15:23:00.61ID:JQ6os8aD0 >>252ありがとう
254今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d1f1-saCg)
2023/10/14(土) 17:08:38.37ID:IViwW9JV0 好きになるのにそんな大層な理由なんてないよ
255今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b29-gsUY)
2023/10/15(日) 06:02:50.00ID:2G69btJ+0 3060で結構楽しんでるけど13gでギリギリなのか40回程度会話したらOOM食らうのが悲しい😭
256今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8b16-pCU2)
2023/10/15(日) 10:23:41.60ID:WoVKRZ/k0 https://huggingface.co/TheBloke/Xwin-LM-13B-v0.2-GGUF
xwin v0.2が来ましたね
xwin v0.2が来ましたね
257今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ fba0-4k0J)
2023/10/15(日) 13:34:34.65ID:wDqD2mZD0 初心者なんやけど
グラボがゴミでもメモリだけ積めばなんとかなる?
グラボがゴミでもメモリだけ積めばなんとかなる?
258今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e97b-7fP9)
2023/10/15(日) 13:49:57.16ID:radOMww20 なる
CPUとメインメモリだけで動かす方法があるので極論グラボがなくても動かせる
CPUとメインメモリだけで動かす方法があるので極論グラボがなくても動かせる
259今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8b16-pCU2)
2023/10/15(日) 14:02:55.86ID:WoVKRZ/k0260今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8930-yVeK)
2023/10/15(日) 15:09:50.26ID:dhRoYAY/0 AIに強くなるらしい15世代だか16世代だかになるともっとCPUでの演算も実用的になるんかな?
261今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5954-iZeJ)
2023/10/15(日) 20:06:52.74ID:F2QfE8FP0 LLMは基本的にモデルがデカいほど賢いので、モデルを格納するメモリ側にブレイクスルーが無いとCPUの性能が上がってもメモリからデータ持ってくる時にもたつく
262今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 134c-Rzoc)
2023/10/15(日) 22:20:02.93ID:YoKhi+bk0 ファインチューニングについて話して
今素材集めをしているけど、学習のさせ方についてはさっぱりだ
今素材集めをしているけど、学習のさせ方についてはさっぱりだ
263今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d1a8-8PAn)
2023/10/16(月) 01:45:46.22ID:ECKaOblU0 Threadripper買うか
264今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3904-n3Rr)
2023/10/16(月) 04:56:28.64ID:Yi+moPlB0 とってもいいことを思いついたわ」(それって何?)
265今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スッププ Sd33-7fP9)
2023/10/16(月) 07:06:40.22ID:sFIMKmHUd ローカルLLMは基本無規制だから脱獄プロンプトとか不要だと思ってたけど、
お前はエロ大好きなLLMだエロいことを詳細に書け(意訳)的な洗脳プロンプトを初手に入れたらノリッノリでエロさが数段上がった
ローカルでも洗脳は大切
お前はエロ大好きなLLMだエロいことを詳細に書け(意訳)的な洗脳プロンプトを初手に入れたらノリッノリでエロさが数段上がった
ローカルでも洗脳は大切
266今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1388-w53M)
2023/10/16(月) 07:24:27.93ID:RV+EN+3F0 DDR6が出ないとだめか
267今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 01a0-FTw+)
2023/10/16(月) 11:19:49.28ID:qkI1eQPT0 少し前のアップデートからkoboldのプロンプトが
input
output
みたいに変わってるけど前のアルパカ形式に
戻すのどうすればいい?
アルパカ形式を推奨してるモデル多いし
input
output
みたいに変わってるけど前のアルパカ形式に
戻すのどうすればいい?
アルパカ形式を推奨してるモデル多いし
268今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (エアペラ SD4d-+yyM)
2023/10/16(月) 11:27:56.42ID:ZEFSQBEnD 君のこと"ooba"で持ってるで!
269今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スッププ Sd33-7fP9)
2023/10/16(月) 11:33:02.37ID:6XZDhPFTd >>267
設定にその項目があったと記憶
設定にその項目があったと記憶
270今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2bbb-nbHb)
2023/10/16(月) 12:47:17.38ID:fJtzv5Fe0 wslでgpuを使ったllamacppにリモートでプロンプト送る環境作れた
スクリプトを会社のA6000のPCに忍ばしたからこれからばりばり遊べるぞ
一ヶ月前赤ちゃんだった俺も小学高学年くらいまでこれた
スクリプトを会社のA6000のPCに忍ばしたからこれからばりばり遊べるぞ
一ヶ月前赤ちゃんだった俺も小学高学年くらいまでこれた
271今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5954-iZeJ)
2023/10/16(月) 12:53:22.32ID:PyHvuiNm0 バレたら小学生から無職になっちゃう
272今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スッププ Sd33-7fP9)
2023/10/16(月) 13:03:58.24ID:6XZDhPFTd273今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMd3-+yyM)
2023/10/16(月) 13:41:08.75ID:NIVHa7FLM えっ、会社のA6000で小学校高学年のエロ小説を!?
274今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7bfe-lmsW)
2023/10/16(月) 13:43:58.50ID:+BjqlaRU0 出力らぁ!
275今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 01a0-FTw+)
2023/10/16(月) 13:47:49.99ID:qkI1eQPT0276今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d11a-T9H3)
2023/10/16(月) 13:55:05.19ID:iXDxSlEA0 Xwin-MLewd-13B-v0.2-GPTQをwebui入れたら高確率で英語ばかり話すんだけど
何故なんだぜ
何故なんだぜ
277今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d11a-T9H3)
2023/10/16(月) 13:56:40.49ID:iXDxSlEA0278今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (テテンテンテン MMeb-UOHx)
2023/10/16(月) 14:17:00.86ID:1dpVc5i7M >>270
なんかネタみたいになってるけどこれアカンやつでは?
なんかネタみたいになってるけどこれアカンやつでは?
279今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5954-iZeJ)
2023/10/16(月) 15:03:26.74ID:PyHvuiNm0 アカンけど他人事だし
学習モデル出してる人にも会社や大学の設備を勝手に使ってる人は少なくないやろ
自腹で借りるには金がかかりすぎる
学習モデル出してる人にも会社や大学の設備を勝手に使ってる人は少なくないやろ
自腹で借りるには金がかかりすぎる
280今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2bbb-nbHb)
2023/10/16(月) 15:13:23.59ID:fJtzv5Fe0 俺はファインチューニングやloraよりもベクトルデータベースの方に興味があるわ
stable duffusionと比べてモデル大き過ぎるから個人での学習ほぼ無理じゃない?
過去の会話内容を上手に取得して会話の方向性がブレない仕組み作っていきたい
stable duffusionと比べてモデル大き過ぎるから個人での学習ほぼ無理じゃない?
過去の会話内容を上手に取得して会話の方向性がブレない仕組み作っていきたい
281今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (テテンテンテン MMeb-UOHx)
2023/10/16(月) 15:29:31.00ID:dT29ETeyM282今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (テテンテンテン MMeb-UOHx)
2023/10/16(月) 15:37:14.93ID:dT29ETeyM あっスプリクトは荒らしのアレやんけ
スクリプト
スクリプト
283今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8930-yVeK)
2023/10/16(月) 16:26:23.56ID:VSmMSK+10284今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8930-yVeK)
2023/10/16(月) 16:37:32.13ID:VSmMSK+10285今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5954-FTw+)
2023/10/16(月) 19:45:17.59ID:a1Io4XN00 TheBloke/openbuddy-llama2-70B-v13-base-GGUF
やっと出たね
v13でどこまで進化したか試すぜ
しかし70b連発だな 追いつかんw
やっと出たね
v13でどこまで進化したか試すぜ
しかし70b連発だな 追いつかんw
286今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 49e0-m3Kz)
2023/10/16(月) 20:41:11.88ID:F92UK/rF0 今始めたての幼稚園児が日本語メインでお試しするならどれからスタートがええの?
287今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b4f-UrH0)
2023/10/16(月) 22:06:12.08ID:RC21cGNO0 -base付きのはダメだな
288今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8bf0-RnKc)
2023/10/16(月) 22:25:22.98ID:ruggkIUa0289今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 49e0-m3Kz)
2023/10/16(月) 22:46:49.46ID:F92UK/rF0290今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 49e0-m3Kz)
2023/10/16(月) 23:33:36.52ID:F92UK/rF0 webui⇒モデルDLまで進んでエラーで立ち往生
もう良いや後は明日!
スレ汚し失礼しました
もう良いや後は明日!
スレ汚し失礼しました
291今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b71-Fhx2)
2023/10/16(月) 23:53:19.25ID:RC21cGNO0 >>290
webuiじゃなく、kobold.cppを先に試すんだ。
日本語ならモデルは
TheBloke/OpenBuddy-Llama2-70b-v10.1-GGUF
とりあえずこれの4kmか5kmってついてる奴
そしてついさっき上がった
TheBloke/Airoboros-L2-70B-3.1-GGUF
これに期待
70Bの遅さに我慢できないかもしれんがw
webuiじゃなく、kobold.cppを先に試すんだ。
日本語ならモデルは
TheBloke/OpenBuddy-Llama2-70b-v10.1-GGUF
とりあえずこれの4kmか5kmってついてる奴
そしてついさっき上がった
TheBloke/Airoboros-L2-70B-3.1-GGUF
これに期待
70Bの遅さに我慢できないかもしれんがw
292今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 49e0-m3Kz)
2023/10/17(火) 00:48:08.66ID:BHC4RI0L0 >>291
ありがとう明日の夜に挑戦してみますわ
ありがとう明日の夜に挑戦してみますわ
293今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0bd8-Rzoc)
2023/10/17(火) 03:37:11.39ID:fu2CcOtm0 >>224
GGUF:VRAMとDRAM両方を使えるようにしたモデルただし遅い
GPTQ:量子化と言う処理をして無駄な情報を削って軽くしたモデル、VRAMで動かすので早い
その環境ならGGUFかGPTQモデルの13bか7bモデルが限界だろう、7bモデルで日本語がまともに使えるモデルは少ない、ELYZAくらいかな
13bモデルから日本がまともにできるけどそれでも限られるVICUNAとか日本語上手いけどエロい話は無理お堅い学習しかしてないから真面目な会話しかできない。
30bとか70bとかだといろんなモデルで日本語使えるけどスペックはもっとないと起動できない
GGUF:VRAMとDRAM両方を使えるようにしたモデルただし遅い
GPTQ:量子化と言う処理をして無駄な情報を削って軽くしたモデル、VRAMで動かすので早い
その環境ならGGUFかGPTQモデルの13bか7bモデルが限界だろう、7bモデルで日本語がまともに使えるモデルは少ない、ELYZAくらいかな
13bモデルから日本がまともにできるけどそれでも限られるVICUNAとか日本語上手いけどエロい話は無理お堅い学習しかしてないから真面目な会話しかできない。
30bとか70bとかだといろんなモデルで日本語使えるけどスペックはもっとないと起動できない
294今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0bd8-Rzoc)
2023/10/17(火) 03:51:28.56ID:fu2CcOtm0 >>224
70bのGGUFかGPTQ動かすのにDRAM128GB、VRAM48GB(3060x4)でやってる
30bならDRAM128GBかVRAM24GBでもワンチャンいけるかも
それくらいの環境じゃないといろいろなモデルの日本語を試せない
70bのGGUFかGPTQ動かすのにDRAM128GB、VRAM48GB(3060x4)でやってる
30bならDRAM128GBかVRAM24GBでもワンチャンいけるかも
それくらいの環境じゃないといろいろなモデルの日本語を試せない
295今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0bd8-Rzoc)
2023/10/17(火) 04:01:55.17ID:fu2CcOtm0 ちなみにGPU複数刺しは電力使うから電源の強化も必要1000w以上の電源つけないと
あと普通のPCケースだとGPU2枚くらいでスペース的に限界だからマイニング用の台にライザーカードっての使ってGPU増やしている、あとはPCIeのスロットがいっぱいついたマザーボードにした方がGPUはいっぱいつけれる。
あと普通のPCケースだとGPU2枚くらいでスペース的に限界だからマイニング用の台にライザーカードっての使ってGPU増やしている、あとはPCIeのスロットがいっぱいついたマザーボードにした方がGPUはいっぱいつけれる。
296今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2bbb-nbHb)
2023/10/17(火) 08:02:31.19ID:1x+HgP1t0 GGUFがレイヤー数指定してGPUにオフロードできるのは知ってるけどGPTQも同じような事できるの?
297今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8930-5VNr)
2023/10/17(火) 11:46:23.99ID:FqBBAF2D0 ライザーで4枚刺しとか行けるんだな
RTX3000番台はノイズに弱くて直挿し以外困難かと思ってた
RTX3000番台はノイズに弱くて直挿し以外困難かと思ってた
298今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ fb12-/4nw)
2023/10/17(火) 12:58:33.95ID:Ptdcmqge0 3060を4枚挿しは無理矢理感を力技で押さえつける男の子ドリームで素敵ね
排熱処理がしんどそうだけど
排熱処理がしんどそうだけど
299今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 39f3-394k)
2023/10/17(火) 13:40:45.29ID:Yv1A9oiw0 ライザーでビデオカード複数刺したとしてvramって合計になるものなんですか?
300今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H45-yVeK)
2023/10/17(火) 14:16:10.01ID:mF+kjpiPH 70Bが動く環境は羨ましい
poeとかでSolar-0-70bを動かすとすげえなあと思う
poeとかでSolar-0-70bを動かすとすげえなあと思う
301今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8bff-iZeJ)
2023/10/17(火) 16:02:32.32ID:bI2woeQX0 >>299
LLMに関してはローダーにもよるけどGPUごとにモデルを分割してロードしてそれぞれで処理することができる
うちも4090と3090の2枚挿しで70BのGPTQ動かしてるけど電気代とPC排熱が心配
LLMに関してはローダーにもよるけどGPUごとにモデルを分割してロードしてそれぞれで処理することができる
うちも4090と3090の2枚挿しで70BのGPTQ動かしてるけど電気代とPC排熱が心配
302今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMd3-dBEC)
2023/10/17(火) 16:02:54.83ID:p+VlejA/M textgeneration webuiで日本語出力させてるんだけど、回答が短文で終わっちゃうんだけど何かパラメーターとかあるのかな?
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか…
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか…
303今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMd3-dBEC)
2023/10/17(火) 16:03:29.62ID:p+VlejA/M textgeneration webuiで日本語出力させてるんだけど、回答が短文で終わっちゃうんだけど何かパラメーターとかあるのかな?
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか…
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか…
304今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2bee-UrH0)
2023/10/17(火) 16:29:41.14ID:ocDRlyYp0 OpenBuddy/OpenBuddy-llama2-70b-v13.1
きた!
こいつが本命だ
きた!
こいつが本命だ
305今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMd3-dBEC)
2023/10/17(火) 16:37:15.56ID:p+VlejA/M あ、なんか連投になっちゃった
306今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d10a-Rzoc)
2023/10/17(火) 17:52:55.03ID:EeWeATl50307今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8bf0-yVeK)
2023/10/17(火) 18:02:43.90ID:D5YBaGtc0 なお画像生成の方のStable DiffusionはマルチGPUに対応していない
ま、そのうち対応するだろうけど、それを聞いて絶望した。
ま、そのうち対応するだろうけど、それを聞いて絶望した。
308今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワイーワ2 FF63-yVeK)
2023/10/17(火) 18:03:46.63ID:TPPj+p2cF なお画像生成の方のStable DiffusionはマルチGPUに対応していない
ま、そのうち対応するだろうけど、それを聞いて絶望した。
ま、そのうち対応するだろうけど、それを聞いて絶望した。
309今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1370-7fP9)
2023/10/18(水) 06:55:47.82ID:Es/4FZj20310今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 5954-FTw+)
2023/10/18(水) 09:18:37.52ID:wd+49niq0 baseモデルはダメだった
v13.1は消えてもうた
v13.1は消えてもうた
311今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2bbb-nbHb)
2023/10/18(水) 12:58:58.46ID:d1JV27f00312今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1370-7fP9)
2023/10/18(水) 18:56:42.28ID:Es/4FZj20 https://huggingface.co/OpenBuddyEA/OpenBuddy-llama2-70b-v13.1
まあオリジナルは存在してるからそのうちニキがまたgguf版を上げてくれるべ
まあオリジナルは存在してるからそのうちニキがまたgguf版を上げてくれるべ
313今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b8c-Fhx2)
2023/10/18(水) 19:53:43.87ID:FzlevhBm0314今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b8c-Fhx2)
2023/10/18(水) 19:54:45.08ID:FzlevhBm0315今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ d980-7koX)
2023/10/18(水) 21:51:58.24ID:jQ/yZton0 TensorRT-LLM for Windows
推論速度上がるの期待しとるで
推論速度上がるの期待しとるで
316今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ fbf5-/4nw)
2023/10/19(木) 03:41:46.42ID:uZ+Gjr8o0317今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1370-7fP9)
2023/10/19(木) 07:04:04.07ID:smTystBe0 Koboldのバージョンアップで対応してくれるのに期待
318今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1370-7fP9)
2023/10/19(木) 07:27:46.73ID:smTystBe0 「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明 目指すのは“GPT-3級の日本語LLM”
https://www.itmedia.co.jp/news/spv/2310/18/news121.html
175Bかい
https://www.itmedia.co.jp/news/spv/2310/18/news121.html
175Bかい
319今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 71d0-g6Gz)
2023/10/19(木) 08:20:03.87ID:Kv8jjL7R0 一桁小せえよな
320今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8bf0-iZeJ)
2023/10/19(木) 09:33:22.50ID:KcOi4sNe0 最近ファインチューニングに向けて準備してるけど、ぶっちゃけウィキペディア全部学習させればかなり賢くなるんじゃないのか
321今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 294a-Def0)
2023/10/19(木) 09:38:27.65ID:ZxDwY0T90 wikipediaは間違いとデマの巣窟なので
誤ったことをさも事実っぽく返してくる厄介なチューニングになってしまう
誤ったことをさも事実っぽく返してくる厄介なチューニングになってしまう
322今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0b40-7/5R)
2023/10/19(木) 09:42:33.07ID:kEsV8xmS0 ウィキペディア学習はもうやってる
むしろ日本語学習に使えるデータが足りんって聞いたな
むしろ日本語学習に使えるデータが足りんって聞いたな
323今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3902-+yyM)
2023/10/19(木) 09:52:33.17ID:V/m+IVwg0 dlsiteのライブラリに数多に存在する同人エロ音声の台本群を
324今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0ba7-394k)
2023/10/19(木) 10:29:21.01ID:VUkoAfJR0 初手アヘりそう…(偏見)
325今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 73fe-FTw+)
2023/10/19(木) 10:29:30.51ID:dJUkQXRM0 >>319
gpt3って165bじゃなかった?
gpt3って165bじゃなかった?
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【フジ】中居正広氏の代理人弁護士が第三者委員会報告に反論「性暴力の実態は確認できず」★6 [Ailuropoda melanoleuca★]
- 【フジ】中居正広氏の代理人弁護士が第三者委員会報告に反論「性暴力の実態は確認できず」★5 [Ailuropoda melanoleuca★]
- 【滋賀】量販店前ですれ違いざまに27歳妊婦を殴った疑い、42歳無職男を逮捕 胎児は無事 女性はとっさに腕で腹部をかばう [ぐれ★]
- 中居正広氏 守秘義務解除を提案していた! 約6時間のヒアリングにも誠実に対応 [ひかり★]
- 渡邊渚、「精神科に入院していた頃のこと…私は胸の傷が痛すぎて、何も感じられない。生きる喜びなんてどこにあるのか、わからなかった」 [muffin★]
- 政党支持率 自民26.4% 立民7.6% 国民7.2% 支持なし38.2% NHK世論調査 [少考さん★]
- ▶兎田ぺこらの中身とちゅーしたいよな
- 【速報】小児ガンなのに任天堂に見捨てられたガキ、昏睡状態に陥る [757440137]
- 「安倍晋三!」って電車の中で叫んだらみんな車両変更しだしてワロタ どんだけ嫌われてたんだあいつ [175344491]
- 【悲報】公務員の名札、本名とは別に「ビジネスネーム」OK カスハラ対策 [966044473]
- 【悲報】急に筋トレを始めるおっさん、「筋トレ中年おじさん」、社会問題にwwwwwwwwwwwwww [308389511]
- 【悲報】セブンイレブンさん渾身の「お値段そのまま増量祭」検証されてしまう [412290841]