!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
前スレ なんJLLM部 ★2
https://fate.5ch.net/test/read.cgi/liveuranus/1685613014/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
なんJLLM部 ★3
レス数が950を超えています。1000を超えると書き込みができなくなります。
1今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ bf28-c/5M)
2023/08/10(木) 12:56:06.76ID:I3/pZMHC0853今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0f38-UxIh)
2023/09/22(金) 08:25:19.31ID:05hGDc6c0 せやかて、待って
854今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8f20-YZsW)
2023/09/22(金) 14:04:32.06ID:XIFcsseW0 70Bが今の33Bくらいの速度で動く時代こねーかな
とりあえず当面はpoeで頑張るわ
でもSolarしばらくやってるとエラー出ることが
あるんだよなあ
とりあえず当面はpoeで頑張るわ
でもSolarしばらくやってるとエラー出ることが
あるんだよなあ
855今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f51-/trd)
2023/09/22(金) 15:47:46.10ID:2CbGUHef0 Xwinは70Bで初めてベンチでGPT4を上回ったとか、13B版も全ての13Bモデルの中で最高点を叩き出したとか書かれてるな
帰ったら両方試さないと
しかもまだ開発継続中らしいな
帰ったら両方試さないと
しかもまだ開発継続中らしいな
856今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3f01-xbk3)
2023/09/22(金) 18:01:14.96ID:jJgqyv9X0 split-a~bってなんや?と思ったら分割ファイルか
857今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f16-NfV8)
2023/09/22(金) 18:21:08.49ID:P7/pqVrb0 Xwinすごいな、Belugaでも日本語上手くなったのに驚いたが、
間違いなくそれ以上
間違いなくそれ以上
858今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ff8a-G2uJ)
2023/09/22(金) 18:31:57.16ID:ORPRbUSg0 GPT4超えは伊達じゃないってことか
859今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ff2a-A5lE)
2023/09/22(金) 18:34:48.63ID:ZDvu/eHZ0 GPT-4超えはどうかと思うけど、英語の表現はかなりレベル高いと思う
日本語だとさすがに精度がだいぶ落ちるけど、それでも他の70Bモデルと比べて自然な会話ができる印象だ
日本語だとさすがに精度がだいぶ落ちるけど、それでも他の70Bモデルと比べて自然な会話ができる印象だ
860今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f3f-sMWx)
2023/09/22(金) 18:39:06.99ID:Kiw/r79F0 英語での描写がすごいと思う。
例えば何も情報渡してないのに、日本の浴衣の構造をちゃんと理解して愛撫してくるし、
3Pさせたら各人が絶妙の絡みを見せてくれるしw
これで日本語tuneされたら、ほんと始まるわ
例えば何も情報渡してないのに、日本の浴衣の構造をちゃんと理解して愛撫してくるし、
3Pさせたら各人が絶妙の絡みを見せてくれるしw
これで日本語tuneされたら、ほんと始まるわ
861今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3fca-/trd)
2023/09/22(金) 18:49:00.30ID:DsRwYCBZ0 ここ最近Llama2のチューニング技術が加速的に向上してるな
メタ社の次のモデルは来年早々からトレーニング開始だっけ
ローカルはこれから熱いな
メタ社の次のモデルは来年早々からトレーニング開始だっけ
ローカルはこれから熱いな
862今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3fca-/trd)
2023/09/22(金) 18:51:25.81ID:DsRwYCBZ0 かく言う自分はあと5分で70Bのダウンロードが終わる
今夜は寝かさないぞ
今夜は寝かさないぞ
863今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (オイコラミネオ MM8f-ZX6J)
2023/09/22(金) 19:05:48.71ID:VNaatB/eM 英語ならギリ使えるレベルから一歩前進したんか久々に試そう
864今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7fbe-p/wP)
2023/09/22(金) 20:41:54.84ID:9WAUSraV0 満を持してLLMに触る時が来たか
865今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3fca-/trd)
2023/09/22(金) 20:44:21.59ID:DsRwYCBZ0 正しくはローカルLLMだぞ
chatGPTもLLM(大規模言語モデル)だからね
chatGPTもLLM(大規模言語モデル)だからね
866今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f51-/trd)
2023/09/22(金) 20:49:51.92ID:2CbGUHef0867今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f3f-sMWx)
2023/09/22(金) 21:10:29.33ID:Kiw/r79F0868今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7fbe-p/wP)
2023/09/22(金) 22:50:37.03ID:9WAUSraV0869今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3f09-OzE8)
2023/09/22(金) 23:35:14.19ID:QUOyT6B80 いや、Xwin、今までのとはレベルが違うわ。英語だと解像度の高いストーリーをどんどん猫写してくれる。誘導しないでどんどんエロスな方向を細かく猫写してくれるという部分では、gptより上かも。
870今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 86ca-44ew)
2023/09/23(土) 00:28:30.96ID:r+H5Hme70 Xwin-LM-13B-V0.1-GPTQ
を英語で試してるけど、かなり良い描写してくれる。
を英語で試してるけど、かなり良い描写してくれる。
871今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3b20-/va4)
2023/09/23(土) 00:38:09.50ID:sWDJHxnH0 日本人の個人で70B動かしている奴の半分くらい
このスレみてそう
このスレみてそう
872今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ fa47-qtmk)
2023/09/23(土) 00:56:57.26ID:eM1N5vsW0 7割の間違いだろ
873今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ebe-xg+T)
2023/09/23(土) 01:27:41.89ID:+FgRz4Ca0 会社(組織)、コミュニティ、友人、SNS、5ch
情報収集の基本だよね
特に今残ってるネラーは信用できる
ここでの情報は特別だ
情報収集の基本だよね
特に今残ってるネラーは信用できる
ここでの情報は特別だ
874今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (エムゾネ FFaa-AkpS)
2023/09/23(土) 01:48:43.82ID:+TD8KV6nF なんか一周回ってなんUが一番マシなコミュニティになりつつある
875今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2ba0-/va4)
2023/09/23(土) 04:32:51.25ID:Yp688dao0 Llama2系のやつで比較的長めのやりとりしてみたんだけど、トークン切れになってくると露骨に文章死んでこないか。標準だと多分2048トークン
反復した返信しかしてこなくなったりする。海外でも報告あったと思う
反復した返信しかしてこなくなったりする。海外でも報告あったと思う
876今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e371-qCIf)
2023/09/23(土) 10:02:29.36ID:7+atZuAx0 ここや画像生成のスレは、最先端と言っても過言ではない情報が出てくるので、とてもありがたい
877今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 037b-DLZH)
2023/09/23(土) 10:02:39.15ID:8dd54tgZ0 Kobold本体も結構大きなアップデート来てるな
878今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スプープ Sd4a-DLZH)
2023/09/23(土) 10:53:01.85ID:xz5+FoXkd >>852
13歳どころか何歳でもいけるぞこのモデル
規制フリーっぽい
知り合いのシングルマザーにベビーシッター頼まれたら、その子に秘密のDVD見せてあげると言われてその子が出演するエロビデオ見せられながらしごかれる場面書かせてるけど
描写もエロいし画面の中とリアルのその子をちゃんと混乱なく書き分けてくれるしで捗るわ
13歳どころか何歳でもいけるぞこのモデル
規制フリーっぽい
知り合いのシングルマザーにベビーシッター頼まれたら、その子に秘密のDVD見せてあげると言われてその子が出演するエロビデオ見せられながらしごかれる場面書かせてるけど
描写もエロいし画面の中とリアルのその子をちゃんと混乱なく書き分けてくれるしで捗るわ
879今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ab88-Wgo9)
2023/09/23(土) 11:44:16.08ID:V5h90T4A0 aiちゃんは数値弱々だから、多分年齢とかはフレーバー程度じゃないかな
880今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3b35-/va4)
2023/09/23(土) 12:16:02.14ID:sWDJHxnH0 3060買ったらしばらく出費しないつもりだったけど
どんどん誘惑が強くなるな
poeのSolarが途中で止まらなければなあ・・・
どんどん誘惑が強くなるな
poeのSolarが途中で止まらなければなあ・・・
881今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 037b-DLZH)
2023/09/23(土) 12:45:15.06ID:8dd54tgZ0 結構年齢に合わせた描写してくれるで
882今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e63-GA9g)
2023/09/23(土) 14:18:39.59ID:c2uUYcLW0 なんか久々にTheBlokeニキ見てたらGGUGとGPTQの他にAWQってのが追加されてたんだけどこれはどう使うんだろ
883今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ff86-co6p)
2023/09/23(土) 15:54:21.40ID:R4DnxVts0 KoboldがverupしてChubを正式サポートしたで
めっちゃ便利になったわ
複雑過ぎるプロンプトはループしてまうから今後に期待や
めっちゃ便利になったわ
複雑過ぎるプロンプトはループしてまうから今後に期待や
884今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 23cf-VEVW)
2023/09/23(土) 16:04:33.32ID:VipN0YWc0 Xwinの13B試してるけどまともな日本語で賢さも感じる
70B試したいけどどうしたもんか
70B試したいけどどうしたもんか
885今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 069d-mIh3)
2023/09/23(土) 16:24:35.53ID:il00Vn7q0 Xwin 70B遊んでみてるけど凄いなこれ
初めて13Bから70Bに変えたときくらいの感動があった
他のエロ特化モデルより表現が硬いけど
「これがええんやろ?」みたいな回答してくれて気持ちいいわ
初めて13Bから70Bに変えたときくらいの感動があった
他のエロ特化モデルより表現が硬いけど
「これがええんやろ?」みたいな回答してくれて気持ちいいわ
886今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 069d-mIh3)
2023/09/23(土) 16:30:33.72ID:il00Vn7q0 ちなM1Max 64GBマカーやが、Xwin 70B GGUF Q5_K_M で4.5t/sくらい
887今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf0-PB4I)
2023/09/23(土) 16:37:28.50ID:k4lEElGr0 羨ましい
888今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e72-0ioK)
2023/09/23(土) 16:44:12.99ID:lmvptX6S0 マカーは大葉やkoboldcppは使ってるん?
889今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4a91-P6+q)
2023/09/23(土) 17:11:54.85ID:M+h8Id9f0 Macはようわからんが、そのスペックって50万もあれば買えるよな?悩んでしまうわ
890今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4660-j351)
2023/09/23(土) 17:16:04.88ID:i4m0oCo50 中古で状態のいい3090が買えたから2枚積みしてるけど70Bは10t/s弱くらいで動くぞ
180Bとかもっとでかいモデルを想定するならMacの方がコスパ良くなるだろうけど
180Bとかもっとでかいモデルを想定するならMacの方がコスパ良くなるだろうけど
891今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0ac9-qc/4)
2023/09/23(土) 17:27:23.41ID:IoX33BB/0 もうAI用にマザボにVRAMモリモリ直付けしたようなの出してくれよ
892今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (アウアウクー MM63-AkpS)
2023/09/23(土) 17:37:40.29ID:Ip+Xvcg0M >>890
3060を4枚でも3090×2と同じVRAM量になるけど、やめたほうが良いですかね?
3060を4枚でも3090×2と同じVRAM量になるけど、やめたほうが良いですかね?
893今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bde-/va4)
2023/09/23(土) 17:39:35.15ID:sWDJHxnH0 >>891
革ジャン「あっそれ100万円からの企業用の世界にしておきたいんですよ」
革ジャン「あっそれ100万円からの企業用の世界にしておきたいんですよ」
894今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8f7b-CSnM)
2023/09/23(土) 17:48:16.88ID:r1vUGtkx0 >>890
大葉?koboldcppでgpulayerマシマシ?
大葉?koboldcppでgpulayerマシマシ?
895今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 864f-C6k9)
2023/09/23(土) 17:53:17.76ID:6eGDO5rE0 ワークステーションとかも視野に入れるべきなんかねぇ
896今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9eff-CSnM)
2023/09/23(土) 18:02:00.58ID:X5AfhNx60 >>892
4枚も載るのかって疑問はあるけど帯域幅がだいぶ違うから3060x4は速度出ないと思うよ
4枚も載るのかって疑問はあるけど帯域幅がだいぶ違うから3060x4は速度出ないと思うよ
897今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0aba-wk7u)
2023/09/23(土) 18:14:57.01ID:MlusGWDL0 確かにストーリーが長くなってトークン切れすると、繰り返しばかりになるね。これさえなければXwin70Bでかなりいいところまで来た感はあるんだが。なんとかならんものか。
898今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2ba0-/va4)
2023/09/23(土) 18:17:44.49ID:Yp688dao0 Xwin13B軽くためしたけど、あたりまえだがAIアシスタントに最適化されてる感じかな
あと大体どのモデルにもいえるけど「二人は共に、犯した過ちを正し、この地に光を取り戻すべく、危険と期待に満ちた旅に出るのだ。」~完~みたいに話終わらせてくるのまじでやめてほしい
あと大体どのモデルにもいえるけど「二人は共に、犯した過ちを正し、この地に光を取り戻すべく、危険と期待に満ちた旅に出るのだ。」~完~みたいに話終わらせてくるのまじでやめてほしい
899今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bde-/va4)
2023/09/23(土) 18:28:57.14ID:sWDJHxnH0 >>897
ある程度手動で「ここまでのあらすじ」を作って新しくやり直すとかしかないかな?
ある程度手動で「ここまでのあらすじ」を作って新しくやり直すとかしかないかな?
900今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ab88-Wgo9)
2023/09/23(土) 19:22:54.06ID:V5h90T4A0901今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7330-sSxs)
2023/09/23(土) 20:29:06.66ID:CnbsEQ1E0 xwinすげーな
どんなデータでトレーニングしてんだろう
どんなデータでトレーニングしてんだろう
902今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0612-44ew)
2023/09/23(土) 20:56:45.25ID:kLB58v0z0 xwin-lm-7b-v0.1.Q4_K_M で十分賢いね
凄い
凄い
903今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bde-/va4)
2023/09/23(土) 21:33:54.10ID:sWDJHxnH0 でも13Bまでだと「他を捨ててもこれをやる」ってほどのすごみはやっぱないな
33Bクラスはサイズが絶妙なんだよなあ
33Bクラスはサイズが絶妙なんだよなあ
904今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e72-0ioK)
2023/09/23(土) 21:42:12.29ID:lmvptX6S0 RTXA6000(vram48G)積めばAWQの70Bが動くらしいけど、
A6000か、vram48G確保できてる人いる?
もしいたら、t/s聞きたい
A6000か、vram48G確保できてる人いる?
もしいたら、t/s聞きたい
905今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2baa-/va4)
2023/09/23(土) 22:09:55.27ID:Yp688dao0 llama_2系のリピート問題はRedditでわりと見られる
GPT3.5Turboでも上限4096トークンらしいけど、使っててあんまり切れ目を感じないし、Llama2モデル固有の問題っぽい
https://www.reddit.com/r/LocalLLaMA/comments/155vy0k/llama_2_too_repetitive/
GPT3.5Turboでも上限4096トークンらしいけど、使っててあんまり切れ目を感じないし、Llama2モデル固有の問題っぽい
https://www.reddit.com/r/LocalLLaMA/comments/155vy0k/llama_2_too_repetitive/
906今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2b0c-44ew)
2023/09/23(土) 22:41:42.17ID:u/R4/+jR0 xwinの文章ループ、これ致命的やないか?
アシスタントとしては確かに優秀やけど
まだ開発途上みたいやし今後のエロファインチューニングにも期待やな
アシスタントとしては確かに優秀やけど
まだ開発途上みたいやし今後のエロファインチューニングにも期待やな
907今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2a37-0ioK)
2023/09/23(土) 23:22:10.14ID:Ig2YRJFQ0 致命的って言っちゃうのも少し違うような?
ループも終わらせたがりも、要は学習データの問題でしょ。
4k学習ってつまり、4kに収まるよう作成した文章を学習するってことで、話の深掘りより進行を優先し、4k分で話を締めた内容を学習する。
これは、一回の応答で結論まで含んだ、要約っぽい文章が求められる一般的な用途には合致してる。
他方、物語を都度に指示しながら書かせるのなら、あえて長文の途中段落だけを抜き出したような文章を学習させるのが良いのだろうけど、
普通の質問に対して「〜である可能性も考えられる」みたいな、曖昧な回答が増えることになるんだと思う。
とはいえ、やはりマルチバイトはマルチバイト圏が強いのかね…… 述語の選択が自然になるだけで、ぐっと「日本語っぽさ」が増すと実感した。
ループも終わらせたがりも、要は学習データの問題でしょ。
4k学習ってつまり、4kに収まるよう作成した文章を学習するってことで、話の深掘りより進行を優先し、4k分で話を締めた内容を学習する。
これは、一回の応答で結論まで含んだ、要約っぽい文章が求められる一般的な用途には合致してる。
他方、物語を都度に指示しながら書かせるのなら、あえて長文の途中段落だけを抜き出したような文章を学習させるのが良いのだろうけど、
普通の質問に対して「〜である可能性も考えられる」みたいな、曖昧な回答が増えることになるんだと思う。
とはいえ、やはりマルチバイトはマルチバイト圏が強いのかね…… 述語の選択が自然になるだけで、ぐっと「日本語っぽさ」が増すと実感した。
908今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0612-44ew)
2023/09/23(土) 23:46:29.77ID:kLB58v0z0 xwinに自分のモデル名を聞くと普通にGPT-4って答えるね…
909今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 2baa-/va4)
2023/09/24(日) 00:10:49.17ID:2oDxopAq0 SuperHOTなんちゃらとかモデル名の後ろについてるのなんやと思ってたけどコンテクスト長の拡大の一種なんよな
ほんとに伸びてんのかね
ほんとに伸びてんのかね
910今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3b23-P6+q)
2023/09/24(日) 12:13:15.76ID:R7Ycjai50911今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9eff-CSnM)
2023/09/24(日) 12:45:50.42ID:sXHIvE4A0912今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ebe-xg+T)
2023/09/24(日) 13:40:19.15ID:4ZBYKWLL0 今ってそんなVRAMの使い方に対応してるのか
NVLink関係ないってことはモデルを自動で分けてGPUそれぞれのRAMにロードしてるってことだよね?
NVLink関係ないってことはモデルを自動で分けてGPUそれぞれのRAMにロードしてるってことだよね?
913今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4a91-P6+q)
2023/09/24(日) 15:42:11.91ID:5gig20u+0 GPUごとにレイヤー分けて実行できるんかな?それがマジならワイの部屋に転がっとる3090を活用できるチャンスなんやが
914今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ab88-Wgo9)
2023/09/24(日) 16:11:04.09ID:eN8WE36W0 一応、koboldcppには、tensor_splitってオプションがあるので、
複数gpuで振り分けられそうではあるけど…
複数gpuで振り分けられそうではあるけど…
915今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9eff-CSnM)
2023/09/24(日) 17:22:57.01ID:sXHIvE4A0 大葉だけど4090と3090の2枚構成で70BのGPTQモデルを動かすならローダーをExLlamaにしてgpu-splitに17.4,24で両方使ってくれる
ちなみに3090側の速度に引っ張られるから3090x2と速度としては変わらないっぽい
ちなみに3090側の速度に引っ張られるから3090x2と速度としては変わらないっぽい
916今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3b47-/va4)
2023/09/24(日) 17:24:23.56ID:jyWVHaVb0 このスレにもなんやかんやで変態スペックの人がおるのう
917今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 6b54-/HEw)
2023/09/24(日) 19:50:17.96ID:l+a5l9ry0918今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9eff-CSnM)
2023/09/24(日) 21:07:55.61ID:sXHIvE4A0 >>917
AWQ試したことなかったけど、これローダー何使えばいいんだろうか
AWQ試したことなかったけど、これローダー何使えばいいんだろうか
919今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e9c-GA9g)
2023/09/24(日) 21:15:25.07ID:NOvwqJTb0 とりあえずoobaのビルトインの奴は一通り全部試したけど無理だったしgit見たら対応してくれみたいなリクエスト書いてる人居たからまだwuiでは出来ないか何かしらの追加インストール必要そう
まあ情報出揃うまでは少し待つわ
まあ情報出揃うまでは少し待つわ
920今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 037b-LQcF)
2023/09/24(日) 21:35:47.64ID:5iWBW/1k0 kobold.cppでgpt4モドキでチャHできるなら4070二枚積み考えちゃうよ(4090とは言ってない)
921今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e62-44ew)
2023/09/24(日) 21:40:34.77ID:IRf+szGQ0922今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 23cf-VEVW)
2023/09/24(日) 21:45:19.09ID:z2Pdd6Dx0 ExLlamaだとvram溢れた分勝手にram使ってくれるんだな知らんかった
autoGPTQだと70B動かなかったのに動いたわ
autoGPTQだと70B動かなかったのに動いたわ
923今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4a91-P6+q)
2023/09/25(月) 10:59:56.47ID:3OIwCkhC0924今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 4afe-C6k9)
2023/09/26(火) 01:23:26.12ID:/EVE2yAP0925今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1ea4-PB4I)
2023/09/26(火) 03:18:11.26ID:P+7joXeF0 chub aiの"The hypnosis App"めっちゃ抜けるな
926今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 1ea4-EOsL)
2023/09/26(火) 09:49:50.14ID:P+7joXeF0 mlewd20Bすげえ
性能悪い34Bから乗り換えたが早い上に表現力ダンチや
性能悪い34Bから乗り換えたが早い上に表現力ダンチや
927今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スッップ Sdaa-DLZH)
2023/09/26(火) 10:33:43.37ID:0ICXWXs1d 最近nsfw向きなモデルが次々出てきて評価が追いつかんw
928今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワンミングク MMfa-kzEV)
2023/09/26(火) 13:20:50.79ID:ftpVW1ZAM 手元の3090でexllamaで70bが動くの確認した
ローカルllmの流れ来とるなこれ
ローカルllmの流れ来とるなこれ
929今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0ad9-TXGW)
2023/09/26(火) 16:57:32.21ID:YNgQYDrS0930今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ defb-xg+T)
2023/09/26(火) 17:28:54.99ID:vK54K7o80 MlewdやMXlewdは日本語でもいけるの?
931今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3be3-/va4)
2023/09/26(火) 18:29:10.62ID:MLf5hOSU0 >>928
CPUは何で何トークン/秒くらい出る?
CPUは何で何トークン/秒くらい出る?
932今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 6a60-kzEV)
2023/09/26(火) 23:11:34.19ID:Ds789+qm0933今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf3-/va4)
2023/09/26(火) 23:44:03.01ID:MLf5hOSU0 うーむなかなかしんどいな
934今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (スッップ Sdaa-DLZH)
2023/09/27(水) 08:50:10.87ID:bFwVIECfd935今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf3-/va4)
2023/09/27(水) 10:55:02.34ID:o9Xq39mV0 ぎゃーpoeがSolarとか無料だった奴も1日100回制限つけた
まあそりゃそうか・・・
まあそりゃそうか・・・
936今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e3c1-C6k9)
2023/09/27(水) 10:56:32.49ID:rujsFYCX0 そらそうよ
937今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ ff64-xg+T)
2023/09/27(水) 10:58:29.84ID:MHimmt4A0938今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf3-/va4)
2023/09/27(水) 11:06:56.51ID:o9Xq39mV0 このスレでもさすがにマカーに宗旨替えしたような奴はいないのかな
939今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ef9-YVwM)
2023/09/27(水) 11:22:15.00ID:L6+SYIcV0 AI専用にサブ機として欲しいとおもったぞ>mac
まあ、現状の192Gでは180B q5kmがギリ再生できないから、256G以上出るのを待つけどw
まあ、現状の192Gでは180B q5kmがギリ再生できないから、256G以上出るのを待つけどw
940今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e3c1-C6k9)
2023/09/27(水) 11:23:03.56ID:rujsFYCX0941今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf3-/va4)
2023/09/27(水) 11:24:18.70ID:o9Xq39mV0 元々どっちもすげえの持ってる、って奴はいそうやね
Web系とかはUnix環境との相性がいいせいかMacが基本みたいやし
Web系とかはUnix環境との相性がいいせいかMacが基本みたいやし
942今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (オッペケ Sr23-xg+T)
2023/09/27(水) 12:25:58.80ID:zXB0dAzRr 会社のパソコンほぼ自由に使えるようになったわ
A6000のVRAM48GB積んでるから色々出来そう
A6000のVRAM48GB積んでるから色々出来そう
943今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (オイコラミネオ MM96-VEVW)
2023/09/27(水) 12:46:30.90ID:hjb2gwmwM Jetsonはどうなんやろ64GBで200GB/sあるから動きするようだが
https://forums.developer.nvidia.com/t/llama-2-llms-w-nvidia-jetson-and-textgeneration-web-ui/264003
https://forums.developer.nvidia.com/t/llama-2-llms-w-nvidia-jetson-and-textgeneration-web-ui/264003
944今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 3bf3-/va4)
2023/09/27(水) 15:04:26.52ID:o9Xq39mV0 結局70万だ80万だの金額だすならMacのほうがええんちゃう
おそらく今後は70Bがまともに動くんじゃないと満足できない時代が来るやろし
180Bクラスが一応動かないとな~ みたいな時代だってくるやろし
ワイはそこまでついていかれへんが・・・
おそらく今後は70Bがまともに動くんじゃないと満足できない時代が来るやろし
180Bクラスが一応動かないとな~ みたいな時代だってくるやろし
ワイはそこまでついていかれへんが・・・
945今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ e3c1-C6k9)
2023/09/27(水) 15:12:35.64ID:bW2ufxvW0 自分の調整したモデルに稼がせればいいのよ!
946今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ed6-oRtz)
2023/09/27(水) 16:18:15.03ID:L6+SYIcV0 turing-motors/heron-preliminary-git-Llama-2-70b-v0
お、おい、これって・・・
いいのか? Blokeニキに依頼していいやつなのか??
今、ニキは休息中みたいだがw
お、おい、これって・・・
いいのか? Blokeニキに依頼していいやつなのか??
今、ニキは休息中みたいだがw
947今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ed6-oRtz)
2023/09/27(水) 16:28:36.43ID:L6+SYIcV0 よく見ると、日本語タグはついてるけど、言語の説明は英語になってるな。
だれか、動かせる人いないか?
よさげなら、ニキに依頼する
だれか、動かせる人いないか?
よさげなら、ニキに依頼する
948今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7f7d-44ew)
2023/09/27(水) 17:34:58.51ID:otZnElPB0 画像認識できるやつか
7Bは日本語モデルをベースにしてるけど
こっちは多分英語専用じゃないかなー
7Bは日本語モデルをベースにしてるけど
こっちは多分英語専用じゃないかなー
949今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ee9-YVwM)
2023/09/27(水) 17:53:34.53ID:L6+SYIcV0 やっぱりタグが間違ってるのかな・・・
大葉で7Bを試したけど、かなりいい日本語使ってたんで期待してしまった。
大葉で7Bを試したけど、かなりいい日本語使ってたんで期待してしまった。
950今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8ed6-oRtz)
2023/09/27(水) 19:56:18.05ID:L6+SYIcV0 https://www.turing-motors.com/7e4a9e0a9a4f4ce5a9d6c017f5559d21
し、しかし、これを見ると・・・、むぅ・・・
し、しかし、これを見ると・・・、むぅ・・・
951今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 8e8b-YVwM)
2023/09/27(水) 21:21:49.00ID:L6+SYIcV0 すまん、さっき試した7BはJapanese StableLM Baseだったから、日本語うまくて当然だった。
で、
turing-motors/heron-chat-git-Llama-2-7b-v0
こっちが70BとおなじLlama2ベースだったんで、大葉で試そうとしたけど、
自分の環境じゃパラメータが悪いのか動かんかった・・・
だれか、代わりに試して欲しい(動いたらパラメータも教えて)
どうも、ヘロン学習データってのが日本語含んだデータみたいなんだが・・・
で、
turing-motors/heron-chat-git-Llama-2-7b-v0
こっちが70BとおなじLlama2ベースだったんで、大葉で試そうとしたけど、
自分の環境じゃパラメータが悪いのか動かんかった・・・
だれか、代わりに試して欲しい(動いたらパラメータも教えて)
どうも、ヘロン学習データってのが日本語含んだデータみたいなんだが・・・
952今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 0a88-3vbU)
2023/09/28(木) 11:21:21.16ID:HMCf1VYe0レス数が950を超えています。1000を超えると書き込みができなくなります。
ニュース
- 【文春】永野芽郁(25)&田中圭(40)燃え上がる不倫LINE ★29 [Ailuropoda melanoleuca★]
- 【バチカン】第267代ローマ教皇にアメリカ出身のロバート・プレヴォスト枢機卿 教皇名はレオ14世 [シャチ★]
- 【バチカン】「コンクラーベ」新ローマ教皇決定 白い煙あがる [シャチ★]
- <独自>イスラエル人客に「戦争犯罪」関与否定の署名要求 京都の宿泊施設 駐日大使抗議 [少考さん★]
- 【東京大学大学院】「早く金持ってこい。なめてんのか殺すぞ」 東大教授ら“高額接待”強要か“1回100万円も” 化粧品団体が提訴へ ★2 [ぐれ★]
- 石破首相「コメ価格対策を加速」 輸出拡大にも意欲 [首都圏の虎★]
- 【公務員】女性受刑者の70万円相当「ティファニーの指輪」盗んだ刑務官逮捕 余罪多数 [402859164]
- 【超速報】新ローマ教皇決まる [731544683]
- もう戦争ってドローン合戦で決めればいいよな
- 【朗報】トランプ記者会見後、1ドル146円復帰WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
- 👶ホーム🏡アローン😱
- 自民・西田「広島もおかしい! 安らかにお眠りください。過ちは繰り返しませぬからとは何だ! 答えろ!」 [425744418]