X

なんJLLM部 ★3

■ このスレッドは過去ログ倉庫に格納されています
1今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bf28-c/5M)
垢版 |
2023/08/10(木) 12:56:06.76ID:I3/pZMHC0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな

自薦・他薦のモデルやツールは>>2以降

前スレ なんJLLM部 ★2
https://fate.5ch.net/test/read.cgi/liveuranus/1685613014/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
752今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 10:13:49.49ID:AtNIacDL0
メモリ積んだら一応70Bは生成できたけど、くっそ遅い
13Bは15.59 tokens/sとかでるのに70Bになると1 tokens/s割ってくるし、生成まで300sとかかかるんだが
あれか、サクサク動かしてるやつはクラウドとかRTX3090二枚刺しとかXeonマシンとかゴリゴリのマシンで動かしてるのか
2023/09/15(金) 10:30:47.79ID:L2RFEVzf0
あるいはMacとか

https://twitter.com/ggerganov/status/1699791226780975439
https://twitter.com/5chan_nel (5ch newer account)
2023/09/15(金) 10:54:52.00ID:VDoGkwfc0
最新のPCに積まれてるDDR5でも、64GBのメモリからデータをすべて読み込むのに1秒かかるんだからCPUでどうにかなる問題ではない

メモリが数倍早いmacに注目されてるけどそのためだけに買うのは躊躇われるな
755今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 11:36:42.87ID:AtNIacDL0
ひえー180Bで6token/1sとかでとるやん
これがユニファイドメモリなるものか
2023/09/15(金) 11:43:14.81ID:XXfisNPMa
ULTRAとメモリの暴力
なおお値段
2023/09/15(金) 14:06:02.95ID:THiT3X6Or
まだまだ発展しそうだし64GBのメモリ注文したわ
来週から70Bガッツリ回すわ
2023/09/15(金) 16:48:41.61ID:Fx0NVQ3Qd
64GBおめ
2023/09/15(金) 17:22:49.61ID:dHtT1b9QM
そして70Bの遅さに泣くまでが1セット
760今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 17:25:14.43ID:6iblyzhC0
大丈夫、そのうち慣れる
今30Ｂのモデルで英語エロ書かせてるけど、早すぎて理解がおいつかんのだｗ
2023/09/15(金) 17:31:16.26ID:UXqDticN0
CPUも良くしたいよなー
762今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 17:36:30.58ID:6iblyzhC0
corei9の最高レベルのCPUだと70Bで何t/sになるんかな？
2023/09/15(金) 18:30:21.37ID:3zFh+JAlM
core i9 13900＋メモリ128G＋rtx4090
あたりがコンシューマレベルで揃えれる最高だろうか
これでllama70bがどれぐらいで動くのか俺も気になる
764今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ceff-I3sq)
垢版 |
2023/09/15(金) 18:33:56.51ID:T5gXp4J20
70Bなら4090+CPUより3090二枚差しのほうが遥かに早いはず
2023/09/15(金) 18:36:46.59ID:UXqDticN0
いまGPUの二枚差しってハードルどうなっているんやろ
数年前は普通に聞いた気がするけど最近全然聞かんような
2023/09/15(金) 18:45:50.35ID:wPgeNlqc0
ハードルもクソも無意味でFA
767今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 18:45:59.08ID:6iblyzhC0
GPUが速いのは分かるが、CPU+メモリで70Bがどのくらい速くなるか知りたい
2023/09/15(金) 19:23:10.21ID:ub6WyhrR0
それでも2T/sくらいじゃないかな
上の方の書き込みでMac使いのニキが5T/s超えてる話を聞いてのけぞったわ
2023/09/15(金) 19:28:16.27ID:ub6WyhrR0
>>750
普通の33Bだよ
日付が Jun 24 のやつ
40BはFalconのマージモデルとかじゃないか？
770今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 19:53:01.93ID:6iblyzhC0
>>769
wizardlm-30b-uncensored.ggml　これ？
uncensoredはこれとfalconのしか見つからなかった
2023/09/15(金) 20:16:18.78ID:ub6WyhrR0
https://huggingface.co/TheBloke/WizardLM-33B-V1.0-Uncensored-GGML
772今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 20:38:35.93ID:6iblyzhC0
>>771
すまん、見逃してた
サンガツ
773今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 21:52:01.38ID:6iblyzhC0
VRAMで１３B動かせる人、
lightblue/openorca_stx
これ試してほしい。日本語tuneされとる
774今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 21:55:37.35ID:AtNIacDL0
Redditで「22 個のコアを備えた古い Xeon E5-2696 v4 @ 2.2 GHz (オーバークロックなし) マシンは、12 個のコアを備えた私の AMD Ryzen 9 3900XT @ 4.2 GHz マシンより約 20% 高速です」とかを見たので、お値段を追求したAIマシン組むのもおもしろそうではある
( https://www.reddit.com/r/LocalLLaMA/comments/1441sw4/for_running_ggml_models_should_i_get_a_bunch_of/ )

最大メモリー帯域幅
Xeon E5-2699 v4｜76.8 GB/s
Core i9-13900K｜67.21GB/s
AMD Ryzen 9 3900XT｜ 51.2 GB/s

VRAM24GB持ちのTesla P40とかK80とかすごい安いけど、こいつらマザボにぶっ刺せば普通に推論に使えんのか?エンタープライズ製品まわりなんも知らんわ
2023/09/15(金) 21:57:42.48ID:7AFNYEMi0
素直に企業向けのワークステーション買った方が多分安い
2023/09/15(金) 22:56:52.90ID:wPgeNlqc0
どれだけ使うか知らんけど
燃費悪いぞXeonは
2023/09/16(土) 04:23:49.78ID:m1XG2iEp0
特定のキャラクターを演じるようにするにはスクリプトをプロンプトに入れろとChatGPTに言われたんだけど
大量の設定をいちいちプロンプトに入れるのは嫌なんだけど
他に方法ないんかな
2023/09/16(土) 06:00:50.85ID:+W21GtIR0
ここはchatGPTの話題は禁止というわけじゃないけどローカルLLMの話題が中心なので他のスレの方が答えてもらえると思うぞ

Chat GPTで終わってる使い方するスレ 2
https://mevius.5ch.net/test/read.cgi/esite/1691938587/

【AI】ChatGPTでオナニー ★14
https://mercury.bbspink.com/test/read.cgi/onatech/1693038524/
2023/09/16(土) 06:32:38.49ID:aiENCOO50
AIちゃん、〇〇のキャラクターとチャットするためのpromptを書いて
というpromptを書く、とか？

うちは英文章書く練習と思っていろいろ英語でprompt書いてみてる
aiちゃんは顔しかめたりしないから楽だ
2023/09/16(土) 07:51:22.89ID:7whY1ao10
GPT4では見た目、性格、経歴、ユーザーとの関係、発言数個ぐらいは入れた方が再現されやすいよ

Koboldは…chatにして最初はこちらがeditして雰囲気で書かせてから始めるから、W infoとかmemoryとかさっぱりだ…
781今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 08:24:10.52ID:vtAdSvjO0
lightblue/openorca_stx
とりあえずBloke先生に依頼出しておいた。
VRAM24G欲しいのぉ
782今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff02-Pa4f)
垢版 |
2023/09/16(土) 08:30:16.54ID:EM053oAI0
肌地黒で親土木やらの底辺労働者のガキは恥ずかしくないのかな？ｗ
2023/09/16(土) 09:41:50.70ID:m1XG2iEp0
>>778
いやchatGPTにLLMで会話風にするやり方を聞いただけで、たぶんどのLLMでもやり方は同じなんだと思う

>>779
ずっとAIに会話させたいのに、いちいちプロンプトにスクリプトなんて書いてられないって話
コンテキストではだめって言われた
2023/09/16(土) 09:45:13.90ID:YFKBCbqKM
>>780
w infoで設定モリモリにすると捗るぞ
性癖ドンピシャのオリキャラ設定をかなり忠実に反映してくれる
2023/09/16(土) 13:24:08.28ID:OnAsru1+r
w infoに入れてても全然関係ないキャラ出されること無い？
あんま信用できないイメージなんだよな
2023/09/16(土) 13:30:05.95ID:aiENCOO50
contant key modeをenable にすれば、memory(prompt)に含まれるようになるから、全く知らん人が出ることは少なくなるかも。
787今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 14:01:50.79ID:vtAdSvjO0
Marcoroni-70B
ベンチで最高点出すだけあって、安定した文章出すな。
長くなっても同じ文を繰り返しすようなこともないし、日本語表現もいい。
2023/09/16(土) 15:52:24.60ID:OnAsru1+r
>>786
そうなのか！試してみる
789今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 16:19:35.73ID:vtAdSvjO0
おお！！
Bloke先生、もう依頼を受けてくれた！！　早い！
TheBloke/OpenOrca_Stx-GGUF
790今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf7b-YZsW)
垢版 |
2023/09/16(土) 16:37:36.28ID:gB+uw0kE0
>>789
マジか、依頼して上げてもらえるもんなやな
たすかる
791今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 16:41:23.21ID:vtAdSvjO0
うーん・・・・
ニキの手を煩わせる事はなかったデキだった・・・
13Bの日本語tuneってことで期待したんだが・・・( ;∀;)
792今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf7b-YZsW)
垢版 |
2023/09/16(土) 17:13:02.10ID:gB+uw0kE0
SORENA
ワシもためしたけど、できのいい13Bとか70Bのと比べるとアホっぽい回答しか得られんかった
ちな自分が日本語性能で今んとこ評価してるのはOpenBuddy-Llama2の13B-v11.1と70b-v10.1。ただし申し訳される
英語でチャットするならともかく、日本語に関してはリーダーボードみてもあんま意味なくて、日本語または多言語対応データセットをつかって学習させたか否かにかかってくる感じはある
2023/09/16(土) 18:30:44.93ID:T4ElA0QR0
ggufよりggmlほしいな
2023/09/16(土) 18:51:58.59ID:4qt1QICh0
kobold.cppが対応してるのになんか違いあるんか？
795今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 23:12:23.38ID:vtAdSvjO0
OpenBuddy-Llama2って、エロい事聞くと申し訳されるんで
そっちの評価はしてなかったんだが、なんとなく今試したら、以前申し訳されたお題がすんなり通ったｗ
なんか、コツでもあるんかな？
ちなみに結果は最高のデキやったわ(*'▽')
2023/09/17(日) 01:32:36.93ID:3WuRFqaB0
poeでsolar-0-70bっていうモデルが追加されたけど外人さんたちがgpt3.5並に使えるって色めき立ってる
日本語使えるのだけ確認したけどもう駄目めむい、任せた
https://www.reddit.com/r/ChatGPTNSFW/comments/16j6wvh/solar070b_nsfw_test_seems_ok_to_me/
2023/09/17(日) 02:14:03.87ID:mDVvGaus0
とりあえず官能小説ジェネレーターの英訳版入れたら
普通のシチュで申し訳はされんかったな

速度はそれなりにあるし、半端なローカルモデルで
遊ぶよりよさそう
2023/09/17(日) 09:51:59.48ID:raSbllaa0
複雑な日本語タスクの理解度もそこそこあるなこれ
2023/09/17(日) 16:45:19.13ID:mDVvGaus0
https://twitter.com/manjiroukeigo/status/1703303774759211183
わざわざMac買うならガチれと
https://twitter.com/5chan_nel (5ch newer account)
800今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-HrGy)
垢版 |
2023/09/17(日) 17:02:02.62ID:ozacn3PD0
mac買うなら192Gフルスペでしょう
でも256G以上欲しいから待つのもありかなと思ってる
2023/09/17(日) 19:38:58.94ID:mDVvGaus0
英語でいいから無料でエロチャとかエロ小説を手軽に書いてもらいてえ！　って奴は
poeのsolarがベストって時代来たかもなあ（もちろん官能小説ジェネレーターとか
ASMRジェネレーターの英訳版を入れる必要はあり）

まあちょっと前は3.5で似たようなことができたけど
802今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/17(日) 20:25:50.01ID:ozacn3PD0
upstage/SOLAR-0-70b-16bit
ニキのリクエストにはまだ載ってないな。
こうゆうのは優先的にやってくれてたんだが、何かあるのかな
2023/09/17(日) 20:36:46.23ID:raSbllaa0
ただ単に名前を変えただけでこれのことだ
https://huggingface.co/TheBloke/Upstage-Llama-2-70B-instruct-v2-GGUF
804今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜﾝﾐﾝｸﾞｸ MM9f-Mp0W)
垢版 |
2023/09/17(日) 20:47:32.51ID:Pf2JVni4M
>>685
ローカルの強みは規制逃れの試行錯誤どれだけ繰り返してもBANされるリスク無いことだからね
805今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/17(日) 20:59:43.87ID:ozacn3PD0
ああ、リネームだったのか。ニキのリンク先もそうなってるね
2023/09/17(日) 21:09:29.88ID:PgkRRmIi0
今ダウンロード中
ちょうど今日いい感じのエロ小説を別モデルで書かせてたから、同じプロンプトで比べてみよう
2023/09/17(日) 21:25:39.51ID:mDVvGaus0
どっちかっつーとpoeの計算資源使わせてもらえることのほうがでかいと思う
808今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-mbMR)
垢版 |
2023/09/17(日) 22:08:55.53ID:ozacn3PD0
いま、ローカルでテストしてるが、poeだと申し訳食らったお題でも、ローカルなら、sorryを消して了解しました。に変えるだけで書いてくれるから楽だわｗ
2023/09/18(月) 00:14:24.86ID:vCikYAiH0
ローカルだとほぼ規制無しだね
表現力も確かに高い
他のモデルだとこちらの指示に一直線に従うところ、色々な場面を挿入してくる
ローカルもここまで来たか、という感じだ
2023/09/18(月) 00:30:46.16ID:W7vGn/7Ea
出力形式縛ってゲーム形式もできる　Claudeは出来ないのに
これがローカルで動くとは始まったな
811今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H5f-mbMR)
垢版 |
2023/09/18(月) 16:54:56.30ID:5EY+r7wRH
GPTQの70B動かすのにPCスペックどれくらい必要？
2023/09/18(月) 17:50:32.31ID:xenICWPUH
通常のメモリが40GBくらいは最低要るんやからVRAMでも
同じ事ちゃう

家庭用PCでは相当変態的なことせんとほぼ無理ゲーやね
2023/09/18(月) 17:56:49.71ID:oYgvcVWPH
モデルサイズが最低要件じゃないの？
814今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H03-YZsW)
垢版 |
2023/09/18(月) 18:14:12.61ID:fG7eg/0YH
1枚でやろうとするとVram48GBレベルのやついるからTesla A100、Quadro RTX 8000、A 6000 Adaとかなっちゃう多分
RTX3090とかを2枚のっけて動かしてるやつもRedditでみかける。これでllama-70B モデル (4 ビット) 10 ～ 12 t/s らしい
2 台の P40 に分割して実行して4k コンテキストで 42GB を消費するらしい。これで3 ～ 6 t/s 。
2023/09/18(月) 18:35:29.64ID:xenICWPUH
70Bモデルからすらすら結果出してくれるpoeのsolarはえらいんよ
816今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H5f-mbMR)
垢版 |
2023/09/18(月) 19:56:25.13ID:5EY+r7wRH
winならRTXA6000(48G)あれば、4bitならいけるってことか。
macだとどうなんだろ
2023/09/19(火) 01:02:05.23ID:SHsjuFrA0
>>803
日本語だと出力速度が遅いから英語でしかやってないけど、このモデルすげえいい気がする。
なんかやたらと相手のことを気遣ったりする倫理的な部分も若干あるけど、今のところ無視できる程度
2023/09/19(火) 07:21:29.18ID:Alfe137Ed
早くtransformerの次の技術が実用化されて欲しいな
もっと軽く、もっと速く動作させる技術が出てくれば、さらに賢いモデルが実用的な速度で動くようになるだろう
なってください
2023/09/19(火) 07:31:02.44ID:et07+P+fH
https://twitter.com/ai_scholar/status/1703694095917748318?t=ycvApM0IIj78Nko1LtpvBg&s=19
いろいろと生えてきてはいるんだけど、現行の学習もあるし順繰りにしか進んでいかないんじゃないかな
https://twitter.com/5chan_nel (5ch newer account)
2023/09/19(火) 22:17:19.85ID:ffKXYLdw0
生成される文字が欠けるのは直せますか？
2023/09/19(火) 23:16:32.40ID:/Gh2b4qjH
まーた古い論文持ってきたなｗ
いつのやねーんｗ
2023/09/19(火) 23:52:39.94ID:VBNB8tby0
いうてRetNetの内容とか一部も理解できひんし
823今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4fae-a273)
垢版 |
2023/09/20(水) 00:08:56.42ID:/nK0fU7i0
30Bモデルで楽しんでるけど、アブノーマルなプレイになると精度落ちるなぁ
極端に女性優位の物を作成させると、いつのまにかcockが生えてきている
2023/09/20(水) 03:48:06.43ID:i2U+SUnu0
いまこんな感じの構成を考えてるんですが、ケチり過ぎかなぁ。激遅でも70B動いたら良いんですけど。GPUはstable diffusionが動けば良いので3060にしてるけど5万円プラスして4070にすべきかどうか。
https://imgur.com/a/4VUmnX8
2023/09/20(水) 06:54:01.62ID:uTu9J00t0
自作じゃなくて、企業向けので見積もってみてもいいかも
個人で１台でも買えるし
2023/09/20(水) 07:37:02.19ID:7fLL93tz0
メモリ１２８GBにしたけど、CPUけちったから、今度はCPUが遅く感じる
i9じゃないとダメか
827今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff24-A5lE)
垢版 |
2023/09/20(水) 08:01:33.70ID:dRGLXMiV0
70BとかCPUとメモリで処理するのは一応動きはするってだけでi9でもクソ遅いよ
2023/09/20(水) 11:33:26.84ID:WWEuOufmM
メモリの速度が最重要で他は割と適当でもいい感じか？
2023/09/20(水) 13:15:03.33ID:PIKgs9EC0
だから高額なMacが現状個人で手に入るものでは
一番ええわけやね

それだけのために買える奴は少ないやろが・・・
DTM勢とかならアリなんか？
2023/09/20(水) 13:17:08.45ID:PIKgs9EC0
おそらく最もエロいものを作っていくには「自由にストーリー考えて」じゃなくて
「シチュエーションや感情パラメータは決まっているから描写して」なんやけどな

シチュとか感情パラメータは昔ながらのif-thenプログラムのほうが上手くいくと思う
「○○という状況に応じて適切な描写とセリフを出せ」みたいの意外と粛々とできないのよな
2023/09/20(水) 16:12:24.73ID:i2U+SUnu0
i7 13700だと無理ですかね?プラス3万円でi9 13900Kにするべきか。

メモリはDDR5の6400MHz 64GBを検討してるんですが、周波数が生成速度にどれほど影響するのか疑問です。
2023/09/20(水) 16:26:39.50ID:7fLL93tz0
スピードを求めるならVRAMにしたら？
2023/09/20(水) 16:29:35.26ID:IV0DnqM60
70Bにもなるとメモリ帯域が足を引っ張ってる説が濃厚なのでメモリのランクは高いほど良くてCPUのランクは上げんでも良いということになる
ただ今後30Bぐらいで実用的になる可能性もあってその時はCPU優勢になるかもしれん
834今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff24-A5lE)
垢版 |
2023/09/20(水) 17:01:07.64ID:dRGLXMiV0
例えばRTX3090だと帯域幅は930GB/s、MacでM2Ultraだとメモリが脅威の800GB/s、Macが速いのはこの恩恵が大きい
通常のPCだとDDR5でデュアルチャネルでも80GB/sに届かないくらいなので
現状で70Bクラスのモデルに実用レベルの速度を求めるならGPUかMacかって話になる
2023/09/20(水) 17:08:04.42ID:7fLL93tz0
RTX3090×4とか金持ちはいいな
836今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 17:19:18.68ID:PURpKypH0
mac買うならM3で256G以上が出てからだな
2023/09/20(水) 17:19:26.25ID:PIKgs9EC0
>>834
あと一応poe
70Bの実用的なのを無料で使えるのはありがたいことやで
まあ3.5の規制がゆるかった頃はその上を行っていたわけやが
2023/09/20(水) 17:26:06.83ID:7fLL93tz0
高級ハードを買いあさるより、huggingfaceを有料でレンタルした方が安いってなんね？
839今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 17:42:44.32ID:PURpKypH0
>>834
VRAM並みの帯域があるなら、MACは画像系のSDXLとかにも有利だったりするのかな？
2023/09/20(水) 18:03:52.36ID:PIKgs9EC0
画像系つーても本当に1枚絵だすだけなら3060でも結構いけるからなあ
今流行ってきた動画系とかではアドバンテージありそう
841今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 18:08:49.20ID:PURpKypH0
SDXL用のLoRAとか作ろうとすると、VRAM12Gだとデフォルト設定で2日くらいかかりそうな感じ（2日じゃ終わらんかもしれん）
だったんで、MACで速くなるならLLM以外の用途もでてくるんで。
2023/09/20(水) 18:39:39.94ID:ZsCSOVcaM
>841
SDはハードウェア的にもソフトウェア的にもMacに最適化されてないから、メモリ速度の問題やないと思うで
2023/09/20(水) 18:49:02.07ID:IV0DnqM60
正直70B用にPC買うぐらいならGoogle colabとかの有料サービス使うのも有りだと思うけどな
64GBのメモリ積むのって普通のPCでも動くようにするための妥協案な訳だし
844今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f9d-Mp0W)
垢版 |
2023/09/20(水) 20:05:23.81ID:vJz4fQoW0
そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな
845今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜﾝﾄﾝｷﾝ MM9f-Mp0W)
垢版 |
2023/09/20(水) 20:05:44.35ID:I0yCyckSM
そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな
846今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f9f-mbMR)
垢版 |
2023/09/20(水) 21:35:29.62ID:PURpKypH0
openbuddyも180ｂ出してきおった
2023/09/20(水) 22:01:04.65ID:8ttrvnMY0
今は70b以上は、今のスペックで動けば御の字なのかな
2023/09/20(水) 22:13:50.28ID:PIKgs9EC0
64GBのメモリくらいなら激安だし普段の動画とかの編集で
生きてこないわけでもないしアリやと思うけどな

CPUとかMacとかまでいくとともかく
2023/09/20(水) 22:25:08.83ID:KVwVyKgo0
70bでも遅いのに180bとか気が遠くなるわ
ブレイクスルーで出力速度上がったりせんかね
2023/09/21(木) 07:12:11.11ID:AHx7lFt10
180BならみんなでGPU共有するやつかな…
https://chat.petals.dev/
https://petals.dev/
851今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7fa0-sMWx)
垢版 |
2023/09/21(木) 23:56:39.34ID:eiGlSETW0
TheBloke/Xwin-LM-70B-V0.1-GGUF

日本語が結構よかったから、英語のお題試したら、すげえエロいの書いてくれた。
他のモデルだと、あっさり犯して終わりなのに、このモデルは前戯をねちっこく書いててくれて、描写もかなりいいと思う。
英語民、これ試してみてよ。
852今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7fa0-sMWx)
垢版 |
2023/09/22(金) 00:22:48.50ID:Kiw/r79F0
追記
で、さんざん犯された後、年齢を聞いてみた。
たいがい、他のモデルだと文章が長くなると、いつの間にか16とか20とか、
高め修正してくるんだが、このモデルは・・・・１３だとｗ
まあ、設定では10だったんだがｗ
つまり１３まではおＫらいしいぞ、このモデル(*'▽')
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況