なんJLLM部 ★5
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
なんJLLM部 ★4
https://fate.5ch.net/test/read.cgi/liveuranus/1696030365/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 情報統制しがちな国は1からデータセット組まないといけないから大変よね OpenAIって頭お花畑の会社でしょ
潰れて当然だよね そもそも全然Openにやってないし 普通の企業と変わらん
そのままマイクロソフトに吸収されてもいいよ chatGPTに締め出されてローカルに移った身としては感慨深いものがある
さっさとエロ解禁せーや MSはrinnaの黒歴史がるからなぁ…
今はメールから移行しろとアウトルック推しがうざいくてあまりいいイメージが無いわ rinna 一瞬だけ13Bぽいのがアップされたけど、すぐ消えたな
なにか来るのかな？ llama2の70bが32kか
おらワクワクすっぞ 32Kってことは長文でも最初の設定忘れにくいってことだっけ？ 70bで動かすと平均0.4Tでつらい
Tがもっと増えるソフトのアプデきますように 何かしらすごいアルゴリズムの進化はまだ隠されてそうだよな もっとコンパクトなサイズで賢くなるか
大きなサイズをもっと高速で動かせるか
どちらかの技術革新が欲しいのう NAIの最新モデルのKayra
前後の文脈を汲み取る能力、独創性のある（ラノベやエロ小説っぽい）言い回し、辺りはGPT4以上かもしれない
反面、単語のチョイス、てにをはの正確さ辺りは全くのポンコツ
でも欠点の方は手動の校正で直せるし、むしろAIに求めたい要素は長所側の方だし、13Bでありながらある程度まともに日本語出来てるし、今後の可能性はとても感じる
UIのクラッシュが多い上にリロードが遅いから実用という意味では厳しいけど CausalLM/14Bが割りといい感じと聞いたので試した見た
日本語もある程度通るし確かに割りといい感じだったけど、特に日本語特化の学習はしてないらしい ブラックフライデーでM.2 SSD2T買ったぜ
みんな何買った？ ttps://github.com/ggerganov/llama.cpp/issues/1870
知らんかった。MacはGPUに割り当てられるメモリが総メモリのMax75%までの制限があるそうな。 4090と3090の2枚刺しでxwin70bGPTQで動かして見たが1T/secぐらいでとりあえずストレス無く動くな
3090側はx2レーン動作なんで心配だったがGUFFよりは速いわ 同じく4090+3090やけど7-10T/sec くらい出とるで
ちゃんと3090側のVRAM使われとるか確認しとる？ 最近エロに強い新しいモデルは出てない？
自分はTheBloke/lzlv_70B-GPTQでちょっと前から遊んでるけどなかなかいい感じ
まあそんなに他と比較できてるわけじゃないけど >>149
33B以下でいいのないかな？ずっとkimiko使ってるわ gpusplit見直したら10T近くでたわ
pcieのレーン数は殆ど影響なさそうやね
マイニング用のライザーでも大丈夫かもしれん
https://i.imgur.com/6NPh0qp.png >>150
mlewdやmxlewdの20Bがいいぞ 買ったM.2SSDをCドライブにするのが面倒だからDドライブにした。
一年前はこんな変態パソコンを使うことになるとは夢にも思わなかったぜｗ >>153
ﾄﾝ
前スレかな？で話題になったときに使ってたけど、結局kimikoに戻ってしまうワイ
TheBloke/MythoMakiseMerged-13B-GGUF
少し古いがこいつもエロい
牧瀬紅莉栖のロールプレイを目指してるっつー面白いモデル
Mistralマージもある >>150
英語だと
Nethena-MLewd-Xwin-23B
Noromaid-20B-v0.1.1
は結構気に入ってる。 そのへんもいいよね
なんか英語モデルについてはほぼ実用レベルに達した感があって以前ほど新しいモデルを試さなくなってしまったが Nethena-MLewd-Xwin-23Bはおすすめ
速くてエロい novelaiの本来の事業の方の最新モデルは13Bの割にはそこそこ行ける Nethena-MLewd-Xwin-23B使いたいけど英語苦手すぎる
kobold.cpp + edgeの翻訳機能 + deepLの入力した文字列翻訳する機能でやってみたら
AIからの返信は自動的に翻訳されるし、日本語入力したらショートカットキー押すだけで英語になるし個人的には革命や
口調の細かい指示とかはできないと思うが 100B超のマージモデル結構でてきてるけど、試してる人いる？
英語の表現力上がってるのかな？ 120Bモデルが幾つか上がってるね
Venus-120bなんか中々エロそうなんだけどRAM64GBにGPUを合わせて何とか起動するかどうかだなあ…
週末に弄ってみるか 日本語がそこそこ使えるモデルをマージしていけばいいのか？ >>168
Emadのツイート見ると新しいコアモデル（SDXL本体など）とかだけだと
loraや派生したものは対象外と返信していた
多分、高性能版の新モデルSDに限り有料化を検討とかなんだと思う
https://twitter.com/EMostaque/status/1729620532247572748
https://twitter.com/thejimwatkins TheBloke/Yi-34B-Chat-GGUF
今まで70Bしか見てなったけど、これ、スペック的には70B超えてるらしいので試したら、
かなりいい！
日本語も下手な70Bより流暢だ
いろんな派生があるみたいだけど、34Bだからスピードも速いし、これは他も試さねばｗ >>164だけど120B動いた
うちのPC、80GB載ってるの忘れてたわ
んでVenus-120bだけど確かに表現力は高い。70Bよりも上がっている感触はある。今まであまり見たことのなかった表現や展開を書いてくれる感じ
だがクソ遅い。うちの環境だと0.4T/secしか出ない
なのであまり量を試せていないのでふんわりした評価ですまぬ
つよつよ環境のニキは試してみて欲しい メモリ96GB環境になった
けど実効速度遅くてつかいもんになんないだろうな多分 70BすらRAMでチャット用途は厳しいから割り切る必要があるだろうね
3bitGPTQで重みだけでVRAM46GBは3090×2でもギリアウトかな >>170
全然追いつけないところにいるわ〜。個人的に、エロい掛け合いができればそれでいいんだけど、週に一つか二つくらいしか試せていない。
https://i.imgur.com/8Oq6djC.png
とりまありがと。これからDLしてみる。 今気付いたんやけど、text-generation-webuiに入出力の自動グーグル翻訳機能ついてるやん
text-generation-webuiだとGPTQが扱えるし、
VRAMにさえ収まるならGGUFに比べて爆速だしこれでよくね？ そうなんだ。edgeの自動翻訳じゃなくて？
自分はkoboldのuiが使いやすいからGPTQ使うときはkoboldAI使ってる >>176
自分はあれ改造して入力だけ翻訳/出力だけ翻訳/両方翻訳とかも出来るようにした koboldのchatで、「発言」と(行動)と分けたい…あるいは【AIの解説】を追加したい…gptではjavaっぽい命令で通用したけど、koboldはどうすれば反応してくれるんだ？ ■ このスレッドは過去ログ倉庫に格納されています
