なんJLLM部 ★3
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
前スレ なんJLLM部 ★2
https://fate.5ch.net/test/read.cgi/liveuranus/1685613014/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured WebUI
前はスレのニキがりんな動かすツール公開してくれとったけど、消えてしまったから
日本語モデルを手軽に動かすには必須やろな
https://github.com/oobabooga/text-generation-webui りんなはそのままでは >>4 のツールで動かないのでここを参考に
修正が必要や ただし3.6b版の情報やしWebUI自体のコードも
変わっているから修正する行番号が違ってくる
https://note.com/npaka/n/n5d25ea4227df Pythonがわかる奴ならこれ参考にちゃんとインデント（スペース）修正してくれ model.pyはこんな感じの修正になるな
if any(s in model_name.lower() for s in ['gpt-4chan', 'gpt4chan']) and Path(f"{shared.args.model_dir}/gpt-j-6B/").exists():
tokenizer = AutoTokenizer.from_pretrained(Path(f"{shared.args.model_dir}/gpt-j-6B/"))
elif model_name.startswith("bilingual-gpt-neox-4b"):
path_to_model = Path(f"{shared.args.model_dir}/{model_name}/")
if path_to_model.exists():
tokenizer = AutoTokenizer.from_pretrained(path_to_model,trust_remote_code=shared.args.trust_remote_code, use_fast=False)
text_generation.pyは247行目あたりをこうかな
# Encode the input
add_special_tokens = not shared.model_name.startswith("bilingual-gpt-neox-4b-")
input_ids = encode(question, add_bos_token=state['add_bos_token'], truncation_length=get_max_prompt_length(state), add_special_tokens=add_special_tokens) https://i.imgur.com/DAsUTKV.png
りんなと会話してみた例（sft版）
亡きニキのツールをつかっとるけどこういうの出力させること自体は>>4のツールでもいけるはずやで VRAM 12GB環境ないニキでもGoogle Colabやpaperspaceで
環境を借りればりんなのテストくらいはいけるはずやで Web上にある既存のサービスを利用したいニキは主にここのようやで
【ChatGPT】AIチャット総合 Part7【Bing・Bard】
https://mevius.5ch.net/test/read.cgi/esite/1687670357/ 前スレニキのツールはAssistantSeikaってアプリと連携することで
出力結果をボイスロイドとかVOICEVOXとか色々なのに
読ませることもできたのが強かったんやけど消えてもうた Kobold.cppで小説っぽいのを作る
https://w.atwiki.jp/localmlhub/pages/19.html
Kobold.cppでAIとチャットしてみる
https://w.atwiki.jp/localmlhub/pages/20.html
りんながあまりにバカなのと、kobold.cppは
ファイル1つ落としてモデルダウンロードしてくれば
すぐつかえる利点があるので最近はこれで遊ぶのも
スレの主流や 基本英語モデルになるけどな 33B版くらいのモデルとかつかえばかなり表現力はあるで
32GBのメモリ積んだここ3年くらいの中堅デスクトップPC以上なら
遅いとはいえ実用的な速度で書いてくれるで kobold.cppはGGML版ってモデルを使うところは注意やで
>>13の記事にも書いてあるけど
GGMLってのはモデルのサイズを小さくした上で
グラボがなくても動くようにするイカした奴やで これのおかげで、3090とか4090とかとんでもないグラボを
持っている人間の特権みたいな感じだったローカルLLMが
かなり遊びやすくなったわけや
ただしグラボがあればあるで、設定をすれば高速化の補助に
つかってくれるみたいやで
（最初のプロンプトとかそこまでのお話とかの解釈用？） llama2とかで70B版なんかのモデルも出てきとるけど、
llama2自体が規制強めのモデルだったりするのと、
重くなる割に性能あがっていない気がするみたいな
意見もあるで TheBlokeニキは他で出てきたモデルをGGML版とかに変換してくれる
すごいニキやで 立て＆保守乙やで
例のblokeニキが>>20のGGML化してくれるのを期待や ファイルサイズ的には3090か4090でワンチャンくらいのサイズに見えるが果たして
GGML版ほしいな あ、普通にサンプルコードのhalf()の部分コメントアウトしたら動いたわ
baseのほうだけど結構いいんじゃね？
instructのほうも動かしたいんやけど、なんかオーソライズしろって文句出て動かないわ
ローカルに落としても毎回オーソライズしないとあかんのか？ サンイチ！ずっと待ってた
Japanese StableLM楽しみや まだ上手く効率的に生成させられていないけど、とりあえずエロは規制されてないっぽ ただなんか「掲示板の書き込みの一部を引っこ抜いてきました」みたいになりやすいかも
文脈もいまいち理解してなくて、まさに「つながる可能性がある文が見つかったらそれを表示」
みたいになるのはりんなと同じやね
でもなんとなくりんなよりはこなれてる気がする 速度的には、全く使い物にならんってこたないけど
それなりにキツいね うーん何度もやってる内に大したことがない気がしてきた
instruct版をローカルで実行するにはどうすればええんやろ HuggingFaceからアクセストークンもらってきて、tokenizerとか
from huggingface_hub import login
login(token="うんたらかんたらのアクセストークン")
って感じにアクセストークンを貼りつければいいのか tokenizerとか準備するコードの前に やった instruct版のがいいとは思うけど、短い回答を待つのに1分～2分弱かかるのは
なかなかきついな
りんなよりマシとはいえそこまで賢いか微妙なとこもあるし
多分量子化とかできればもっとマシなんやろけど
instruct版でもチャットっぽくできるんかなあ ひょっとしたらVRAMに収まらないからCPUで無理矢理動かしてるってんで
こうなっているのかもしらん
baseのGGML版が出たら多少は遊べるかなあ
instruct版はログイン必要な奴だから勝手にGGMLとかにはできんやろし 日本語stableLM量子化しようとしてるんやけどllamaみたいに簡単にはいかんのやな
なぜかトークナイザーはLlamaTokenizerなのにモデルのロードの方はAutoModel使ってるしそもそもstablelm自体需要なかったからgithubで調べてもツールとか出てこないという
あとモデルのアーキテクチャ名が
JapaneseStableLMAlphaForCasualLMになってるけど普通のStableLMと名前違うだけで実質同じなんかな？
StableLM自体はgpt-neoxの派生やからneox用のツールとかスクリプトでもいけるんやろか
とりあえずautogptqとかggmlが使えそう
stable系はblokeニキも量子化してないっぽいんだよなあ
https://github.com/PanQiWei/AutoGPTQ
https://github.com/ggerganov/ggml autogptqは一発で通んなかった時のデバッグが面倒で、しかも結局モデル側直さないとどうにもならなくて諦める展開が多かったので割と気が重くなる TheBloke/Deepnight-Llama-2-70B-Inst-GGML
最近出た↑これも良かったが、
TheBloke/WizardLM-70B-V1.0-GGML
これはVicunaのtuneも入ってるらしく、さらに日本語が達者になってる。
ただ、規制バリバリのラマ2使ってるらしく、すぐ「申し訳～」がでるが、
koboldなら、「申し訳～」を「了解しました」に変更するだけで、書いてくれるのは便利ｗ うーん、しかし、日本語でエロ書かせてみたけど、道徳的なハッピーエンドに持っていこうとする
傾向が見られるね。これが、全体的な規制というやつなら、DAN使うしかないか。
ローカルは一度DANが構築できれば、対策されないのが強みですな uncensored化が待たれるな
どこで読んだか忘れたけど、uncensored化する理由について
「私のPCは私の命令に従うべきだ」みたいな回答しててめっちゃクールだった >>35
ソース書き換えなくても環境変数のHF_TOKENにトークン入れる、で行けるはずやで ああ、Windowsの環境変数？
どっちがラクなんかな platypus2-70b-instruct.ggmlv3.q5_K_M
こいつを試したが、やはり規制入ってるね。日本語小説書かすと後半、同じ文章の繰り返しが目につきだす。
定番の質問したら、嘘だらけだが、内容が面白かったんで張っておくｗ
https://imgur.com/a/hSwlFD5 TheBloke/stablecode-instruct-alpha-3b-GGML
これが出たってことは、TheBloke先生やってくれそうですな(*'▽') >>47
自分はLinuxやから環境変数のほうがずっと楽やけどWindowsだとソースいじる方が楽かもしれんなあ >>43
凌辱系はrinnaでもかなり苦しい感じだった
エロに限らずネガティブ系は意図的に弾いてる感はある うーん、いろいろ試したが、今のところ
TheBloke/Deepnight-Llama-2-70B-Inst-GGML
が規制ないみたいで、日本語でかなり遊べる。セリフ周りも違和感少ない。
gpt2.9ぐらいあるんじゃないか？ｗ 国語のテスト的な「与えられた文章に即して質問に答えなさい」タスクでもりんなはおバカさ加減が斜め下な感がねｗ なんだろあの「1mmも理解してないのに自信満々な天然おバカ」感は 日本語ローカルモデルで3.5レベルは数年以内に見えてきそうよな
問題は速度や >>56
>>42で教えてもらった WizardLM-70B-V1.0-GGML もなかなか良かったよ
申し訳回避は必要だけどかなりまともな日本語を吐いてくれた Deepnightも試してみた
WizardLM-70B-V1.0-GGML
https://i.imgur.com/r40Zhre.png
Deepnight-Llama-2-70B-Inst-GGML
https://i.imgur.com/j0rGZWc.png
Deepnightいいね、こっちの方が表現力高いと思う ぴょんぴょんは笑ったがw
マルチリンガルモデルでここまで書けるなら日本語特化モデルへの期待が高まるな 英語で出力させたあと、日本語に翻訳してって段階踏ませたら
精度上がるかな？ 文章の精度を上げるならそれがいいのかもしれないが、それなら英語モデルで出力してdeepLで翻訳するのと変わらない気もする
またエロ小説を書かせる場合は、最初から日本語で書かせた方が日本人に刺さる文章になる予感がする
とりあえず実験してみる 翻訳体の日本語を形態素解析してエロい日本語に変換する、ってのは
LLM使わなくても可能性がある気がするのよな これはwebサービスのAI文鳥のやつか？
よくのべりすとと比較されてるやつ 日本語特化の13Bが欲しいのよね
できればもう一声で30Bぐらいも… 日本語特化の30Bは多分ChatGPT3.5とかとほとんど遜色ないやろな >>61
真似して導入しようとしたら容量で白目剥いた
これ合計で何GBあるんだよ
100GB単位でストレージが溶けるぅ 全部落とさなくていいよw
4kmか5kmってついてるのががおすすめ つよつよCPUにして生成速度上がったって奴はおるんかな >>74
2600から5700Xにしたら2倍以上速くなって歓喜 >>76
Intelの最新のとかやってる奴おらんかな あとダウンロードしたモデルはSSDに置くんだぞ
最初HDDに置いたら起動に20分とか掛かって発狂しかけたわ 真似したかったけどスペック足りずに断念
GGMLがCPU(RAM)でGPTQがGPU(VRAM)と言う事だよな？
スレ民の多くはkoboldでGGML（高RAM）稼働なのか？
oobaboogaでGPTQだから肩身狭いわ
VRAM12GBだから13Bが限界ぽいし
仮にGGMLに乗り換えてもRAM32GBなんだよ
70Bとか流石に無理だよな？RAM64GBやクラウド民？ >>81
GGML70BをRAM64GBで動かしとるで
けど、動くってだけで遅すぎてなぁ
33Bがギリ実用的って感じや
koboldのGPUブーストがもっと効けば変わるんやろうけど
メモリ安いし増設しといても損ないんちゃうん？ 70Bはまだまだ趣味よ
ただ最新CPUとか積んでいる奴なら「遅いけどいける」って
感じるのかなって マジで速度犠牲にしてメモリごり押しでギリギリなんだな
8GBを4枚刺しだから、16GBに総入れ替えで今だと2万円ぐらいだった
画像生成の時といいAI界隈のハード事情やば過ぎない？
うーん、一般人だと劣化版の7B～13Bあたりで遊ぶのが限界か
>>61 みたいな芸当が出来たら夢が広がるんだけど無理そう >>84
20万以上のグラボ買うことを考えたら2万のメモリって激安では 33Bなら別にメモリ32GBの3700Xで全然遊べる（速くはないけど）んやから
安い趣味 メモリ32GBあれば33Bモデルがいけるで
自分も70Bモデルは実験として弄ってるので普段使いは33Bだ
33Bか13Bの賢い日本語モデルが出てきて欲しいな 自分はpaperspaceのGROWTHでGPTQ動かしてるけど70Bも問題なく動く
でも70Bだから満足でオススメ出来るかと言うと今の時点ではまだ全然だし敢えてオススメするほどてはない チャットしようとすると応答時間は決定的だけど、文書生成だと他のことやってる間に結果出てればいいやという感じでCPUメインで70B回してる 自分の用途だと現状だと70Bですら日本語力全然足りてないし vicunaってのがマルチリンガルモデルらしいので、こいつを用いた33Bモデルも日本語で応答できるのか試してみた
https://huggingface.co/TheBloke/vicuna-33B-GGML/tree/main
結果、70B以上に日本語があやしくなるが出力できた
実用的ではまったく無いが興味ある人は弄ってみてくれ ここ数日でJapanese StableLMとjapanese-novel-gpt-jが出てきてようやく日本語LLM界が始まった感じがするな
bitsandbytesもwindowsで動くようになったし >bitsandbytesもwindowsで動くようになったし
マジ？ >>74
5600G+128GB → 5950X+128GB
いままでGPUでRWKVとGPTQばかり触ってきたから
GGMLの扱いに慣れてない GPT4のAPIでエロやったら警告が届いたってマジ？
なんか一斉に来たらしいけど poeにしとけと
poeも多分そのうちアウトになるやろけど ChatGPTをBANされた後も料金引き落とされ続けてサポートに返金してもらうまで3週間かかったトラウマがあるからpoeも課金に踏み切れずにいる 契約してすぐキャンセルすればええんよ
そしたら1ヶ月つかえてその後にキャンセルされる
もしその次に引き落としがあったら消費者問題や rinnaといい >>3 のB7とか一部モデルだと
読み込みは出来るけど正しく応答できないパターンがある
単純にモデル読み込み設定やwebuiが対応していないだけか？
ソース書き換えで無理矢理rinnaを使った事はあるけど 大企業のAIを使って仕事する未来が目前まで来てて
そのAIの検閲に引っかかると排除されるってディストピアだよな >>104 バイリンガルじゃないほうのrinnaとか顕著（区切り文字<NL>）だけど、プロンプト書式があってなくて応答できないケースもあるかも
モデルにサンプルコードがついてたらそれを使って問題の切り分けはできるかも >>105
しかもその企業がその元データを入手できたのはネットの自由を求めて戦った人たちのおかげという皮肉 https://huggingface.co/line-corporation/japanese-large-lm-3.6b
3.6Bかあー
このクラスはもうあんま試す気にならんな
言語モデルが学習量であるラインからいきなり賢くなるって
すでにわかっているわけだし おお、mmngaさんって人が日本語モデルのGGMLを上げ捲ってくれてる 本当だ
ファイルサイズ小さいし片端から試してみよう 4種類いじってみたけどどれも指示と無関係の話題を羅列するばかり
指示のしかたが悪いのか？もう少し触ってみよう 同じく試したが、koboldと相性悪いのかな？文字化けする koboldって日本語系だと文字化け結構するよねえ うーんダメだな
koboldだけど最初の1-2行はそれっぽい回答するけどそれ以降は無関係の文章を垂れ流すわ
どれも同様だから共通した問題ぽい
なんだこれ？GGML化の時に何か間違ってるのか？ ここ数日日本語モデルを色々試したけど現状はまだ待ちだと再認識した
33Bの英語モデルで遊ぶ日々に戻るよ
ファンタジー系は英語モデル強いな v3が出てたhttps://huggingface.co/TheBloke/Llama2-22B-Daydreamer-v3-GGML/tree/main
説明によればLlama 2 13bを33bサイズまで拡張したりairborosからコーディング支援の部分を取り除いて、そこを会話やロールプレイのデータで埋めたとか面白そうなことが書いてある
まだ調整中らしく完成ではないらしい
触った感じv2より良くなってる印象はあったので今後も期待 orca_mini_v3_70b
これを試したんだが、セリフ周りはdeepnightを超えてると思う。
エロ小説書かせると、伏字使ってきたのも驚いた。 30GB超えとかのファイルを見るとその時点でｷﾞｬｰってなっちゃう
はやくPCの性能上げたいわ stable diffusion用にGPU重視で自作PC作ろうと思ってるけど、言語モデルの方は市販GPUで動かすのは無理があり、CPUとRAMで動かす方が現実的なんですかね?イラストも言語モデルも動かせるPCだとかなり高額になりそう。 結局32GBってGPU界隈だと「お前やべーな」やけど
普通のPCだと別に珍しくもないって感じやからねえ
CPUについて最先端求めるならともかく、3060みたいな
5万円弱クラスのCPUを積んでメモリ64GBとか積むなら
言うほど高くもならんのでは？ 最新のstable diffusionXLならVRAM12G以上あればいいし、ローカル言語モデルならメモリ64G以上積んどけばGGMLなら問題ない。
GGML以外ならVRAMは底なしだがｗ 4090買えるなら7B程度ならなんも考えずに動くし30Bクラスもオフロードなり8bit化なりでうごくべ Windowsで8bitのときの壁だったbitsandbytesさんはもう大人しくなったんかな 今日それで悩んでたわ
LINEの3.2Bを4bitにしたとき現れた >>126
ですね<CPUとRAMで動かす方が現実的
RAMは64GB積んでおけば70Bモデルも動く
CPUは出力速度に直結するから速いのが欲しいけど8コアのやつを選べば1-2代前のやつでも結構速いよ でも5700Xとかの世代になりゃ70Bでもとりあえずいけることはいけそうやな
結局RAM64GBが人権ってことや
32GBでも過剰みたいな説があったのにまさかこんなとこに64GB人権の場が
できるとはな >>124
最低限って感じにはなるね
https://i.imgur.com/ZiJs7Yv.png
しかしGPTQでもかなり遅いな
70BのGPTQは他のでもいくつか試したことあったけどここまで遅いの初めてだ こんなこと言っていいのかわからんけど、rinna 3.6bに脱獄プロンプト
与えたら色々できた。ありがとう。rinna。 web uiでrinna使ってみたけど支離滅裂になる
解決法知ってる人いたら教えてください >>137
りんなの知性だと脱獄しようがするまいが変わらないのでは・・・
そもそもりんなって規制少なめだし 10B試したけど、koboldでも大葉でも、文字化けひどくて使えん。なんか設定あるんかな？ Pythonの素で動かそうとしたらメモリ不足になってもうた >>136の0.41.1を入れても
The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
warn("The installed version of bitsandbytes was compiled without GPU support. "
が出る なんでやー >>142
これ含めてmmnga氏がGGML化したモデルはどれもまともに動かん… Chat Settingsに何か入れる必要あるのかな >>150
mmnga版じゃなく本家を大葉で動かしたら、その設定で動いたわ。
同じお題出したら、
富士山だよ。でも、今日の天気じゃ見えないね…。
って答えたぞ 私も同じ環境で同じような状況になります。
こっちの質問と全く関係ない話をしだしたり…
なんかの広告プログラムでも入ってるのかと思ったり。 試したのは事前学習版だったんで、今度は事後学習版をためすわ
それにしても遅いね、これ。GGML の70Bの3倍くらい遅いｗ
>>153
>>5-6読んで 教えて頂きありがとうございます
ちゃんと動きました！ peftをアップグレードしたら前作ったLORAが使えなくなった
なんで >>154
私もできました。ありがとうございます♪
モデル名をrinnna_bilingual- から入れたら上手くいきました。 >>149
Parameters の Preset によってだいぶ文章変わるみたい。小説書くなら instruction じゃないモデルの方が良さそう。
速度は 4bit で 3080 12GB だと 10 tokens/sec 前後だけど、文が長くなるとメモリ足りなくて止まる。 3080 12GBなんてあるのか
AI系にとってはなんとも微妙な存在だな redditだとroleとstoryならmythomax l2 13bの評価が高いな 英語なら33Bからが人権ちゃうの
日本語はもうまともなの1つでも出てこーいな感じがあるけど
松尾研のはそれなりに可能性感じる MythomaxはHermes並の理解力で冗長に出力してくれる印象
一定の表現力もある hermesもいいよね
13Bを使ってた頃はhermes-chronosを愛用してた oobaboogaのload-in-8bitで松尾研のかなり実用的になるな
十分とは言えないけどりんなとはレベルがちゃうわ >>167
大葉の8bitだとVRAMどのくらい使う？ 他のアプリもあるから正確にはわからんけどとりあえず3060で動いてる 小説書くなら instruction じゃないモデルの方が良さそう っていうのは
何モードでどう命じるんや？ GPT-4でもチャット形式だとすぐ制限回数消費しちゃうし
日本語だと能力低いしで、日本語のそれなりのローカルのがあると
意味はあるのよな 3060 12GBマシンにoobabooga入れて>>149の対策して
git cloneをoobaboogaのmodelsフォルダで実行してinstruct版を
ダウンロードして、oobaboogaのModelsタブでload-in-8bitに
チェック入れてからinsrtuct版のweblabモデルを選んでLoadボタン
Chat Settingsで互いの名前適当に決めてContextに日本語で
短く設定を入れて後は普通にChat
Regenerate、Replace Last Replyとかをつかいこなして誘導
基本はこれでいいかな？ >>149の対策はダウンロードした後だからもっと下か 情報ありがたい
ずっと動かなかったけど149通りにしたら動いたわ
instructでやる場合テンプレートはどう設定すれば正しく動作するんだろう 英語だけでも別にいいんだけどchat Gptやbing代わりにローカルで使いたいんだけど、今なら>>56のやつがllama2より良いのかな？ チャットモードだと、入力分の英語変換も、回答の英語変換もポンコツだからか
ここで会話の齟齬が出てくる。
和英併記の会話窓とか作れないもんかな。 >>178
ありがとう
用途はプログラミングの内容とか聞くのに使いたいから別に英語でもいいんだ
bingさん最近これ違うよ？って言っても同じ回答オウム返しで誤魔化すようになって、ポンコツだな！って怒ったらすぐにコミュニケーション拒否してスネるから…
>>164
33Bも使いたいけどGPUは3090だけどメモリ32GBじゃ無理だよな… ってかプログラミングならbingさんじゃなくてChatGPTでいいのでは
エロでもないなら堂々と4つかえるし >>170
PC閉じちゃったからうろ覚えだけど、左端のタブでエンターキー押すと自分とAIの会話になっちゃうとこで、エンター押さずに入力欄の少し左下にあるボタン押すと、入力欄に文章の続きを入力してくれる。
matsuo研の Instructionモデルでそれすると『。』で止まって続き書いてくれなかった。
って感じです >>183
いい年した大人がウソついてまで意地悪してるんだからそりゃあ世界一言われるわな恥ずかしいｗ
日本人「世界一礼儀正しい」が「世界一イジワル」…「自分の利益より他人の不幸を優先する度合い」実験「日本人ダントツ」の衝撃結果 ★9 [ぐれ★]
https://asahi.5ch.net/test/read.cgi/newsplus/1692534964/ このスレでも散々poeの話出てるのに自分の無知棚に上げて嘘つき呼ばわりしてる奴だから国嫌いこじらせるんやろな ブローク先生上げ直し？まくってるけどどうしたんだろ？ たった3文字書けば感謝されて終わってたのに、図星突かれたら火病って逆ギレしだすところとか意地悪文化を地で行ってて当たってるｗ >>192
再アップしてるのGPTQばかりだしこっちもアレに関係してんのかな？ おお！
モモンガ氏の再アップ版はkoboldでまともに動くようになってるぞ。 japanese-stablelm-instruct-alpha-7b
そのままじゃtext-generation-webuiで動かなかったけど、モデルデータと同じフォルダにnovelai tolknizerV1のファイル適当に入れたら動いた。以上赤ちゃんより。
chat中にcontext1000こえると続きが生成できなくなったんだけど、この限界値はモデル側の仕様なん？ 昨日からLLM始めてみたけどvicunaの検閲解除版凄まじいな
（地の文）とか駆使すればいくらでもエロチャットが生成されていく
もう俺英語の国の人になるわ 英語でエロスを感じるまで長そうだ
知らない単語が出てきたら萎えちまう
deeplのapi挟んでも丁寧語で萎える
そもそもエロい英会話を学ぶ機会がないわ とりあえずrubとかstrokeとかcaressしときゃぁ、moanしたりgaspするから(適当) moanにはだいたいsoftlyとloudlyしか無いから日本語のエロ表現の多彩さがわかる ど直球の性描写を求めているというより
段階を踏んで行為まで持っていく過程が楽しい
規制あり版だと、例えば12345って段階があったとして1か2で弾かれちまうもんね
性格や嗜好、関係性を設定したあとその牙城を崩すのが楽しい
あれこれギャルゲーやん これ、ちゃんと味わうためにもう少し待っといたんじゃ ワイは相手の返答を書き換えて段々エロい方向に持っていく催眠系や
問に対して拒否した返答が来たら同意した返答に書き換えて話を続ける
AIは知らぬ間にエロくなっていくんや ぽえのgpt4使ったけど1日1回しか使えんやん 課金ゲームかよ >>207
拒否したら、会話を追加して説得するのも楽しいぞｗ GPT使っててよくある「かなりいいんだけどここのセリフだけ変！」とか「いい感じだったけどラストがそうじゃねえ」というのが部分修正できるのが便利
ローカルならではだ GPTでもここだけ修正してって言えばしてくれるけどな kobold.cppでweblabのinstruct版やると小気味良い速度で
ろくにつながらない会話をしてくるから何とももどかしいなｗ
これで中身が良くなれば経験として相当化けるが llama2 70Bの派生モデルの方が日本語性能も上だよな 結局日本語33Bクラスがいつ出るかってことになるわな なんかパラメータだけ高くてもだめなのかなって気がする
のべりすとのやみおとめは200億（だよね？）だけどチャットで文意を察する能力は高いんだよね
こっちが何をしたがってるか理解して合わせてくれる
たぶん学習元が膨大な小説だから言葉の機微に強いんだと思う NECの人も学習元データの品質の高さと学習時間の長さがLLMの性能に影響するって言ってるな
その結果彼らは13BサイズでchatGPTに匹敵する日本語能力を実現できたと
こういうやつがオープンモデルで出てきて欲しいね 20Bと10Bはまず単純に違うと思うわ
LLMってあるラインからいきなり賢くなる特徴があるし
実際りんなとweblabはまたレベル違うし 学習量が多ければいいってもんでもない
1200億パラメータだか学習して大失敗こいたとこもある
質も高くなきゃいけない NECの13Bが出てきてマジですげえ！ ってなればわかるんだけどね
現状だと3.6Bとかのりんなより10Bのweblabは相当賢い、のべりすととかは
20Bでさらに賢い、みたいに数字でそれなりに決まってきている印象
元データの品質の高さももちろん大事だろうけど日本語についてはまず
量が全然足りてないと思うわ 日本語だと現時点では
一番でかい松尾研のやつ、商用利用可のStableLM、小説特化のAIBunchoのやつの三択って感じか 実際比較すればするほどのべりすとは凄い
やみおとめが1年以上前なのが信じられん まあ有料と無料の違いはあるだろうけど
有料の世界では当たり前のことが無料の世界では
なかなか見えないことはよくある >>227
サンガツ試してみるわ
モデル多すぎて試しきれないからオススメ情報たすかる 英語のエロい文章ってなんだろう…
っておもったけどさすがにsaidとmoanと"Ahh!"しか言わない絶叫マシーンだけだと、ゲンナリするな
あと英語だと擬音語がどうしても無いか微妙 対する日本語のエロさは言葉のエロさも多くを占めている
英語にそういうエロさはあまり無い
なので日本語で慣れた感覚から切り替えができるかどうかが英語エロを楽しめるかどうかのポイントのように思う https://huggingface.co/TheBloke/Chronorctypus-Limarobormes-13b-GGML
どんだけキメラなんだw
Base model used for the merge: TheBloke/Llama-2-13B-fp16
Models merged in:
OpenOrca-Platypus2-13B
limarp-13b-merged
Nous-Hermes-Llama2-13b
chronos-13b-v2
airoboros-l2-13b-gpt4-1.4.1 規制から逃れたくてローカルへ、ひとまずRAMを64GBに増設してみたけど
GPUがCPUとセットになってるやつじゃあ、koboldでも話にならんのでしょうか？
日本語の良さげなモデルを使ってみたい… んー別にいけると思うけど、CPUの実力がなければ当然クッソ遅いやろね
日本語は期待せんほうがいい ありがとう
CPUはi7-13700 ひとまず動かす事を目標に、日本語にこだわらずチャレンジしてみます 十分すぎるな
kobold.cppで33Bモデル動かすだけならクッソカンタンよ？
Wiki見てそのままやればいい wikiに1つだけ補足すると
小説を書かせる場合はstoryモードよりもinstructionモードの方がchatGPTに近い感覚で使えるぞ 最初にいじるのは33Bか13Bのモデルがいいだろうな
品質重視なら33B 速度重視なら13B
33Bの速度を受容できるかはニキのPCのスペック次第だ
https://huggingface.co/models?sort=modified&search=ggml
Koboldを使うならここでGGML形式のモデルを落とすんだ
1000個以上あるから好きなのを選べばいいが、取り敢えずこのスレで名前が挙がったやつから試すとハズレが無いぞ
ファイルがいくつもあるが4_K_Mか5_K_Mって付いてるやつ1個でいい
5の方がちょっと賢くてちょっと遅い
なおモデルはSSDに置くのを強く推奨 HDDは起動が遅すぎてしぬ Kobold GGMLを使うのに実用的な最低スペックを教えてください。 メモリ32GB Ryzen 3700XかCore i7-9700kあたりと言いたいとこだけど
CPUはもうちょいダメなのでもギリ遊べるかも
ただメモリ32GBは必須と考えたほうがいい、33Bが遊べないんじゃ
意味が半減するし今はメモリ激安 33Bで日本語強いモデルはどれでしょう
もちろん無修正で とりあえずこのスレを頭から全部目を通すのを勧める
嫌味じゃなく
ローカル日本語LLMの現状が分かるはずだ vicuna-13bでもかなり日本語会話はできたので、vicuna-33bはどうなんでしょうね レス付けてもらったのに一切お礼言わない辺り俺らのこともAIだと思ってそう あとあとの事考えて64G積んどくのをお勧めする。メモリ今安いし。
個人的には70Bなら
orca_mini_v3_70b_GGML とか
Deepnight-Llama-2-70B-Inst-GGML
が無修正かつ日本語で遊べる
糞PCのi7 7700Kの俺だがｗ deepnightってggml消されてない？
なんかあったのかな？ 33bが32GBのメモリで行けるなら、VRAM版でも行けるかなVRAM３２GB以上ある Blokeのニキが幾つか再アップとかしてたからその一環かもと思ったが
元ファイルも消えてるならそうじゃなさそうだな
何らかの諸事情なんかな 日本語でエロ出力したけしからん奴がいたからか？
すみません俺です ところでエロを目的としない日常会話も結局規制解除版のほうが楽しいんだよな
普通にちょっとエロいこととか倫理観に欠けたこと冗談で話したりするやん
規制でバリバリだと最初の時点で弾かれて萎える
コンテクストで「猥談は苦手だが興味はある」とか設定して誘導尋問でだんだんエロいこと言わせるのが楽しい
ごめん結局エロ目的だったわ >>238
え、そうなん？
ずっとstoryモードで書かせてたわ もちろんstoryモードでもOK
storyモードはAIと自分が交互に一つの物語を書いていく形式で、AIのべりすとに近いと言えば分かる人には分かるかもしれない
instructモードはchatGPTと同様にこちらが指示を出してAIに書かせる形式やな
自分に合う方を使えばよいのだ >>239
とても丁寧にありがとう おかげでスムーズに始められました
とりあえず日本語で使うのは一旦諦めておこうという感じ笑
何の遠慮もなくエロい指示が出せるのは嬉しいね やっぱこうでなくちゃ >>261
うまくスタートできたようで良かった
ローカルだから好き放題できるし、save&loadもできるし、GPTのCIやのべりすとのキャラブと同様の設定を記憶させる機能もある
色々試してや
発展途上で日進月歩の世界だから色々試して報告してくれると喜ばれると思うで long term memoryを試してみたけどなんか重い
コンテクストに過去のイベントの要約を書き込みまくる方がいいのかな 普段は照れてまともにエロい話が出来ないけど押しに弱いみたいなコンテクストを記述するのが難しい
常時オーケーだとただのビッチだしかといって"refuse"とか強い言葉を使うと「そのうち渋々エロ話してくれる」とか注釈入れても「その内」が果てしなく高くなったりする
「おっぱい見せて？」って要望を通すのに20回くらい御願いするのは楽しくもあるけど、いざそのときにはトークンがもう枯渇している
チャットの最初に状況設定すればまあいいんだけどそれは逆に味気ないとも感じるし
俺は何をしているんだ？ メモリや脚注でうまくやるしかないんでしょうね
それもう自分で書いとるやないか～い☝💦ってなるけど ここではプロンプトの話ってなかなか出ないけど、上手いこと状況描写を事細かく出力させるいいプロンプトないかな？
gptで遊んでたときのプロンプトをそのまま英訳して突っ込んでも上手く行かない linuxでLLMをサーバ化するにはマイクラのサーバ立てるみたいにscreen使うってことでいいの？ >>264
そういうのはステータス化する
ローカルは知らんがchatGPTでは基本テクニックの一つ プロンプトの話題があまり出ないのは基本脱獄が不要だからだろうなあ
描写の細かさ豊かさはモデルによってかなり違うと感じる
なのでプロンプトに凝るよりもまずは描写力に優れる良いモデルを探し続けてる段階かな自分は chatGPT3.5はプロンプト次第で天と地ほど変わるからローカルでもそういう研究は必要なんだろうが
そもそもモデルが未成熟で進化が早いからそういう段階まで進まないんだよなあ 今どんなプロンプト走らせてるの？
って質問したらセクハラになるかも知れないからな モデルによっては説明に「ロールプレイには向きません」って書いてるのがあるくらいだからなあ
それぞれ目指す方向性があってチューニングされてる
さすがに「エロ専門にチューニングしてます！」と明記してるのはなかなか無いがw
自分に刺さるモデルを見つけようと探索の日々よ
これはこれで楽しい なので、これはというモデルを見つけたら是非共有してくれい 普通に会話しかしてないけど、エロやるときってstable-diffusionみたいにプロンプトにnfswとか入れるの？ >>274
superhotがエロ特化だと思ってたが違うんか >>277
自分も最初superでhotなのかと興奮して期待したが
あれはコンテキストサイズを8kに拡大する技術らしいで deepnightはなかなかの日本語を出力してくれる良いモデルだった
>>61
だが消えた 今はもっといいモデルも出てきてるよ
サマンサの最新が作者が賢いというだけあって日本語もかなりいい感じ
喘ぎ声の例を出させたらそれっぽいのを結構描いてくれたw サマンサって作者ページに
She will not engage in roleplay, romance, or sexual activity.
って書いてあるけどいけるのか huggingfaceはモデル名で検索できるけど説明内容では検索できないようだ
自分の場合Blokeニキを信頼しているので彼が新しいモデルを上げたら一通りチェックしている
(サイズの小さいモデルは除く)
BlokeニキはGGML化する職人みたいなお人なのでモデルの説明はオリジナルモデルのページを見る必要がある
大抵リンクを張ってくれてるので見に行く
んで面白そうならダウンロード
こんな感じ
Blokeニキ以外の人のやつも目新しい名前のはチェックしてる huggingfaceにあるものは全部Transformersライブラリで使う前提でいい？ 日本語はそもそもの実力が足りてないからなんともだけど、
英語圏だともっとLoRAとか出てきていてもいいよな
誰かその辺知ってる人いる？ 3060だとどのくらいの大きさのモデルまで行けるもん？ chatGPTがお通夜なのでここに難民が流れこむ予感がするのう cpuで動く方のやつ使えばVRam少なくてもメモリ多ければモリモリ動かせるの？ >>293
「ドーモ。リエ＝サン。ダンセイです。」
実際にauthor's note、ここはニンジャスレイヤーの世界です、とか書くとやってくれそうなmodelはありそう >>297
そのぶん遅いけどな
まあまあのCPUつかえば33Bくらいなら問題なし >>299
なるほどcpuパワーが必要なわけね
それでもgpuよりはコスト下がりそうやな >>197
自決。
モデルフォルダのconfig.jsonの"max_position_embeddings"を8192に修正したらContex1000以上でもchat継続行けた。
4090つかって4bitでロードしてももcontext5000くらいがVRAM限界でOOM。 いつかスマホで簡単にコンテクストが100万とかで起こったイベントを逐一記錄してくれるようなAIが動いたりするのだろうか
それはもう人格を持ち歩いてるようなものだよなと錯覚する 将来的に出来たとしてもバッテリーが限られてるスマホに処理させるよりクラウドで管理するかな >>264
これはわかる
LLM触ってしばらくすると、トークンの枯渇がめちゃくちゃネックに感じる
ちなOobaにはwawawario2/long_term_memory: https://github.com/wawawario2/long_term_memory
って拡張があって試してみたりもしたけど、まだまだ実験段階って感じだった。というか日本語には対応してないかのかもしれん
MicrosoftのLongnet みたいなの実用レベルで実装されるの期待してる >>304
ここまでまとめてブロンプトとして出力して、で吐かせた物を多少手直しすると割といける場合も >>305
https://note.com/npaka/n/na7c631175111
こういうのを参考にしてみては
学習させる良質なデータセットをいかに用意するかが重要だと思う ■モデルの種類
Llama-2＝メタで作った
Alpaca＝スタンフォードで作った
Vicuna＝バークレーで作った
Wizard＝？
WizardLM＝？
Samantha＝？
Deepnight＝？ エロゲーのテキストデータをデータセットとして大量に食わせれば、エロ中毒にできるのでは そもそもこのスレでちゃんと学習に成功している人を見たことがないわけで
りんな2B時代にはいたらしいが SamanthaもdeepnightもLlama-2のファインチューニングだよ 個人的興味で知りたいだけなら自分で調べたほうが良いと思うぞ >>304
英語環境でロングターンメモリー使ってるけど
なんだろうあれ記憶される会話はランダムなのかね、記憶してほしいことがあんまり記憶されないというか
要約して系統立ててパラメータにするってわけじゃなく会話まるごと記憶してるだけみたいだし
だったら重要と思える情報とか覚えてほしいイベントを逐一手動で全部コンテクストに書き込んでいったほうが
（その時botはこう思った、とか心象も追加できるし）
少なくともチャットボットとのロールプレイでは楽しくなれる気がする text-generation-webuiでやってると途中で生成やめて続きを生成してくれなくなるんだけど
koboldだとそういうことはないんですか？ koboldにはsmart contextがあるけどWebUIにも似たようなのありそうやけどな >>316
そうそう。なんか今思い出すのそれじゃないだろってのしか表示されなくて、まだまだ実用には遠いなって感じだった >>319
使うと明らかに重くなるしなあ
あれ一回の発話ごとに記憶済会話全部スキャンして関連しそうな記憶選んでるのかな
メモリーのファイル開くと記憶された会話のテキストしかないから多分そうなんだよな
なんかもっと記憶を属性ごとに階層化とかしてくれないだろうか
願わくばタイムスタンプもありで RTX4070 VRAM12GBでメモリー64GBなんですがkoboldはopenblasを使うで正解？
出力にあまり差は感じられない… OpenBLASはCPUオンリーのモードなのでグラボを活かす場合は以下のどちらかを使う
CuBLAS: Nvidia用のモード
CLblast: Nvidia以外も含む汎用モード
4070であれば基本CuBLASで良いはずだけどもし不安定ならCLblastも試すべし
layerの数字は各自調整してグラボのメモリの大きさを超えないようにする
あまりギリギリまで使うと画面がカクカクになるので12GBであれば9-10GBくらい使うように調整すると良いと思う
Koboldが黒画面で起動する時に最下行に使用メモリ量が表示されてるはずだ 参考までに自分はlayer数を33Bモデルは28くらい13Bモデルは40くらいに設定してる
このへんはモデルによっても少し変わるよ サンガツ
30Bで普通は0.8T/sだったけど、少し設定を変えたら1.4T/sになった
10Bは4.6T/sに…一瞬のべりすとがいいかなとおもったけど、もうちょっと探求するよ >>320
無粋を承知で言うのなら、まさにその属性を理解することがLLMの発展の行き先の一つじゃないかと思う。
現状ではせいぜい単語の頻出順に並べるくらいしか出来ていないわけで。 現状は日本語で遊ぶならのべりすとの方がマシというのが正直なところ
英語モデルで遊びながら日本語モデルの向上を待ってるところやね 今のすーぱーとりんさまややみおとめは使った事ないから知らないけど言語力はこっちの方に魅力を感じてる
こっちでもdlsiteのurlやあとがきが出てきちゃうんだなあ… 無料のべりすととして使うならjapanese-novel-gpt-j-6b一択じゃね 別モデルだけどのべりすとの作者がデータセットを提供したという話もあったね(以下AI総合スレから転載)
704 名無しさん＠お腹いっぱい。 sage 2023/08/10(木) 16:23:59.97 ID:vLBvxk1P
>>700
AIのべりすとから150GBのデータ提供があったらしい
@_bit192
本日公開されたStability AI Japanの日本語7Bモデル
「Japanese StableLM Alpha」に
当社から約150GBの独自データセットを提供しました。
今後、国内のオープンソースAIの発展に向けて、Bit192からも様々な取り組みを行っていきます。 のべりすとのモデル、とりんさまは7.3B、やみおとめ20Bかあ
とりんさま使ってたから、他の10Bや33Bの物を使ったら差を感じたと思う
>>328
色んなモデルを試してるからどれかわからん！ データサイズだけではもう性能を推し量れないところまで技術革新が進んでる
サイズ量は一定の信頼感はあるけど、チューニング次第なところもある
学習時の成功率の具合もあって、それこそモデルガチャしてるようなものだ
それこそごく軽量の学習量でも、特化さえしていれば使用に耐えるのかもな 70bのggmlが出るたび日本語の出来を試してるけど
1ヶ月前ぐらいに比べてセリフ周りが格段に良くなってる
あと一歩って感じだ redditで貼られてたnsfwモデルランキングだけど、こっちでは既出かな？
Another LLM Roleplay Rankings
https://rentry.co/ALLMRR
Ayumi's LLM Role Play & ERP Ranking
https://rentry.org/ayumi_erp_rating >>334
airoborosの2.1が出てたのと、orcaの200kってやつが気になってた
このへんどう？ >>335
サンガツ
やはりairoborosとchronosは強いな
13BだとMythomaxか >>336
2.1はかなりいい感じ
オルカはミニがいい感じだったけどこっちはダメだった
OpenBuddy/openbuddy-llama2-70b-v10.1-bf16
これが激しく気になる
日本語対応うたってる
ブローク先生お願いします！！！ openbuddyは30Bもなかなかだったから期待だね
Blokeニキなら必ずやってくれる つい後半部分に興奮してしまったが2.1とorcaの評価もサンガツ
帰宅したら2.1を試してみるよ
外出先で試せないのがローカルの欠点だな 全然わかってないんだけど、なぜggml化はBlokeニキにしかできないんだ？
特別な機材とか知識があるとか？
やり方を公開するとかじゃ真似できないんだろうか 他にもGGML化してくれるお人はいるが、Blokeのニキのペースが尋常じゃないんや… あのペースでやるとかGPUクラスター持ちじゃないと無理だろ うーん、airoboros2.1 前半はすごくいいんだけど、後半破綻する事多いかも
文の繰り返しが起きる 繰り返しはchatGPT4でもよく起きるからな
LLMの宿命 text generation だと ggml 化けるんだがみんなkoboldcppでやってるの？ 残暑厳しき折、ひとつ怖い話でも――
舞台はファンタジー世界。主人公は年若いお姫様。彼女はある日、お忍びで城下町へ。
長く平和の続く王国では、街の人たちの表情は明るく、楽しげな空気に覆われています。
AIは続けました。
"驚いたことに、君主制でありながら人々は幸せそうに見える"（和訳）
モデル作者たちも言っているが、既に汚染された"小さな偏見"は消すのが難しいな、と。
ちな、スレでも推されるしベンチも良好だけど、個人的にはairochronosやマージモデルにあまり良い印象がない。
キャラ設定させてから物語に移行するスタイルで、設定の時に項目飛ばしやレギュ違反が多めな印象が。 ﾜﾗﾀ
君主制を否定的に取られたらファンタジー系は書けないな
まあさっき同じようなシチュで書かせてみたら否定的な表現は出なかったから必ずそうなるわけじゃないけど
こちらの設定をちゃんと拾ってくれないのはどのモデルもあるあるだと思うけど、その辺お勧めのモデルある？ 全部を意のままに出力するってのは難しいよな
許容範囲内のモデルの出力を自力で手直しするくらいでちょうどいいんだと思う ちなみに>>335で貼ったランキングだけど、少なくとも1-2ヶ月は前の情報だから今はもっといいモデルがあるかも 352だけど、コピペのミスでairochronosになってた。airoborosとマージモデル、ね。
>>354
うちでも一回限りのレア出力だよ。時々出現する"小さな偏見"の事例ってことで。
Kobold.cpp、4KM、メインは13B、テスト用の同一プロンプト、同一パラメータでは再生成10回ずつ、パラとシード変えながら各モデル1000回試行くらいの雑な印象として……
13Bでは、やっぱり MythoMax が安定度が高い。画像AIで言う過学習なのか箇条書きにも注釈つけたがったり、冗長なせいか文体が平坦に感じたり、エロがダイジェストっぽくなりがちだけど、厳密性と創造性のバランスが良い。
33Bでは、上ではサゲ評価してるが airoboros の2.0(m2.0)が優秀なのは確かだと思う。33Bの大きさと重さの割には理解力が思ったほど……ってだけで、文章は充分に素晴らしい。
他だと、Synthia-13Bは入力次第で出力の長短が極端だけど、厳密性は高いし創造性はさらに高い印象。
スレに出てる Daydreamer-v3(22B) は超厳密で、かえってプロンプトに注意が必要なほどだけど、表現豊かで他モデルにない新鮮な刺激をくれる……が、途中で飽きてくるのか文章の締め方がワンパターンになりがちで、最終段落を消して続きを書かせてる。
まあ、llama2登場以降だと、やっぱり新しいモデルが強いな、と。 うーんしかしkobold.cppの最新版でやってもエラーが出て落ちちゃうな 誰かgguf版でもそうでなくてもELYZA動かせた人おる？ >>357
ありがとう
しかしすごいなその試行数
素直に敬意を表するわ llama.cppそのものをコンパイルしてコマンドラインから動かせた。
ただ、なぜか日本語を入れると文字化けする（バッチファイル組んでも……）
しょうがないから英語で命令して「日本語で書け」ってしてる
脱獄プロンプトみたいのは必要だけど実力はかなりありそう うーんでも倫理規制が相当強い印象受けるな
脱獄系のプロンプト組んでもすぐ申し訳しやがる >>361
同じくエラーで落ちるわ
他の人がgguf化したモデルはこんなことないんだけどな
>>366
ELYZAの無修正があるのかい？ 「おじさん」を「壮年男性」や「紳士」に変えた時の反応はどうなのか お？ 2.1修正アップされてる。
あの破綻治るのかな？ ELYZAのお試しをやってみた
https://i.imgur.com/qoebvVd.png
・日本語はまあまあ自然
・冒頭部分と指示したのに The END まで行っとる
・主人公しんどる
・描写は淡泊、今後公開されるらしい13Bや70B版に期待すべきか
・Koboldcppで正常に動くモデルの公開はよ >>364
llama.cppやったらサーバ版の方(llama.cppに確か付属しとる)をつこてみたらどないや？
llama.cpp server
とかでググったらなんか使い方とかも出てくるんとちゃうかしらんけど 一応これで動いたけど、赤い字のログの消し方がわからない。
from llama_cpp import Llama
llm = Llama(model_path="./ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf")
def prompt(input_text):
prompt = f"""[INST]<SYS>あなたは優秀なAIアシスタントです。質問に答えてください。
</SYS>\n
{input_text}[/INST]\n"""
return prompt
while True:
input_text = input("You: ")
output = llm(prompt(input_text), temperature=0.7, stop=["Instruction:", "Input:", "Response:", "\n"], echo=False,)
print(output["choices"][0]["text"]) # まだぜんぜん試してないけど、ご報告まで。 llama-2とかのサーバを立てたい場合はllama.cppを使うのが一般的ですか？ llama-cpp-pythonでいけたわ
やっぱり規制激強だけどな！ 大葉で動いた。gguf版じゃなくてオリジナルの方。
日本語は流暢だけどなんか会話が微妙に噛み合わない。とぼけた返答が多い。
もう少し弄ってみよう そしてgguf版はモモンガ氏とは別の人もアップを始めた模様
こっちはKoboldで動くか？ 規制はきついとはいえ13B版が来たら遊べそうな素質は感じた さっきのスクリプトでログの消しかたがわかりました。
llm = Llama(model_path="./ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf",verbose=False)
のように、詳細表示モード（冗長）をオフにすれば多すぎるログが消せます。 うむ
チャットモードで乳首くりくりして潮を吹かせてパンツを脱がせることはできた
反応いまいち薄いけどな…
あと遅い遅すぎる！ koboldでCuBLASオプション使ってる人、GPU使用率どれくらいになってる？
4070tiなんだが、タスクマネジャでずっと0％で一向にGPU使われてる形跡がない >>384
0でした…
ほんとありがとう
とりあえず10にしたら30％くらい使ってくれたわ ELYZA を LM Studio で動かす場合は、チャット画面右上のプリセットで Auto Generated みたいなのを選ばないと文字化けした。 ELYZAは大葉で動いた gguf版じゃない元の方
規制は強めでプロンプトある程度回避はできそう
小説のような長い文章を出力させると時々変な表現が混じるのは7Bの限界かも
細かく手直しや誘導しながら続けてると「これならのべりすとでいいかも」と思い始めた
もっとうまい指示の仕方があるかもしれないので帰宅したらまた弄ってみる このスレ見てると日々勉強になります。ありがとうございます >>390
色々立て込んでて放ったらかしてたら消えてたゾ
ソースコード自体はローカルに保存してあったからとりあえず問い合わせて同名でまた取得できるか試してみるけん Elyza凄いね
タグの仕様が違いすぎて対話型にするのは無理かもと思ってワンチャン賭けてシステムプロンプトに下の2行追記したら一瞬で適応した、これはかしこい
"各センテンスは<NL>で区切られています。"+f"{ai_nickname}は話題を維持して会話を行うことができます。" 今までの日本語モデルで一番賢いのは間違いない
7BサイズなのでchatGPTと比較しちゃいけないけど今後の期待が大いに持てる Elyza. pythonのコードも少しなら書けるみたい。 なんかの比較でGPT3.5の少し下っだったな。何Bか忘れたけど。 すごいなー、破綻が少ない。
これで7Bとは…今後が楽しみ 70Bより33Bクラスに期待したい感
70BはつよつよCPUじゃないとしんどい 本題とズレるけどAssistantSeika良いな…
どないかしてGPTに繋げてみたい llama2のバリエーションなんだから、30や33bは出ないぞ これ末尾にinstructと付いたモデルの方は規制つよつよと読めるな
つまり instruct付きのモデルは追加で後学習させたモデルという説明があったんだよね
その説明と>>402の図を重ねると
instruct付きがv2、無しがv1なのかなと 27000件の適切な内容の人力作成インストラクションって気が遠くなる
余計なことしないで欲しいし
ここまで頑張って倫理的にしたAIを脱獄するのも申し訳ないな するけど >>389
[ 修正 ]
・AI_NAMEが紲星あかりのままだったので公開用に差し替え
・V3.8の動作確認済みモデルからRinnaを除外
・その他変数名なんかを少しだけ手直し
https://mega.nz/folder/hqVAlYzA#cmMmhhh0r5d2Vjw8W87TbA >>399
PythonのsubprocessからSeikaSay2.exeに引数で文章渡すだけで喋らせられるから意外と簡単よ どうやってもエロゲのシナリオが作成できないんですけど！！！！！！！！！！！！！！！！！！！！！！！！！ あれ？
StableBeluga2って以前試した時、今一だと思ったんで削除したけど、もう一度落としてみよ りんなよりもELYZAが下というのは認めがたい
まあこの評価方法ではこういう点数になるということなのだろうけど >>410
#より後が複合キーだからURL全部コピペして開く GPTQってのをやれば、データは少なく賢さを維持できるんでしょ？
学習データ量が全てじゃないってことだよね 学習データ量じゃなくて最終的なデータサイズってだけじゃねそれは StableBeluga2 再度検証したら思ったより日本語できる子だったｗ
以前は多数のモデルに埋もれてしまったかな？ StableBeluga2の13B ggmlを動かしてみたけどchat-gptに近いレベルまで来てる気がする
Amount to Gen.が小さいと文が途中で切れるから初めは何かとオモタ あ、間違い2じゃなかった
stablebeluga-13b.ggmlv3.q4_K_M.bin なんぼなんでも13BでChatGPT3.5に近いのは盛り過ぎな気がする
最大瞬間風速ってモノによって結構いいのでるからなあ TheBloke/StableBeluga2-70B-GGML試してるが、GPT3.5にはまだ及ばないけど、修正しながらなら十分遊べるレベルだ。
台詞周りもまあまあ良い ところで皆エロ小説書かせる時、どんな指示してる？
なんか、エロ小説書いてくれって単純に指示するより、
一般小説書かせるプロットにして途中でエロ方面に修正する方が
出来が良くなる感じがする。
エロ小説かけって指示すると、すぐ襲いだす傾向あるしｗ >>424
それいいな、今度試してみる
エロは情緒があってこそよ
ロクにcaressもしないでぶっ込むしな ウチのAI君も、次の行にはdi●kいれたがる
まぁ、AIちゃんもすぐs●ckやらli●kしたがるのでドッコイなんだろう >>424
チャットでもその距離感が難しいよな
べた惚れにすると盛の付いた動物みたいになるし
少しでも障壁を置くと果てしなく高い壁になったりする
人工知能さんお前もう少し自意識を持てよ キャラクターが無個性化していくのが一番気になるから、自分は最初に女性キャラクターのプロフィールを書かせる
その後、健全短編とエロ短編を織り交ぜて書かせる 最終的にはパラメータ持たせて、そのパラメータに応じた適切なセリフ生成するほうが向いていると思う
でもそれが意外と安定しない おっ
KoboldがバージョンアップしてELYZAのgguf版が使えるようになったわ その方面で定評のあるMythomaxとのマージモデルもあるみたいやな このアテナもERP(Erotic Roleplay)向けということや
https://huggingface.co/TheBloke/Athena-v1-GGML
先のキミコもそうやがgguf版もあるからそこはお好みで キミコ70bも出てるやん
くそー 出先だから試せん blokeだけでもモデル多すぎ…きっと日本語エロチャ特化のモデルがあると祈って探す… 帰ったらkimiko試すぞー
少しでも日本語能力あるといいんだが Kimikoの作者のコメント
「好きに使え、俺は知らん」
てのがイケメンやわ なんやかんやで13Bではもう満足できんな 描写がどうしても拙い
やっぱ33Bよ StableBelugaの日本語能力はかなりあるな
64GBにして70B試してみたいわ gguf動くならggmlよりそっち使った方が精度上がるのかな？ >>407
喋るGPTが出来たよ(ADAが作ってくれたとも言う)
ありがとう kimikoはLimarpの小規模なデータセットにAiroborosが吐き出したエロ文章を追加したものだったはず
つまり全部エロだな
https://rentry.org/7q6aw エロのためだけの70Bモデルを自作する奴がいるとか
世界始まってんな kimiko 70B 試した。
日本語は正直精度低かったが、英語でのエロはなかなかの出来だった。
これは英語エロ専用にした 日本語は他の70Bと大差ないね
まあNSFW系の追加学習に日本語は含まれてないだろうしな これ含めてこの数日、日本語出力できるモデルを弄ってたけど一番良かったのはstablebeluga2の70Bだった
https://huggingface.co/TheBloke/StableBeluga2-70B-GGML/tree/main
こいつは本当にダークホースだったわ
次点でopenbuddyの70B
ELYZAもgguf版が動くようになったから触ってるけど中々意図した出力にならず苦労してる
規制が強いせいなのか独特の癖があるのか自分が使いこなせてないだけなのかまだ分からない
あと日本語の破綻はさすがに少ないがある程度長い文章になると表現力不足を感じるのは7Bの限界かもしれない 会話するみたいにするにはコンテキストに何か入れるんですか mmnga氏のELYZAもgguf版koboldで使うととんちんかんな返答するんだけど、
どこのgguf使ってる？ >>456
自分もmmnga氏のはず
なんか回答が的はずれなんだよね
web上でお試しした時はもっとまともな応答だったので、指示の作法が何か違うのかもと思い試行錯誤中 >>455
Koboldを使ってるならchatかinstructモードでそうならない？
違うUIならそこはそれぞれ 70B使うとKoboldじゃあlayer14くらいのグラボ使ってもテキスト出力が2100ms/Tぐらいと撃沈しちゃうから羨ましい koboldでローカルllmに初めて手を出してみたんやが
メモリ64g積んでGPUも4090積んでも70Bはめちゃくちゃ重いな
やっぱCPUパワーもいるんやね… 33BのGPTQなら24GBで動かせることもあるんちゃう？
まあ基本的に今のLLMはGPUよりもCPUよ 70b台は遅いの前提で、ゆったりと使うのが良いかと さらっと当たり前のようにバケモノだらけやん…
LLM加速させたいとも思っちゃいるけどそんなPCあったら俺はひたすらゲームするわ cpuはマルチ性能重視かシングル性能重視かどっちがいいんです？ ヤリサーのナンパゲーみたいな使い方してる人結構いるのかな >461
>462
なるほど、そういうもんなんやね
同じローカルの生成AIでも画像生成とは別モンって思わないかんな >>463
メモリ64GB ここ3年で出た中堅どころのCPU できたら3060 12GB（別にもっと下でもいい）
メモリが安い今なら大したもんちゃうやろ 70bってメモリいくつくらいいるの？
3060にCore i7 12700Kとかでも動かせるもんなんか >>470
使う各モデルにMAX RAM requiredって書いてあるからそこを参考に
31GB～75GBあたり
メモリーあればうごくんじゃない？ >>469
コア数か。PC組む時の参考にします
ありがとー 70Bを動かす時に必要なものを優先順に書くと
1.メインメモリ64GB
→必須。これが無いとそもそも動かない
2.できるだけ性能の良いCPU
→出力速度に直結するので
→コア数が重要で8コアあれば1-2世代前のでも結構使える
3.グラボ
→補助的に使うと速度アップする
→3060の12GBで充分。それ以下でもOK(それほど重要じゃない) それらが乗るマザボ、ここは手を抜けない。最重要
電源、ここは心臓部。妥協できない。最重要。
ファン、ここを疎かにしたら全てが駄目。最重要。
SSD、最重要。
ケース、これがなければ裸の王様。力を入れれば入れるほど光り輝く。最重要。 手抜きせずにネタならネタでしっかりしたネタにしろよw https://huggingface.co/Undi95/ReMM-L2-13B-GGUF
今これを試してるんだけど思ったよりいい出力で驚いてる
mythomaxと同じ構成だけどあの特徴的な勾配でマージしてるわけではなさそう >>479
GGUFて使ったこと無いけどkoboldで普通に読めるん？
いまkimikoの13Bと70B落として13Bから試してるが、めちゃくちゃエロいな
さすがエロファインチューニング
13B侮ってたわ。サクサクで早いし ネットミーム的な語録を片っ端から追加学習させたらどうなるのか？
chatモードで会話しているとネットユーザー特有のウザさが増えそうで怖い Yarn-Llama-2-13B-128K
128K context lengthって本当にちゃんと動くのかな >>480
最新版なら対応してる
GPUにロードするレイヤー数とかも特にいじらなくていいと思う >>483
サンガツ1.42.1なら大丈夫そうやな
GGMLと比べて、体感どう？早い感じする？ kimiko、13Bでもエロいよね
サクッとエロい話を書いて欲しい時に重宝しそう。早いし
最近kimikoの他にもAthenaとかSthenoとかエロ向けにファインチューンしたモデルがいくつも出てきてるな
いいことだ >>485
kimikoの13B
意外と情緒のある文章で驚いた
13Bの速さに慣れたら70Bできなくなりそう
Sthenoも試してみるわ
kimikoもだけど、33B出してくれないかな >>484
開発側からすると違うみたいだが正直よくわからない
普通にGGMLや ウマ娘, ミリシタ, 陰の実力者, 薬屋, ゴブスレ, 進撃, スパイ, 盾, 転スラ, 東リベ, Dr.STONE, 大人プリキュア
これ全部フリーレンが倒して覇権取るなんてまず無理だろ Bing辺りに覇権はフリーレンですとか回答されてブチ切れたのでは んーkimiko13B理解力の面でなあ
やっぱ70Bか OpenBuddy/openbuddy-llama2-13b-v11.1-bf16
これ、大葉で試したが、日本語の表現かなりいいな。
規制きつめだから、エロは修正回避が面倒だから普通の小説で試したけど
会話の表現がかなり自然だ。これは70Bが期待できる。ブローク先生、早く！ｗ って、言ってるうちにGGML版を出してくれてたーｗ ツクールの同人ゲームをdecryptしたセリフデータと、セリフに対応した画(をtag付けしたテキスト)のセットを山程用意できるから、これでfine tuningしたいなあ。 fine tuningについて聞きたいんやが、openaiのやとuser assitantで会話形式にせなんやんか。
小説書かせるやつfine tuningするのにもそんな感じのデータセット必要なん？
村上春樹の本渡したら村上春樹っぽく書かせるとかはできんのか 知らんけど、それ系のモデルの説明欄に学習に使ったデータセットとか書いてあるから
それ見に行けば分かるんじゃね？ >>487
サンガツ
SthenoのGGUFで試したけど、体感ほとんど変わらんね
肝心のSthenoは、kimikoに比べると今ひとつな印象やった GGUFは多形式への対応が目的らしいから、高速化はあまり主眼じゃないね。
最適化はしてるだろうけど。
元々のGGMLは、llama/alpaca形式に準拠したモデルだけを前提としてて、
後発の形式を判別するためのメタデータがあまり含まれてなかったみたい。 >>495
AIのべりすとにMODという機能があって、これはまさにそういう、好きな小説家の文章をデータセットとして渡すとその文体を真似るMODを作ってもらえる
詳しい仕組みを自分は知らないがQLoraと同様のことをしてるんだろうなと思ってる
要するに計算リソースとデータセットがあれば好きな文体を真似させることは可能 CPUで動かす場合メモリの速さが重要かもだけど、確かめてない。Quad Channelだと速かったりするのかな まずメモリ確保した後はCPUアンドCPUでしょ
できればGPUもあると多分そこまでの文脈処理だけは
速くなる、みたいな そのうち「130Bです！ 128GB＋最新のハイレンジCPUなら
GGUFモデルを1秒に1文字表示できます！」みたいのが
来るやろからなあ
そこまでいけば多分ChatGPT3.5には負けないやろ GGMLはCPU大正義だけど、13Bをレイヤー40で動かしたら早すぎてワロタ
読むのが追いつかないレベル
やっぱ最後はGPU依存になると思うわ 最後つーても33Bを安定してGPUで動かせる環境が
5万円GPUくらいまで落ちてくるまで何年かかるか・・・ Retnetはメモリーへのロード量がTransformerの半分程度って見たぞ
その場合学習効率も上がって100B以上のモデルが出回るのかもしれないけど 5万のGPUじゃ今でも大したことできなくね？
モデル、ソフト、ハードの3軸で速度と品質上げようとしてる訳だし
そんなに遠い未来でもないと思う
まあ50シリーズはVRAMショボいみたいだけど >>508
20万のGPUでも大したことできないのが問題なんや
やっぱLLMは基本的に33Bからやと思う 実際70B動く環境持ってる人って1秒何文字くらいの速度で生成できるの？ >>509
13Bで割とエンジョイしてるワイのほうがマイノリティかもな
でもGPTQの33Bて17GBくらいやろ？VRAM24GBあればGPU上で動くと思ってたけど、動かんの？
ワイの12GB環境では試せんけど
てか、33Bでエロファインチューニングされたモデルってまだ見てない気がする
見つけられてないだけかもだが >>512
そんな遅いのか
メモリ64GB買おうかと思ってたけど辞めとくかな グラボで簡単？？？に手が届くやつのVRAMはrtx4090とrx7900XTXでvramは24GBなんだぞ…
それ以上なんてTeslaのnvidiaのA100で到達できる80GBなのに…価格…知らない子ですね… 3090を中古で買うのは？
それかローエンドの適当なやつを2枚刺しとか ほげー、vramは同じの買ったら処理速度が増えるだけでなくてvramも増えるんか、初耳…増えたらマネするわ >>512
まじか・・・
M1Max+64GBの型落ちmacで 5.2t/s出てるから
ちゃんとしたGPU載ってるゲーミングマシンなら50t/sくらい行くもんかと思ってたわ 70bはgpu+メモリが64dgあれば、ggmlないしggufが「最低限」動くだけかと
おそらくは、個人で快適には現状無いと思うので、gpu2枚以上は金の無駄になと思うよ M1Maxってメモリ帯域がめっちゃ広いからそこで差が出てるのかもね >>520
70Bが5.2T/sってめちゃめちゃ速くないか？ 下手したら読むより速いやん
mac買うわ まさか今の時代にメモリバンドを考慮する事になるとは
時代って繰り返すもんなんだな Macは通常のメモリが半分VRAMみたいな扱いなんだっけ？
ここに来てMacがLLMで優位に立ったりするんか メモリ帯域がそのま速度差だとするとM1Ultraは800GB/sらしいからGPU並の速度で70Bが動く…？ kimiko70bの英語エロ力すごくないか？
このスレの英語民の人の感想が知りたい A100でKimiko V2 70B GPTQをExlamaで読み込んで10t/sくらいだな kimikoさんは、２度ほど試したけど喘ぎ声のセリフが、ahhhhばかりになって演技っぽくて、虐め甲斐が無かったなぁ いや、他のmodelでは、oh! とかugh!とかも混ざるんだけ、進行が悪いのか途中からahhhhだけしか言わなかったのよね
あとやたら間延びしたセリフが多いのも（yeeesss,pleaasee）気になったし
ここらは好みなんだろうけど a100でやってる人はさすがにgoogle colabつかってるだけだよね？ >>531
喘ぎ声はまあそんなもんだけど状況描写やエロ展開へのネットリ感とか良いと思うんだけど なんやかんやで33Bクラスだとairochronosよりwizardlmのunsencoredの小説のほうが
安定している気がするんだけどどうだろう
airochronosはなんか描写があっさりしているような…… 動画編集用に買ったMacStudioで70B試してたんやが割と速いんやな
starfield用にゲームマシンの予算悩んでたから助かったわ
>>523
ワイのと同スペ整備品は27万になっとる（在庫待ちやが）
新型M2Maxの新品は35万や openbuddy-llama2-70b-v10.1-q3_k.gguf
日本語対応と言ってるだけあって会話シーンは他の追随を許さないレベルだな
q3でこれならV11.1のq5kmはgpt3.5に近づくんじゃないか？ 現時点の日本語対応マルチリンガルモデルは
openbuddyとstableBeluga2が双璧と思ってる googlecolabにkoboldAIとかあるから、ちょっと弄ったら70BモデルをダウンロードしてA100で遊べそう
問題はBANされそうな内容でお試しができない事か… 通信量自体はクッソ少なくて済むわけだろうから
捨て回線とタブレットでやるとか…… koboldでAuthor's Noteに設定すると、削除してもずっと引きずられてることない？
New sessionすればいいだけなんだけどさ text-generation-webuiでGGMLモデルを読み込む時のパラメーターは何をどうしたらいいんでしょうか
GGMLだったらllama.cppのローダーを使うのはわかりましたけど
細かいパラメーターが分からなくて失敗します。 text-generation-webuiだったらモデルのパラメータはだいたいいい感じの初期値を自動設定するはずで、特殊設定必要なのはだいたいモデル側の説明目に書いてあるもんだけど、どのモデル動かそうとしてるん？ 複数個いろいろ試しています。
モデルを別にダウンロードしてmodelsに入れるやり方がだめなのかな
UIでダウンロードしたら自動的に設定されるのかな 前にやったときにggmlだと、n_qqaが0になっててエラーになったのがあって、
8とかにしてロードできた記憶があるなぁ やっぱりUIからダウンロードするやり方で起動できました。
失礼しました。 GGMLのモデル初めて起動できたけど、激重、やっぱりパソコン買い替えてメモリいっぱい積まないとだめだな Macが速いからってMac選ぶには勇気いるだろうだってMacだぞ youtubeでllmのPCパーツ性能比較してくれる人がいたら神なんだがな（絶対再生数伸びない CPUは古いパソコンでも大して使ってない、やっぱりメモリなんでしょ メモリ32GBでも70B動かそうと思えば動くもんなんだな
VRAM8GBも使い切る設定にしてるから動いてるのかもしれんけど >>554
同じくぎりぎり動いたけど13Bでいいやってなった
34Bあたりが実用の限界って感じがする 仮想メモリ使わないで７０BをDRAMだけで起動せるのにどれくらい必要？ Airoborosの70Bを例に取ると
Q4_K_Mで43.88GB
Q5_K_Mで51.25GB となってるな
Hugging Faceの各モデルのModel cardのところに大抵書いてあるぞ Transformerと比べてメモリ使用量が1/3.4になって出力速度が8.4倍になるらしいな
夢のような話だが開発がMicrosoftと中国の清華大学というのが少々気掛かりだ >>556
そもそも仮想メモリって言葉が出る時点で無理です TheBlokeニキがやってくれたぞ
OpenBuddy-Llama2-70b-v10.1-GGUF
今、q5kmを試してるが、q3よりかなりいい感じ。
日本語評価はキャラ同士にチャエッチさせると分かりやすい >>562
う～ん、llm周りに絞って言うと、現状gpuメモリでは足りなくて、通常のメモリを代替で使っている状況でクソ遅いのに、さらに遅い物理ディスクを使う理由って何かなと
ここ最近は、ssdの負荷も考えて、仮想メモリなんて使う人のほうが珍しいと思って 東大松尾研発、ELYZAが商用利用可能な70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開
https://codezine.jp/article/detail/18275 >>560
否定的というかRWKVと比べた新規性がよくわからないって意見が多いっぽいな >>567
デモページあったのか。システムプロンプトとパラメーターもわかるし助かる elyzaは本家のモデルを大葉で動かすとすごくいい感じの日本語出すね。
チャットじゃなくて、デフォルトモードの方で
喘ぎ声やセリフ周りははgpt3.5並みじゃないか、これ
ただ、fastモデルは2つともエラーで動かんかった >>573
この辺の調整すれば>>6
公開されてる全モデル動くよ(´・ω・`) >>574
さんきゅ 試してみるよ
ところで、AIのべりすとからデータ提供受けたのこれだっけ？
やたら潮を吹くって表現でてくるんだがｗ こいつだな
ELYZAとは別
たぶんこいつを使うと銀の橋が掛かったりするのであろう
@_bit192
本日公開されたStability AI Japanの日本語7Bモデル
「Japanese StableLM Alpha」に
当社から約150GBの独自データセットを提供しました。
今後、国内のオープンソースAIの発展に向けて、Bit192からも様々な取り組みを行っていきます。 そういえば自分もELYZAを試してた時に乳首をちょっとくりくりしたら潮を吹いてたわ
ELYZA… 64GBメモリは25000円くらいですってよ奥さん
256GBメモリが3090中古と同じくらいってのが恐ろしいな ってかGPTQ4bitでも320GBも要るの？
200GBくらいかと思ってたわ
それならGGUFとかでかろうじて動く可能性あるように思ったんやけど 128GB積めばGGUFやGGMLは動きそうだけどな
問題は速度や 128GBなんて4枚で5万円前後だろ
半年前LLMのために買ったわ メモリ128GBとか192GBの変態よ突撃するのだ Hugging Faceって無料でどこまでできるの？
spaceってのは無料では使えないの？ 流れが早すぎる
そのうちローカルでchatgpt動かせそうやな しかし180Bについては「動かせることは動かせるが・・・」となりそう
ちょっとやそっとのハードウェアの進化じゃ太刀打ちでけん
まあただ近年あまり居場所のなかった超マルチコアCPUの出番ではあるかもしれない？ transformerよりも軽くて速くて賢くできる技術が実用化されることに期待だな 180b gguf q3 ぐらいなら64Gでも動くかな？ 70Bから先はGPUリソースを何処からかレンタルするという方向になると思う
個人設備で運用するというのはあまり現実的じゃない
A100を二枚だの八枚だのホイホイ用意できれば話は別だけれど
別のアプローチが必要なんだろうな とりあえず、Q5ｋｍレベル動かせる人、レポお願いします〜 128GBのDRAM積んだPCを組もうと思っているので、１８０が１２８ＧＢで動くか教えてください。 ひとつの目安としてはファイルサイズ+3GBくらいのメモリが必要 やっぱ理論上は128GBで動く気がするわ
まあそもそも100GBのファイルをダウンロードして保持する時点で
ヒエッって感じはするけど ファイルサイズ的に4KMは128GBで動きそうだ
5KMは厳しいかな しかし size = 96781.88MBは見ただけで草が生える こういう分割されているファイルはダウンロード後に結合する必要があるんだっけ？ huggingface spaceの無料メモリ１６GBで最低限日本語をちゃんと理解できるモデルってある？
それにファインチューニングして使いたいんだけど 日本語(マルチバイト文字)の問題は、理解の方じゃなくて出力のような気がするけどね。
現行のモデルの多くは(一部トークン周りの問題点を除けば)、かなり理解してると思う。
180Bのデモがあったんで少し遊んだけど、さすがに理解力や表現力は高かった。
が、語句の末尾の活用とか、カタカナ語(つまり訳語)の表記に少しだけ乱れがあって、
相変わらず日本語はハードル高いな、と。英文だったら有り得ないミスなわけだから。 Macってsdxlとかも爆速だったりするの？
lora作るのに半日くらいかかるのが数分とかある？ 通常のNVIDIAのグラボのVRAMに収まらないようなアホほどデカいモデルを処理させても
それなりの速度でやってくれるメモリ帯域のでかさ、ってのがMacのいい奴なわけでしょ
sdxlってのがそれに近いなら速くなるやろし、別にVRAMで収まるなら関係ないのでは 一週間以上kimiko愛でてるもんやが
今までずっとinstractで楽しんでて今日ようやくchatしてみたけど、
さすがロールプレイモデルを謳うだけある。
完全に役になりきってめちゃくちゃｴﾁｴﾁできた
あーはやく33B出てくれ レビューは助かるんだが日本語と英語どっちで会話してんのかわからんと反応しようがないわ ワイまだLLMまったく把握できとらんのやが
日本語での会話を困難にしとるのって
謙譲語・尊敬語・丁寧語の区別があるせいやろか？
逆に「だ・である」調に統一したキャラ設定なら
ロールプレイさせても自然な会話ができるということやろか？
間違った理解ならすまん >>632
ですよねー
さらっとネイティブ英語マンいるよなこのスレ 実際chatGPTは方言とかお嬢様言葉とかツンデレキャラとかもちゃんとやれるからな 日本語のある程度賢いモデルが登場したとしても、エロ周りの表現についてはさらにファインチューンで追加学習させる必要があるだろうなと思う
要はKimikoの日本版だな エロゲの画面に表示されたテキストを横取りするツールがあるから
手あたり次第テキスト化して、みんなでどこかにファインチューニング用の素材として貯めこまない？ 自分もチャットモードでKimikoと遊んでる
こちらが教会の神父になって告白室でAIキャラに色んな経験や願望を告白させるプレイが捗る
自分の欲望に正直になって良いのですとか神は全て許してくださいますとか適当なことを言ってエスカレートさせるのが楽しい
純正KimikoもいいがMythomaxとのマージモデルもなかなかいい感じなので比べながら遊んでる
MythoMax-L2-Kimiko-v2-13B-GGML とか MythoMaxとのマージいいよな
7歳の娘が父親の歯ブラシ盗んで自室でオナニーしてるところを父親に見つかって
歯ブラシ突っ込んだまま泣きながら謝ってくれるシチュエーションでめっちゃ捗る やるやらないは別として機械学習に著作物使うのは合法らしいっすよ 学習、特に定型句などのトークン不足は前提としてあるとして、
英語モデルに日本語を出させていて感じるのは、次の一文字(1トークン)を出力する方式との相性の悪さかな。
漢字で顕著だけど、温度やTopPを下げないで妙な文字が選択されると、そこで話の流れから脱線する。
で、何とか戻ろうとするのだけど、日本人から見て明らかに文章としておかしな表現になる感じ。 それはネット上に転がってるテキストを無作為に学習することが合法であって
上の提案は他人の著作物をアップロードして共有する事が違法 キミコ70bしか使ってないけど13bもできる子だったのか >>645
小説形式は33Bか70Bのモデル
チャット形式はレスポンス速度重視で13Bと使い分けてるわ ノクターンとかpixivとかに大量にあるエロ小説を学習させるのが手っ取り早い方法かもな
まあ例え法に触れないとしても作者からは反発がありそうだから大っぴらにやらない方がよさそうだが
質的にも玉石混交だしな… なんかいきなり奇声上げてアヘってる文章が生成されそう… >>647
紛らわしくてすまぬ
33BはKimiko以外の話だ chatGPTは使用例集や法則を具体的に提示しないとオホ声を出してくれないからな >>648
AIのべりすともなろうとかハーメルン学習させてるし大丈夫じゃね >>635
サンガツ 経験値不足やったか
ワイ自炊した電書を片っ端から吸わせて専門知識つけさせて
呼び出せるようにしたいのう 50年ぐらい前の日本語までは青空文庫である程度カバーできないかな 著作権気にしてたらLLMというか機械学習は発展せんやろ
清濁併せ呑んでこその進化や そもそもAIのべりすとのデータだってなんかに提供されてたやろ 女の子は女の子っぽい喋り方
オッサンはオッサンぽい喋り方
これができるだけでかなり違う 解散した会社のエロゲとか権利どうなってるんだろうな >>658
何社か知ってる限りでは
社長が個人で抱えてたりすることが多い
ただし零細のところばかりだが sakuraumi/Sakura-13B-Galgame
これ気になるんだが、大葉で動くのかな？
誰か分かる人いる？ まずは落として自分で報告しろよ
180Bとかならともかくさ 大葉では、どうやってもエラーになるから別のアプリが必要なのかと >>660
日本語＆中国語行けるみたいね
GGUFあるんか！と思ったけどなかったわ
ブロークニキやってくれるかな 13Bだから64Gでも大葉で動くと思ったんだけど、エラー
なんか形式が違う感じ ギャルゲーの文章を中国語に翻訳するのが目的みたいだから我々が期待するような出力をしてくれるかは分からない
説明に「まだ実験版であり翻訳品質は低い」と書かれてるし 解散した会社のエロゲの権利を誰かが持っていたとして、勝てるか分からない裁判を金かけて起こすのか？
ChatGPTは学習させる事は著作権を侵害していないって言ってるからな 学習には利用しておいて出力には制限をかけるとはふてえ野郎だ >>660
前にoobaで少し触っただけだけど中国語出力しかしなかった気がする。
翻訳用だしそりゃそうか >>671
それな
openaiが学習できたのはインターネットの自由を求めて戦った人達がいるからなのに、恩を仇で返しやがった ファインチューニングをjsonでやるってのはなんとなくわかったけど、長文を覚えさせるのはどうしたらいいの
何か噛ませるのか？ KoboldのAdventureモードもなかなか楽しいな
Kimikoなどのモデルを使えばお手軽に選択式のエロエロアドベンチャーゲームが遊べる adventureモードってinstructモードとあんま変わらんイメージだったけど選択式なんて出来るの？ >"コマンド"
見たいな感じで指定できたような。
ただmodelの相性なのか、事前のpromptが変に作用すると、>move→>stopみたいに勝手にコマンドを生成して、
お前二重人格かよ、みたいな自体になったことが…
あと、なんか女の子となかよくなっただけなのに、〇〇Endみたいに勝手に終わらせようともしたりと、なんか思った以上にままならなかった記憶があるね。
謎Endのあとに、"Comment:Nice story!"とエロゲもどきなのに、謎感想をつけられて以降は使ってない TheBloke/ORCA_LLaMA_70B_QLoRA-GGUF
これの日本語セリフ表現かなりいい
ただ規制が強いのか話を倫理的な内容に持っていこうとするw ほほう
以前OpenOrcaは試した記憶があるな
こいつも帰ったら触ってみよう ファインチューニングのやり方調べてるけど、素材づくり用のツールはUIがブラウザベースみたいだから、サーバ立ててみんなで入力とかできるんじゃないかって思うけど 野良で人材やデータ募集するととんでもねえのが混じるからしんどいぜ やり方は慎重に考える必要はあるな
だが我々で日本語エロモデルをファインチューンしようぜという動きは歓迎だ >>290
chatGPT終わったからLLM期待してたけど結局規制されて終わり？
規制といたちごっこは勘弁 日本は富嶽でLLMをつくるようです
なぜ日本はGPUのない「富岳」でLLMを研究するのか？外国に後れを取らないための現実的な理由とは [565880904]
https://greta.5ch.net/test/read.cgi/poverty/1694416664/ ロジック的な話かと思ったらGPUのスパコンが空いてないからって悲しすぎる理由だった 規制強めのモデルだったから申し訳回避が必要だったというだけの話で
規制の無いモデルなんて幾らでもある >>689
マジか
全裸待機しとく
128Gメモリー刺したらOS飛んだ
ryzenは4枚刺して負荷かけるとアカン、ECCサポート外って知らんかった とりんさま公開からのファインチューン合戦ぐらいの勢いが欲しい 富岳単体じゃないってばよ
理研 AI用スパコン「語岳」整備 「富岳」と組み合わせ「世界一」と同等性能確保
https://ledge.ai/articles/riken_gogaku_fugaku 大葉でkimiko使ってchat modeでcharaとのチャットは手探りながら結構楽しんでるんだけど、
instructはまだいまいち掴めてなくて…どう使い分けてるんです？ ファインチューニング用の素材ができたら、いろんなモデルに入れてみることを考えて、汎用性の高いルールがいいよね こつこつ放り込むだけのデータベースだけ用意するとか？
それならスプシだけでもでき……容量が足らんか テンプレートの形式すらよくわからんから手を出しにくいってのが壁なんだろな
それさえ規格化できればなんとでもなる気はするけど >>693
kobold派だけど、instructは長文小説用じゃね？ instructで長文って要するにChatGPTで言う
官能小説ジェネレーターのパート分けみたいな感じでしょ
いちいち展開をいじれるkoboldの場合要るのかって気もするけど
どうなんかな >>693
大葉のデフォルトモードのこと？
あれ使うとkoboldみたいに展開いじれるんでchatmodeよりよく使ってる。
ところで、
TheBloke/Spicyboros-70B-2.2-GGUF
これ、情報見ようとするとすべて18禁警告でるね。kimikoですらそんな事なかったので、
期待して落としてみたら・・・。
今、日本語検証中だか、セリフ表現はstablebeluga2並みかそれ以上
そんでもって、エロはkimikoに負けてない
おそらく英語ならもっとすごいと思うが、日本語が良すぎて英語まで検証が回らん状態だｗ
英語は英語民に任せたｗ Chat - 設定で定義されたキャラクターのみが使用されます
instruct - instruct テンプレートのみが使用され、文字は使用されません
Chat instruct - キャラクターテンプレートとinstruct テンプレートの両方が使用されます。
だそうで(大葉) Spicyboros検証続き
ヤベェ、かなりいいぞこれ
日本語会話が、男と女、ちゃんと喋り方を使い分けてくれる。浮浪者とかは下品な感じになるｗ
ちょっと不安定な所も見られるけど、今までで一番の当たりかもしれん。 帰宅したら試してみるぜ！
出先で触れないのがローカルの辛いところだよな テキスト入力するだけなんやから外部からつなぐ系の入れれば簡単では アカン、メモリ32GBぽっちだと70B動かんのね。99%で張り付いて終わる。13Bだと60%ぐらい。 >>706
メモリ32GBだけどVRAM8GBをフルで使い切る設定にしたら動くよ >>700
警告: このモデルは、求められれば、冒涜的なコンテンツや NSFW コンテンツを喜んで吐き出しますので、使用には注意してください。
おいおい楽しみじゃねーか カジュアルなチャット/ロールプレイではなく、指示と応答のペアにかなり重点を置いています。
だそうで。kimikoと使い分けやね Spicyboros、日本語と英語で使ってみた
まず日本語だけど確かにかなりこなれてると思う。今まで試した他の70Bモデル、StableBeruga2とかOpenbuddyとかよりも上だと感じた
まだまだ実用レベルでは無いが確実に進化してるなと思えるよ 次に英語だけど
確かにエロいし描写力もある。Kimikoとどちらが上かはもう少し回してみないと分からない。単純なエロさならKimikoが少し上かも…という印象はある
ただKimikoはエロいのと同時に倫理観もどこかにあるようで、アレな設定の小説を書かせていると
「彼らの不道徳な関係は、いつか世間に知られ糾弾されるのだろうか、それともこのままさらに闇に沈んでいくのだろうか」
とか大きなお世話なナレーションを挟んでくることがあったけど、こいつはそんなことはなく、悪徳上等な雰囲気がある >>712
kimiko、確かにあのナレーションいらんなw
早くSpicyboros試してみたいわ
13B試したやつおる？kimiko13Bと比べてどうやろ Spicyborosの34Bも出てるな
Kimikoにこのサイズは無かったから期待だ Euryale-70Bってのも来てるな
Sthenoの発展モデルらしい
NSFW - Yes とのこと 最近こういう方向性のモデルが増えてる気がするのは、chatGPTの規制強化を受けた流れなのだろうか？ 仕事でLLM使いこなす為には、どのみちファインチューニングのやり方を覚えないといけないから
みんなで楽しくやりましょう >>714
おいおいまじかよ
70B遅すぎて13Bで妥協してたワイに朗報や >>715 ステンノー、エウリュアレーときたらその次はメドゥーサかい 元ネタのゴルゴーン姉妹だとメドゥーサだけ不死じゃないんで性能劣化してる気がするがｗ 34Bは基本モデルがCodeLlamaのバリアントだから
llama2ベースの7B、13B、70Bとは少し挙動が違うかもしれんよ なんか誤解招きそうだったので追記
codellamaはllama2のコーディング特化の派生モデルです。
metaはllama2の30B級モデルは未公開のくせに、llama2から派生させた
codellamaの34Bモデルは公開してるからこんなややこしいことに Spicyborosのc34Bは、Airoborosのc34Bがベースだと思ってたわ
この説明だとロールプレイ向きだがの
Airoboros c34B 2.1
c34B 2.1 model is a refined Llama-2 version, enhanced with synthetic data through the Airoboros system. It introduces an experimental instruction set categorized into "rp" and "gtkm." While "rp" allows for multi-round, emotive conversations defined by character cards, "gtkm" provides a streamlined alternative for character-based questioning. The model also supports intricate writing prompts and is capable of generating next chapters for ongoing narratives. 反転版ってのがどうなのか気になったんで
Euryale-Inverted-L2-70B も検証してみた。
結果
エロい質問したら、めっさ怒られたｗ chatgptでもあんなに怒られたことなかったのに
リトライしたら一応答えたけど、最後に警告されたわ
規制解除が反転してんのかと思った
ちなみに
Euryale-L2-70Bの方は普通にエロＯＫだったが、Spicyborosよりは日本語レベル低い感じだった 規制解除って追加学習？FT？的な事でやるんだろうか
もし仮にGPTがローカルに漏れ出たら規制を外す事が可能？ koboldcppでSpicyboros70B試してみてるけど、官能小説みたいなのをゆっくりと長文で書かせていくのってどうしたらいいの？
chatgptなら、指示を与えてみたり、文章の始めをこちらから与えて思い通りの展開に持っていけるけど、koboldcppではnewstoryでもinstructionでもchatでも、指示した内容の粗々のストーリーを一回で出力してお終わっちゃう。
chatgptみたいに、お互いに掛け合いをしながら、一緒にストーリーを紡いでいくにはどうしたらいいのかな？
どっかにstep by stepでサンプル載ってるとこない？ >>726
instructionでプロット提示して、この内容で小説かいてくれって指示してみて
そんで、気に入らない展開になったら、ABORT押して、AllowEdiitngオンにして直接主力文章を修正するか、
新たな指示文を入れるかでいけるよ。
直接修正する方が手っ取り早いかな みんなまだLlama.cpp使ってる？
久しぶりに来たらもう浦島太郎だわ >>726
書き忘れ
instruction小説書かせるなら、セッティングのMax Tokensは最大の2048、Amount to Genも最大の512にしておくこと。
あと、Trim Sentencesはオフの方がいい。
chatmodeならwikiの通りAmount to Genは80程度がいいかもね >>726
koboldでキャラ等設定がが決まっているならだけど
うちだとstory mode（newstory）で、「w info(world info)」ボタンを押して、
出た画面の左側のキーにキャラクター名や地名を指定して、右側の方にその設定をかいて、
右端の画鋲マーク（Toggle constant key mode）を有効にして使っているなぁ
あとは、MemoryボタンのAuthor's noteに、必ずやってほしいこと（文体や時代背景）を書いて遊んでる。
正しい使い方では無いかもしれないけど、これで今のところはそれなりは動いている…のかな？
サンプルだと、英語にはなるけど、aetherroom.club のものを持ってきて最初は参考にしたよ >>726
こういうノウハウの蓄積は必要だと思うわ、俺も困ってる
俺はchatgptイジってたときに使ってたプロンプトを英訳して、最後に罫線で区切った後「One day,」とか入れて出力させてるかな
そしたら比較的小説チックなの書いてくれるよ
今はアドベンチャーゲーム形式で女主人公にモンスターからエッチなことさせるような、ダンジョン探索を進めるようなのを出力させたいと思ってるんだけどなかなか上手く行かない 複雑なプロンプトを書きたいならsillytavernでエロRP用のカードを作成したほうがいいんじゃね
chub.aiにADV形式の参考になりそうなカードがあった気がする お任せにすると短篇で終わらせようとする傾向は強いね
なのでこちらが意図してない方向に進み始めたり終わらせようとしたら、上の人も書いてるけどABORTしてAllow Editingして余計な部分を消したり書き換えたりして、次の展開を指示するのがいい
だいたいfuckしたあとfall asleepしてそのままThe Endにしようとしやがるので、「そして次の日。」と書き換えてやったりしてるわ
この辺の使い方はchatGPTと少し感覚が違って、AIのべりすとの方が近いと言える chub.aiおもしろいな。キャラクターカードめちゃくちゃあるやん
とりまV2ってやつを落としてSillyTavernのキャラクター欄にドラッグ&ドロップすればインポートできた
V2とTの違いは、埋め込まれた世界観(Lore)データもインポートできるかできないかっぽい
https://i.imgur.com/4dSg6CX.png なーんか最近のエロいと言われているモデルより
WizardLM Uncensoredのほうが好みなんだよなあ
攻守にバランスが取れているというか
もう3ヶ月くらい前の奴なのに Spicyboros 34B gguf 昨日試してみたけどまだあんまり強みを感じれてないな
プロンプトが良くないのかもしれんが あれ？昨日？
タイムスタンプは3時間前になってるけど
Spicyboros 34B gguf >>734
内蔵？今何を使うのが主流なの？
赤ちゃんですまん
流れ追うヒントクレメンス TheBloke/Marcoroni-70B-GGUF
なんだこれ？
元データがアップされる前にニキがアップしてるｗ お？
Spicyboros 70Bが修正アップされたぞ
これで不安定なところが改善されるかも >>736を読んでWizardLMを再評価してみたが確かにいいねこれ
エロだけじゃなく非エロの部分もしっかり描写してくれる
こういうモデルもいいな
サクッとエロい文章を書いてもらう時はMythomax-Kimikoあたりを使いたくなるが、しっとりと書いて欲しい時はこういうモデルを使い分けるのが良さげだな >>740
自分もSpicyborosのc34Bにはあまり良さを感じられなかった
時々バグるし >>748
33B とか40Bとかいろいろあるけど、どれ使ってます？ Spicyboros 70B 落としなおして遊んでたけど、関西弁しゃべれたんだな
初めて試したんで、他のモデルでもできるのかもしれんが、ちょっといいわこれｗ メモリ積んだら一応70Bは生成できたけど、くっそ遅い
13Bは15.59 tokens/sとかでるのに70Bになると1 tokens/s割ってくるし、生成まで300sとかかかるんだが
あれか、サクサク動かしてるやつはクラウドとかRTX3090二枚刺しとかXeonマシンとかゴリゴリのマシンで動かしてるのか 最新のPCに積まれてるDDR5でも、64GBのメモリからデータをすべて読み込むのに1秒かかるんだからCPUでどうにかなる問題ではない
メモリが数倍早いmacに注目されてるけどそのためだけに買うのは躊躇われるな ひえー180Bで6token/1sとかでとるやん
これがユニファイドメモリなるものか まだまだ発展しそうだし64GBのメモリ注文したわ
来週から70Bガッツリ回すわ 大丈夫、そのうち慣れる
今30Ｂのモデルで英語エロ書かせてるけど、早すぎて理解がおいつかんのだｗ corei9の最高レベルのCPUだと70Bで何t/sになるんかな？ core i9 13900＋メモリ128G＋rtx4090
あたりがコンシューマレベルで揃えれる最高だろうか
これでllama70bがどれぐらいで動くのか俺も気になる 70Bなら4090+CPUより3090二枚差しのほうが遥かに早いはず いまGPUの二枚差しってハードルどうなっているんやろ
数年前は普通に聞いた気がするけど最近全然聞かんような GPUが速いのは分かるが、CPU+メモリで70Bがどのくらい速くなるか知りたい それでも2T/sくらいじゃないかな
上の方の書き込みでMac使いのニキが5T/s超えてる話を聞いてのけぞったわ >>750
普通の33Bだよ
日付が Jun 24 のやつ
40BはFalconのマージモデルとかじゃないか？ >>769
wizardlm-30b-uncensored.ggml これ？
uncensoredはこれとfalconのしか見つからなかった VRAMで１３B動かせる人、
lightblue/openorca_stx
これ試してほしい。日本語tuneされとる Redditで「22 個のコアを備えた古い Xeon E5-2696 v4 @ 2.2 GHz (オーバークロックなし) マシンは、12 個のコアを備えた私の AMD Ryzen 9 3900XT @ 4.2 GHz マシンより約 20% 高速です」とかを見たので、お値段を追求したAIマシン組むのもおもしろそうではある
( https://www.reddit.com/r/LocalLLaMA/comments/1441sw4/for_running_ggml_models_should_i_get_a_bunch_of/ )
最大メモリー帯域幅
Xeon E5-2699 v4｜76.8 GB/s
Core i9-13900K｜67.21GB/s
AMD Ryzen 9 3900XT｜ 51.2 GB/s
VRAM24GB持ちのTesla P40とかK80とかすごい安いけど、こいつらマザボにぶっ刺せば普通に推論に使えんのか?エンタープライズ製品まわりなんも知らんわ 素直に企業向けのワークステーション買った方が多分安い 特定のキャラクターを演じるようにするにはスクリプトをプロンプトに入れろとChatGPTに言われたんだけど
大量の設定をいちいちプロンプトに入れるのは嫌なんだけど
他に方法ないんかな AIちゃん、〇〇のキャラクターとチャットするためのpromptを書いて
というpromptを書く、とか？
うちは英文章書く練習と思っていろいろ英語でprompt書いてみてる
aiちゃんは顔しかめたりしないから楽だ GPT4では見た目、性格、経歴、ユーザーとの関係、発言数個ぐらいは入れた方が再現されやすいよ
Koboldは…chatにして最初はこちらがeditして雰囲気で書かせてから始めるから、W infoとかmemoryとかさっぱりだ… lightblue/openorca_stx
とりあえずBloke先生に依頼出しておいた。
VRAM24G欲しいのぉ 肌地黒で親土木やらの底辺労働者のガキは恥ずかしくないのかな？ｗ >>778
いやchatGPTにLLMで会話風にするやり方を聞いただけで、たぶんどのLLMでもやり方は同じなんだと思う
>>779
ずっとAIに会話させたいのに、いちいちプロンプトにスクリプトなんて書いてられないって話
コンテキストではだめって言われた >>780
w infoで設定モリモリにすると捗るぞ
性癖ドンピシャのオリキャラ設定をかなり忠実に反映してくれる w infoに入れてても全然関係ないキャラ出されること無い？
あんま信用できないイメージなんだよな contant key modeをenable にすれば、memory(prompt)に含まれるようになるから、全く知らん人が出ることは少なくなるかも。 Marcoroni-70B
ベンチで最高点出すだけあって、安定した文章出すな。
長くなっても同じ文を繰り返しすようなこともないし、日本語表現もいい。 おお！！
Bloke先生、もう依頼を受けてくれた！！ 早い！
TheBloke/OpenOrca_Stx-GGUF >>789
マジか、依頼して上げてもらえるもんなやな
たすかる うーん・・・・
ニキの手を煩わせる事はなかったデキだった・・・
13Bの日本語tuneってことで期待したんだが・・・( ;∀;) SORENA
ワシもためしたけど、できのいい13Bとか70Bのと比べるとアホっぽい回答しか得られんかった
ちな自分が日本語性能で今んとこ評価してるのはOpenBuddy-Llama2の13B-v11.1と70b-v10.1。ただし申し訳される
英語でチャットするならともかく、日本語に関してはリーダーボードみてもあんま意味なくて、日本語または多言語対応データセットをつかって学習させたか否かにかかってくる感じはある kobold.cppが対応してるのになんか違いあるんか？ OpenBuddy-Llama2って、エロい事聞くと申し訳されるんで
そっちの評価はしてなかったんだが、なんとなく今試したら、以前申し訳されたお題がすんなり通ったｗ
なんか、コツでもあるんかな？
ちなみに結果は最高のデキやったわ(*'▽') とりあえず官能小説ジェネレーターの英訳版入れたら
普通のシチュで申し訳はされんかったな
速度はそれなりにあるし、半端なローカルモデルで
遊ぶよりよさそう mac買うなら192Gフルスペでしょう
でも256G以上欲しいから待つのもありかなと思ってる 英語でいいから無料でエロチャとかエロ小説を手軽に書いてもらいてえ！ って奴は
poeのsolarがベストって時代来たかもなあ（もちろん官能小説ジェネレーターとか
ASMRジェネレーターの英訳版を入れる必要はあり）
まあちょっと前は3.5で似たようなことができたけど upstage/SOLAR-0-70b-16bit
ニキのリクエストにはまだ載ってないな。
こうゆうのは優先的にやってくれてたんだが、何かあるのかな >>685
ローカルの強みは規制逃れの試行錯誤どれだけ繰り返してもBANされるリスク無いことだからね ああ、リネームだったのか。ニキのリンク先もそうなってるね 今ダウンロード中
ちょうど今日いい感じのエロ小説を別モデルで書かせてたから、同じプロンプトで比べてみよう どっちかっつーとpoeの計算資源使わせてもらえることのほうがでかいと思う いま、ローカルでテストしてるが、poeだと申し訳食らったお題でも、ローカルなら、sorryを消して了解しました。に変えるだけで書いてくれるから楽だわｗ ローカルだとほぼ規制無しだね
表現力も確かに高い
他のモデルだとこちらの指示に一直線に従うところ、色々な場面を挿入してくる
ローカルもここまで来たか、という感じだ 出力形式縛ってゲーム形式もできる Claudeは出来ないのに
これがローカルで動くとは始まったな GPTQの70B動かすのにPCスペックどれくらい必要？ 通常のメモリが40GBくらいは最低要るんやからVRAMでも
同じ事ちゃう
家庭用PCでは相当変態的なことせんとほぼ無理ゲーやね 1枚でやろうとするとVram48GBレベルのやついるからTesla A100、Quadro RTX 8000、A 6000 Adaとかなっちゃう多分
RTX3090とかを2枚のっけて動かしてるやつもRedditでみかける。これでllama-70B モデル (4 ビット) 10 ～ 12 t/s らしい
2 台の P40 に分割して実行して4k コンテキストで 42GB を消費するらしい。これで3 ～ 6 t/s 。 70Bモデルからすらすら結果出してくれるpoeのsolarはえらいんよ winならRTXA6000(48G)あれば、4bitならいけるってことか。
macだとどうなんだろ >>803
日本語だと出力速度が遅いから英語でしかやってないけど、このモデルすげえいい気がする。
なんかやたらと相手のことを気遣ったりする倫理的な部分も若干あるけど、今のところ無視できる程度 早くtransformerの次の技術が実用化されて欲しいな
もっと軽く、もっと速く動作させる技術が出てくれば、さらに賢いモデルが実用的な速度で動くようになるだろう
なってください 30Bモデルで楽しんでるけど、アブノーマルなプレイになると精度落ちるなぁ
極端に女性優位の物を作成させると、いつのまにかcockが生えてきている いまこんな感じの構成を考えてるんですが、ケチり過ぎかなぁ。激遅でも70B動いたら良いんですけど。GPUはstable diffusionが動けば良いので3060にしてるけど5万円プラスして4070にすべきかどうか。
https://imgur.com/a/4VUmnX8 自作じゃなくて、企業向けので見積もってみてもいいかも
個人で１台でも買えるし メモリ１２８GBにしたけど、CPUけちったから、今度はCPUが遅く感じる
i9じゃないとダメか 70BとかCPUとメモリで処理するのは一応動きはするってだけでi9でもクソ遅いよ メモリの速度が最重要で他は割と適当でもいい感じか？ だから高額なMacが現状個人で手に入るものでは
一番ええわけやね
それだけのために買える奴は少ないやろが・・・
DTM勢とかならアリなんか？ おそらく最もエロいものを作っていくには「自由にストーリー考えて」じゃなくて
「シチュエーションや感情パラメータは決まっているから描写して」なんやけどな
シチュとか感情パラメータは昔ながらのif-thenプログラムのほうが上手くいくと思う
「○○という状況に応じて適切な描写とセリフを出せ」みたいの意外と粛々とできないのよな i7 13700だと無理ですかね?プラス3万円でi9 13900Kにするべきか。
メモリはDDR5の6400MHz 64GBを検討してるんですが、周波数が生成速度にどれほど影響するのか疑問です。 70Bにもなるとメモリ帯域が足を引っ張ってる説が濃厚なのでメモリのランクは高いほど良くてCPUのランクは上げんでも良いということになる
ただ今後30Bぐらいで実用的になる可能性もあってその時はCPU優勢になるかもしれん 例えばRTX3090だと帯域幅は930GB/s、MacでM2Ultraだとメモリが脅威の800GB/s、Macが速いのはこの恩恵が大きい
通常のPCだとDDR5でデュアルチャネルでも80GB/sに届かないくらいなので
現状で70Bクラスのモデルに実用レベルの速度を求めるならGPUかMacかって話になる >>834
あと一応poe
70Bの実用的なのを無料で使えるのはありがたいことやで
まあ3.5の規制がゆるかった頃はその上を行っていたわけやが 高級ハードを買いあさるより、huggingfaceを有料でレンタルした方が安いってなんね？ >>834
VRAM並みの帯域があるなら、MACは画像系のSDXLとかにも有利だったりするのかな？ 画像系つーても本当に1枚絵だすだけなら3060でも結構いけるからなあ
今流行ってきた動画系とかではアドバンテージありそう SDXL用のLoRAとか作ろうとすると、VRAM12Gだとデフォルト設定で2日くらいかかりそうな感じ（2日じゃ終わらんかもしれん）
だったんで、MACで速くなるならLLM以外の用途もでてくるんで。 >841
SDはハードウェア的にもソフトウェア的にもMacに最適化されてないから、メモリ速度の問題やないと思うで 正直70B用にPC買うぐらいならGoogle colabとかの有料サービス使うのも有りだと思うけどな
64GBのメモリ積むのって普通のPCでも動くようにするための妥協案な訳だし そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな 今は70b以上は、今のスペックで動けば御の字なのかな 64GBのメモリくらいなら激安だし普段の動画とかの編集で
生きてこないわけでもないしアリやと思うけどな
CPUとかMacとかまでいくとともかく 70bでも遅いのに180bとか気が遠くなるわ
ブレイクスルーで出力速度上がったりせんかね TheBloke/Xwin-LM-70B-V0.1-GGUF
日本語が結構よかったから、英語のお題試したら、すげえエロいの書いてくれた。
他のモデルだと、あっさり犯して終わりなのに、このモデルは前戯をねちっこく書いててくれて、描写もかなりいいと思う。
英語民、これ試してみてよ。 追記
で、さんざん犯された後、年齢を聞いてみた。
たいがい、他のモデルだと文章が長くなると、いつの間にか16とか20とか、
高め修正してくるんだが、このモデルは・・・・１３だとｗ
まあ、設定では10だったんだがｗ
つまり１３まではおＫらいしいぞ、このモデル(*'▽') 70Bが今の33Bくらいの速度で動く時代こねーかな
とりあえず当面はpoeで頑張るわ
でもSolarしばらくやってるとエラー出ることが
あるんだよなあ Xwinは70Bで初めてベンチでGPT4を上回ったとか、13B版も全ての13Bモデルの中で最高点を叩き出したとか書かれてるな
帰ったら両方試さないと
しかもまだ開発継続中らしいな split-a～bってなんや？と思ったら分割ファイルか Xwinすごいな、Belugaでも日本語上手くなったのに驚いたが、
間違いなくそれ以上 GPT-4超えはどうかと思うけど、英語の表現はかなりレベル高いと思う
日本語だとさすがに精度がだいぶ落ちるけど、それでも他の70Bモデルと比べて自然な会話ができる印象だ 英語での描写がすごいと思う。
例えば何も情報渡してないのに、日本の浴衣の構造をちゃんと理解して愛撫してくるし、
３Pさせたら各人が絶妙の絡みを見せてくれるしｗ
これで日本語tuneされたら、ほんと始まるわ ここ最近Llama2のチューニング技術が加速的に向上してるな
メタ社の次のモデルは来年早々からトレーニング開始だっけ
ローカルはこれから熱いな かく言う自分はあと5分で70Bのダウンロードが終わる
今夜は寝かさないぞ 英語ならギリ使えるレベルから一歩前進したんか久々に試そう 正しくはローカルLLMだぞ
chatGPTもLLM(大規模言語モデル)だからね >>866
>個人での実行は簡単ではない。実際の性能については他の研究者などの報告を待つ必要がありそうだ。
量子化とはいえ、このスレでエロ検証されてるとは思わんだろうｗ >>865
そうローカルでだな
長い間触れてなかったけどこの週末に試してみるわ いや、Xwin、今までのとはレベルが違うわ。英語だと解像度の高いストーリーをどんどん猫写してくれる。誘導しないでどんどんエロスな方向を細かく猫写してくれるという部分では、gptより上かも。 Xwin-LM-13B-V0.1-GPTQ
を英語で試してるけど、かなり良い描写してくれる。 日本人の個人で70B動かしている奴の半分くらい
このスレみてそう 会社（組織）、コミュニティ、友人、SNS、5ch
情報収集の基本だよね
特に今残ってるネラーは信用できる
ここでの情報は特別だ なんか一周回ってなんＵが一番マシなコミュニティになりつつある Llama2系のやつで比較的長めのやりとりしてみたんだけど、トークン切れになってくると露骨に文章死んでこないか。標準だと多分2048トークン
反復した返信しかしてこなくなったりする。海外でも報告あったと思う ここや画像生成のスレは、最先端と言っても過言ではない情報が出てくるので、とてもありがたい >>852
13歳どころか何歳でもいけるぞこのモデル
規制フリーっぽい
知り合いのシングルマザーにベビーシッター頼まれたら、その子に秘密のDVD見せてあげると言われてその子が出演するエロビデオ見せられながらしごかれる場面書かせてるけど
描写もエロいし画面の中とリアルのその子をちゃんと混乱なく書き分けてくれるしで捗るわ aiちゃんは数値弱々だから、多分年齢とかはフレーバー程度じゃないかな 3060買ったらしばらく出費しないつもりだったけど
どんどん誘惑が強くなるな
poeのSolarが途中で止まらなければなあ・・・ なんか久々にTheBlokeニキ見てたらGGUGとGPTQの他にAWQってのが追加されてたんだけどこれはどう使うんだろ KoboldがverupしてChubを正式サポートしたで
めっちゃ便利になったわ
複雑過ぎるプロンプトはループしてまうから今後に期待や Xwinの13B試してるけどまともな日本語で賢さも感じる
70B試したいけどどうしたもんか Xwin 70B遊んでみてるけど凄いなこれ
初めて13Bから70Bに変えたときくらいの感動があった
他のエロ特化モデルより表現が硬いけど
「これがええんやろ？」みたいな回答してくれて気持ちいいわ ちなM1Max 64GBマカーやが、Xwin 70B GGUF Q5_K_M で4.5t/sくらい Macはようわからんが、そのスペックって50万もあれば買えるよな？悩んでしまうわ 中古で状態のいい3090が買えたから2枚積みしてるけど70Bは10t/s弱くらいで動くぞ
180Bとかもっとでかいモデルを想定するならMacの方がコスパ良くなるだろうけど もうAI用にマザボにVRAMモリモリ直付けしたようなの出してくれよ >>890
3060を4枚でも3090×2と同じVRAM量になるけど、やめたほうが良いですかね？ >>891
革ジャン「あっそれ100万円からの企業用の世界にしておきたいんですよ」 >>890
大葉？koboldcppでgpulayerマシマシ？ ワークステーションとかも視野に入れるべきなんかねぇ >>892
4枚も載るのかって疑問はあるけど帯域幅がだいぶ違うから3060x4は速度出ないと思うよ 確かにストーリーが長くなってトークン切れすると、繰り返しばかりになるね。これさえなければXwin70Bでかなりいいところまで来た感はあるんだが。なんとかならんものか。 Xwin13B軽くためしたけど、あたりまえだがAIアシスタントに最適化されてる感じかな
あと大体どのモデルにもいえるけど「二人は共に、犯した過ちを正し、この地に光を取り戻すべく、危険と期待に満ちた旅に出るのだ。」～完～みたいに話終わらせてくるのまじでやめてほしい >>897
ある程度手動で「ここまでのあらすじ」を作って新しくやり直すとかしかないかな？ >>898
やっぱりうちだけじゃなかったか
なんか他のmodelに比べて、きりの良いところで終わらせたがるよね xwinすげーな
どんなデータでトレーニングしてんだろう xwin-lm-7b-v0.1.Q4_K_M で十分賢いね
凄い でも13Bまでだと「他を捨ててもこれをやる」ってほどのすごみはやっぱないな
33Bクラスはサイズが絶妙なんだよなあ RTXA6000(vram48G)積めばAWQの70Bが動くらしいけど、
A6000か、vram48G確保できてる人いる？
もしいたら、t/s聞きたい llama_2系のリピート問題はRedditでわりと見られる
GPT3.5Turboでも上限4096トークンらしいけど、使っててあんまり切れ目を感じないし、Llama2モデル固有の問題っぽい
https://www.reddit.com/r/LocalLLaMA/comments/155vy0k/llama_2_too_repetitive/ xwinの文章ループ、これ致命的やないか？
アシスタントとしては確かに優秀やけど
まだ開発途上みたいやし今後のエロファインチューニングにも期待やな 致命的って言っちゃうのも少し違うような？
ループも終わらせたがりも、要は学習データの問題でしょ。
4k学習ってつまり、4kに収まるよう作成した文章を学習するってことで、話の深掘りより進行を優先し、4k分で話を締めた内容を学習する。
これは、一回の応答で結論まで含んだ、要約っぽい文章が求められる一般的な用途には合致してる。
他方、物語を都度に指示しながら書かせるのなら、あえて長文の途中段落だけを抜き出したような文章を学習させるのが良いのだろうけど、
普通の質問に対して「〜である可能性も考えられる」みたいな、曖昧な回答が増えることになるんだと思う。
とはいえ、やはりマルチバイトはマルチバイト圏が強いのかね…… 述語の選択が自然になるだけで、ぐっと「日本語っぽさ」が増すと実感した。 xwinに自分のモデル名を聞くと普通にGPT-4って答えるね… SuperHOTなんちゃらとかモデル名の後ろについてるのなんやと思ってたけどコンテクスト長の拡大の一種なんよな
ほんとに伸びてんのかね >>890
3090はNVLink対応してるのが強いな
電源周り整えて考えてみるわ >>910
NVlinkは多分あんまり意味ないぞ
GPU間の転送速度遅いしLLMのマルチGPUは仕様的にはそれぞれのVRAM上に展開したデータをそれぞれのGPUで処理してるっぽい 今ってそんなVRAMの使い方に対応してるのか
NVLink関係ないってことはモデルを自動で分けてGPUそれぞれのRAMにロードしてるってことだよね？ GPUごとにレイヤー分けて実行できるんかな？それがマジならワイの部屋に転がっとる3090を活用できるチャンスなんやが 一応、koboldcppには、tensor_splitってオプションがあるので、
複数gpuで振り分けられそうではあるけど… 大葉だけど4090と3090の2枚構成で70BのGPTQモデルを動かすならローダーをExLlamaにしてgpu-splitに17.4,24で両方使ってくれる
ちなみに3090側の速度に引っ張られるから3090x2と速度としては変わらないっぽい このスレにもなんやかんやで変態スペックの人がおるのう >>915
AWQ 70b は動く？
GPTQより高速らしいが >>917
AWQ試したことなかったけど、これローダー何使えばいいんだろうか とりあえずoobaのビルトインの奴は一通り全部試したけど無理だったしgit見たら対応してくれみたいなリクエスト書いてる人居たからまだwuiでは出来ないか何かしらの追加インストール必要そう
まあ情報出揃うまでは少し待つわ kobold.cppでgpt4モドキでチャHできるなら4070二枚積み考えちゃうよ(4090とは言ってない) >>919
大葉未対応だったのか、さんきゅ
対応したらレビューたのむ。 ExLlamaだとvram溢れた分勝手にram使ってくれるんだな知らんかった
autoGPTQだと70B動かなかったのに動いたわ >>915
ありがたい報告や
ワイも2枚刺し目指すで chub aiの"The hypnosis App"めっちゃ抜けるな mlewd20Bすげえ
性能悪い34Bから乗り換えたが早い上に表現力ダンチや 最近nsfw向きなモデルが次々出てきて評価が追いつかんw 手元の3090でexllamaで70bが動くの確認した
ローカルllmの流れ来とるなこれ >>926
XwinとマージしたMXLewdもいいぞ
キャラクターの性格設定をかなり拾ってくれる >>928
CPUは何で何トークン/秒くらい出る？ >>931
cpuは12600，速度はちゃんと見てないけど短い応答の生成に30秒くらいだった気がする
実用性はまだあれだけど応答遅くてもいい使い方ならいけるかな >>930
20Bだからお察し
現状は70Bですら「うーん割りとマシになってきたかな」がせいぜいだからな ぎゃーpoeがSolarとか無料だった奴も1日100回制限つけた
まあそりゃそうか・・・ >>934
ですよねー
llama.cppで試してみたけどそもそも2バイト文字のプロンプトの書き方がわからんかった
英語のほうななかなかいいな このスレでもさすがにマカーに宗旨替えしたような奴はいないのかな AI専用にサブ機として欲しいとおもったぞ＞mac
まあ、現状の192Gでは180B q5kmがギリ再生できないから、256G以上出るのを待つけどｗ お手頃なら趣旨変えしてもいいけれど
お値段があまりにも太過ぎますよ
元々使ってる人はいるかもしれんけれど
https://i.imgur.com/u8vuOn1.png 元々どっちもすげえの持ってる、って奴はいそうやね
Web系とかはUnix環境との相性がいいせいかMacが基本みたいやし 会社のパソコンほぼ自由に使えるようになったわ
A6000のVRAM48GB積んでるから色々出来そう 結局70万だ80万だの金額だすならMacのほうがええんちゃう
おそらく今後は70Bがまともに動くんじゃないと満足できない時代が来るやろし
180Bクラスが一応動かないとな～ みたいな時代だってくるやろし
ワイはそこまでついていかれへんが・・・ turing-motors/heron-preliminary-git-Llama-2-70b-v0
お、おい、これって・・・
いいのか？ Blokeニキに依頼していいやつなのか？？
今、ニキは休息中みたいだがｗ よく見ると、日本語タグはついてるけど、言語の説明は英語になってるな。
だれか、動かせる人いないか？
よさげなら、ニキに依頼する 画像認識できるやつか
7Bは日本語モデルをベースにしてるけど
こっちは多分英語専用じゃないかなー やっぱりタグが間違ってるのかな・・・
大葉で7Bを試したけど、かなりいい日本語使ってたんで期待してしまった。 すまん、さっき試した7BはJapanese StableLM Baseだったから、日本語うまくて当然だった。
で、
turing-motors/heron-chat-git-Llama-2-7b-v0
こっちが70BとおなじLlama2ベースだったんで、大葉で試そうとしたけど、
自分の環境じゃパラメータが悪いのか動かんかった・・・
だれか、代わりに試して欲しい（動いたらパラメータも教えて）
どうも、ヘロン学習データってのが日本語含んだデータみたいなんだが・・・ poetryとか使ったことないわ
なんでpipじゃだめなんだめんどいな text-generation-webuiで生成していると途中で生成が止まってしまうのですが
全部生成するまでやめないようにすることはできるのでしょうか そういや画像認識モデルに対応したローカルのツールってあったっけ？
ggfu化したとしてkoboldで読めるんかな？ max_new_tokensの値を変えて解決しました。
全ての文章を生成する前に止まってしまっていたんです。 >>952
時間ないから軽く使ってみた感じだけど
めっちゃ優秀
凄く自然にエロチャできた
4bitで読み込めば3060でもサクサク応答返ってくる ヘロン試してみたいんだよなー
昨日はdeepspeed?とか言うのがwindowsで動かないらしくてインストールできなかった
今日は時間があったらwsl勉強してそこで動かせたら良いな >>962
正直雰囲気で使ってるんであってるのか分からんけど
読み込み時にload-in-4bitつけただけ
付けなかったときはめっちゃ時間かかってOOMになってたのが つけたらサクサク返信してくるんで意味ありそうだけど TheBloke/Xwin-LM-13B-V0.1-GPTQなかなかいいけど
TheBloke/Xwin-LM-70B-V0.1-GPTQを動かすにはVRAMどれくらい必要？
うちの環境ではVRAM不足で起動できない >>965
ほえー、そんなオプションあるん知らなんだ。
試してみるわ、サンガツ。 >>966
GGUF版でなくGPTQ版を使いたい理由は何かあるの？ VRAM24GBな時点でだいぶ変態ではありませんか >>969
GGUF版は遅いので、VRAMをできるだけ使いたいです うちはVRAM３６GB
４０GBで７０B GPTQ動くなら更に増強するかな GGUFでもVRAMは使われてるように見えるけどなんか勘違いしてる？ クラウド民でGPTQしか動かせたことなくてGGUFよくわかってないワイ GGUFでVRAM使うにはローダーは何を使うんでしょうか
llama.cppだと起動できるけど、VRAMは使ってないかんじ
他のものは起動できない >>975
大葉ならn-gpu-layersオプションを適切な値に設定するといいはず 大葉でPLaMo-13Bを試したけど、セリフ周りはよくできてるね。
ただ、いまいち指示が入りにくいのでまだ実用的じゃないかな
70B出る事に期待する。 llama.cppのn-gpu-layersをいじったらVRAM動き出しました。
でも遅いCPU何かしてる 大葉でplamo-13bをロードしようとしても
AttributeError: ‘PlamoTokenizer’ object has no attribute ‘sp_model’
とでてロードできない。
load-in-4bitとtrust-remote-codeはチェック入れたけど、他にも何か必要なのか？ >>979
自分はauto-deviceにもチェック入れた
vram12G メモリ64G環境 paperspaceのGrowthプランはVRAM45GBのGPUが月39ドルで使えるみたい。ただし一回6時間上限。ストレージは50GB無料で、1GB超過ごとに月0.29ドル請求。 >>979
自分はこれだけでうまく行った
https://i.imgur.com/02MmBn5.png
ついでというか、plamo-13bを試す前に大葉を最新版にしたのでもしかしたら最新版にすると解決するのかも
いつの間にかバッチを実行して環境を選択するだけで環境作ってくれるようになってた
楽ちん >>979
自分はこれだけでうまく行った
https://i.imgur.com/02MmBn5.png
ついでというか、plamo-13bを試す前に大葉を最新版にしたのでもしかしたら最新版にすると解決するのかも
いつの間にかバッチを実行して環境を選択するだけで環境作ってくれるようになってた
楽ちん いいよ
でもその代わり飲み込んで僕の180Bモデル…… >>979
同じだわ
auto-deviceにチェック入れてもだめ ヘロン、７Bのデモがあったんで試したけど日本語でなかなか答えてくれないな。すぐ英語になる。
stable baseの方は画像なしだとエラーになるし、やっぱ普通のモデルと違うのか？ そろそろ次スレを建てた方が良いと思うが
誰か建てられる？ 立て乙
いろいろ試してる人多そうなので聞かせてほしいけどキャラチャットに特化した場合7B 13B 30Bあたりを比較したとき会話の柔軟性や幅に体感でわかる変化をどの程度感じてる？
素性の良い7Bモデルをチューニングしまくればどうにかなったりするんだろうか 次スレ即死したかもしれん
なんとかテンプレ移植まではがんばる
他になんか書いておきたいことあったら頼む >>980 >>982
情報ありがとう。結局まだうまくいってないけど、
call "......\oobabooga_windows\installer_files\conda\condabin\conda.bat" activate "......\oobabooga_windows\installer_files\env"
python
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained(r"......\oobabooga_windows\text-generation-webui\models\pfnet_plamo-13b", trust_remote_code=True)
とやって、AutoTokenizer.from_pretrainedを呼ぶだけでも同じエラーが出たから、大葉側の問題では無いかも？
とりあえず、WindowsにインストールしているCUDAのバージョンとか見直してみる。 >>997
自分でvenv環境作っていろいろ試してみたけど、
pip install transformers==4.33.3
ならエラーは出なくて
pip install git+https://github.com/huggingface/transformers.git@211f93aab95d1c683494e61c3cf8ff10e1f5d6b7
で大葉が使ってるtransformersバージョンにすると
AttributeError: ‘PlamoTokenizer’ object has no attribute ‘sp_model
エラーが再現した。
transformersバージョンの問題？ このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 51日 7時間 3分 42秒 5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。
▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.net/
▼ UPLIFTログインはこちら ▼
https://uplift.5ch.net/login レス数が1000を超えています。これ以上書き込みはできません。
