X

なんJLLM部 ★3

レス数が1000を超えています。これ以上書き込みはできません。
1今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ bf28-c/5M)
垢版 |
2023/08/10(木) 12:56:06.76ID:I3/pZMHC0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな

自薦・他薦のモデルやツールは>>2以降

前スレ なんJLLM部 ★2
https://fate.5ch.net/test/read.cgi/liveuranus/1685613014/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:56:29.52ID:I3/pZMHC0
りんな系
日本語で学習されてて3060でも設定次第で動く、オバカではあるけど現時点でも
そこそこ楽しめるクオリティはある
https://huggingface.co/rinna/bilingual-gpt-neox-4b-instruction-sft
https://huggingface.co/rinna/bilingual-gpt-neox-4b-instruction-ppo

https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft-v2
https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo

こっちは前の世代のりんな　前スレの最初のほうでLoRA学習成功したニキがいたっぽい
https://huggingface.co/rinna/japanese-gpt2-medium
https://huggingface.co/rinna/japanese-gpt2-small
3今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:56:38.67ID:I3/pZMHC0
OpenCALM系

サイバーエージェントがやってるってことでいじった報告や
動かした報告がネットに多い気がする
https://huggingface.co/cyberagent/open-calm-7b
https://huggingface.co/cyberagent/open-calm-3b

8bit版？
https://huggingface.co/kyo-takano/open-calm-7b-8bit
4今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:56:50.23ID:I3/pZMHC0
WebUI

前はスレのニキがりんな動かすツール公開してくれとったけど、消えてしまったから
日本語モデルを手軽に動かすには必須やろな
https://github.com/oobabooga/text-generation-webui
5今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:00.39ID:I3/pZMHC0
りんなはそのままでは >>4 のツールで動かないのでここを参考に
修正が必要や　ただし3.6b版の情報やしWebUI自体のコードも
変わっているから修正する行番号が違ってくる
https://note.com/npaka/n/n5d25ea4227df
6今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:10.70ID:I3/pZMHC0
Pythonがわかる奴ならこれ参考にちゃんとインデント（スペース）修正してくれ model.pyはこんな感じの修正になるな
if any(s in model_name.lower() for s in ['gpt-4chan', 'gpt4chan']) and Path(f"{shared.args.model_dir}/gpt-j-6B/").exists():
tokenizer = AutoTokenizer.from_pretrained(Path(f"{shared.args.model_dir}/gpt-j-6B/"))
elif model_name.startswith("bilingual-gpt-neox-4b"):
path_to_model = Path(f"{shared.args.model_dir}/{model_name}/")
if path_to_model.exists():
tokenizer = AutoTokenizer.from_pretrained(path_to_model,trust_remote_code=shared.args.trust_remote_code, use_fast=False)

text_generation.pyは247行目あたりをこうかな
# Encode the input
add_special_tokens = not shared.model_name.startswith("bilingual-gpt-neox-4b-")
input_ids = encode(question, add_bos_token=state['add_bos_token'], truncation_length=get_max_prompt_length(state), add_special_tokens=add_special_tokens)
7今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:20.09ID:I3/pZMHC0
https://i.imgur.com/DAsUTKV.png
りんなと会話してみた例（sft版）
亡きニキのツールをつかっとるけどこういうの出力させること自体は>>4のツールでもいけるはずやで
8今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:30.65ID:I3/pZMHC0
https://imgur.com/eBzycUe.jpg
同じくりんなと会話したみた例（ppo版）や
9今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:38.38ID:I3/pZMHC0
VRAM 12GB環境ないニキでもGoogle Colabやpaperspaceで
環境を借りればりんなのテストくらいはいけるはずやで
10今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:45.56ID:I3/pZMHC0
Web上にある既存のサービスを利用したいニキは主にここのようやで
【ChatGPT】AIチャット総合 Part7【Bing・Bard】
https://mevius.5ch.net/test/read.cgi/esite/1687670357/
11今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:57:53.79ID:I3/pZMHC0
前スレニキのツールはAssistantSeikaってアプリと連携することで
出力結果をボイスロイドとかVOICEVOXとか色々なのに
読ませることもできたのが強かったんやけど消えてもうた
12今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:58:28.66ID:I3/pZMHC0
しかしこういう拡張を使うことで、>>4のやつでもできるみたいや

google_bypass (webui読み上げ拡張)
https://github.com/AlgosErgo/google_bypass

読み上げ時の動画
https://imgur.com/Y2q0YJJ.mp4
13今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:58:38.56ID:I3/pZMHC0
Kobold.cppで小説っぽいのを作る
https://w.atwiki.jp/localmlhub/pages/19.html
Kobold.cppでAIとチャットしてみる
https://w.atwiki.jp/localmlhub/pages/20.html

りんながあまりにバカなのと、kobold.cppは
ファイル1つ落としてモデルダウンロードしてくれば
すぐつかえる利点があるので最近はこれで遊ぶのも
スレの主流や　基本英語モデルになるけどな
14今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:58:50.91ID:I3/pZMHC0
33B版くらいのモデルとかつかえばかなり表現力はあるで
32GBのメモリ積んだここ3年くらいの中堅デスクトップPC以上なら
遅いとはいえ実用的な速度で書いてくれるで
15今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:58:59.81ID:I3/pZMHC0
kobold.cppはGGML版ってモデルを使うところは注意やで
>>13の記事にも書いてあるけど

GGMLってのはモデルのサイズを小さくした上で
グラボがなくても動くようにするイカした奴やで
16今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:59:08.46ID:I3/pZMHC0
これのおかげで、3090とか4090とかとんでもないグラボを
持っている人間の特権みたいな感じだったローカルLLMが
かなり遊びやすくなったわけや

ただしグラボがあればあるで、設定をすれば高速化の補助に
つかってくれるみたいやで
（最初のプロンプトとかそこまでのお話とかの解釈用？）
17今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:59:18.67ID:I3/pZMHC0
llama2とかで70B版なんかのモデルも出てきとるけど、
llama2自体が規制強めのモデルだったりするのと、
重くなる割に性能あがっていない気がするみたいな
意見もあるで
18今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:59:29.19ID:I3/pZMHC0
https://huggingface.co/TheBloke/airoboros-33B-gpt4-1.4-GGML/tree/main
https://huggingface.co/TheBloke/WizardLM-33B-V1.0-Uncensored-GGML/tree/main
https://huggingface.co/TheBloke/airochronos-33B-GGML/tree/main

この辺の33Bモデルが現在攻守に強いと言えるやろな
19今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 12:59:38.38ID:I3/pZMHC0
TheBlokeニキは他で出てきたモデルをGGML版とかに変換してくれる
すごいニキやで
20今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M)
垢版 |
2023/08/10(木) 13:00:01.12ID:I3/pZMHC0
というわけでまたローカルLLMやっていこうず

https://ja.stability.ai/blog/japanese-stablelm-alpha
こんなのも出たみたいやで
2023/08/10(木) 13:25:12.35ID:2yMtJANd0
>>20
おおー これすげえな。ありがとう
2023/08/10(木) 13:34:55.46ID:TD9hgK/Kd
めげずのスレ立て乙
そして>>20は楽しみだな
2023/08/10(木) 13:36:08.27ID:raik2/HKd
立て＆保守乙やで
例のblokeニキが>>20のGGML化してくれるのを期待や
2023/08/10(木) 13:39:04.59ID:l87YNNIma
サンガツ
2023/08/10(木) 14:18:38.33ID:I3/pZMHC0
ファイルサイズ的には3090か4090でワンチャンくらいのサイズに見えるが果たして
GGML版ほしいな
2023/08/10(木) 14:21:30.79ID:8Lv0TrLQM
スレ立てサンガツやでぇ
日本語もモデル期待や
2023/08/10(木) 14:35:40.62ID:I3/pZMHC0
あ、普通にサンプルコードのhalf()の部分コメントアウトしたら動いたわ
baseのほうだけど結構いいんじゃね？

instructのほうも動かしたいんやけど、なんかオーソライズしろって文句出て動かないわ
ローカルに落としても毎回オーソライズしないとあかんのか？
2023/08/10(木) 14:49:34.52ID:XSuMRfYt0
>>20
りんな超えてほしいところだが
2023/08/10(木) 15:05:05.82ID:nZcfjpyb0
サンイチ！ずっと待ってた
Japanese StableLM楽しみや
2023/08/10(木) 16:09:41.91ID:I3/pZMHC0
まだ上手く効率的に生成させられていないけど、とりあえずエロは規制されてないっぽ
2023/08/10(木) 16:11:00.52ID:Sn2bGdHgd
朗報やな
2023/08/10(木) 16:12:20.92ID:I3/pZMHC0
ただなんか「掲示板の書き込みの一部を引っこ抜いてきました」みたいになりやすいかも
文脈もいまいち理解してなくて、まさに「つながる可能性がある文が見つかったらそれを表示」
みたいになるのはりんなと同じやね

でもなんとなくりんなよりはこなれてる気がする
2023/08/10(木) 16:14:24.86ID:I3/pZMHC0
速度的には、全く使い物にならんってこたないけど
それなりにキツいね
2023/08/10(木) 16:31:30.56ID:I3/pZMHC0
うーん何度もやってる内に大したことがない気がしてきた
instruct版をローカルで実行するにはどうすればええんやろ
2023/08/10(木) 16:42:27.26ID:I3/pZMHC0
HuggingFaceからアクセストークンもらってきて、tokenizerとか

from huggingface_hub import login
login(token="うんたらかんたらのアクセストークン")

って感じにアクセストークンを貼りつければいいのか
2023/08/10(木) 16:48:12.01ID:I3/pZMHC0
tokenizerとか準備するコードの前に　やった
2023/08/10(木) 16:57:55.40ID:Sn2bGdHgd
先駆者ニキありがたいやで
2023/08/10(木) 17:05:28.60ID:I3/pZMHC0
instruct版のがいいとは思うけど、短い回答を待つのに1分～2分弱かかるのは
なかなかきついな
りんなよりマシとはいえそこまで賢いか微妙なとこもあるし

多分量子化とかできればもっとマシなんやろけど
instruct版でもチャットっぽくできるんかなあ
2023/08/10(木) 17:21:45.55ID:I3/pZMHC0
ひょっとしたらVRAMに収まらないからCPUで無理矢理動かしてるってんで
こうなっているのかもしらん

baseのGGML版が出たら多少は遊べるかなあ
instruct版はログイン必要な奴だから勝手にGGMLとかにはできんやろし
2023/08/10(木) 20:51:25.56ID:jfJrOfnca
日本語stableLM量子化しようとしてるんやけどllamaみたいに簡単にはいかんのやな
なぜかトークナイザーはLlamaTokenizerなのにモデルのロードの方はAutoModel使ってるしそもそもstablelm自体需要なかったからgithubで調べてもツールとか出てこないという
あとモデルのアーキテクチャ名が
JapaneseStableLMAlphaForCasualLMになってるけど普通のStableLMと名前違うだけで実質同じなんかな？
StableLM自体はgpt-neoxの派生やからneox用のツールとかスクリプトでもいけるんやろか
とりあえずautogptqとかggmlが使えそう
stable系はblokeニキも量子化してないっぽいんだよなあ
https://github.com/PanQiWei/AutoGPTQ
https://github.com/ggerganov/ggml
2023/08/10(木) 20:56:36.92ID:p35BJtv30
autogptqは一発で通んなかった時のデバッグが面倒で、しかも結局モデル側直さないとどうにもならなくて諦める展開が多かったので割と気が重くなる
42今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b54-c/5M)
垢版 |
2023/08/10(木) 21:32:44.83ID:bpUba+ZM0
TheBloke/Deepnight-Llama-2-70B-Inst-GGML
最近出た↑これも良かったが、

TheBloke/WizardLM-70B-V1.0-GGML
これはVicunaのtuneも入ってるらしく、さらに日本語が達者になってる。
ただ、規制バリバリのラマ2使ってるらしく、すぐ「申し訳～」がでるが、
koboldなら、「申し訳～」を「了解しました」に変更するだけで、書いてくれるのは便利ｗ
43今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b54-c/5M)
垢版 |
2023/08/10(木) 21:50:24.20ID:bpUba+ZM0
うーん、しかし、日本語でエロ書かせてみたけど、道徳的なハッピーエンドに持っていこうとする
傾向が見られるね。これが、全体的な規制というやつなら、DAN使うしかないか。
ローカルは一度DANが構築できれば、対策されないのが強みですな
44今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM17-Gz//)
垢版 |
2023/08/10(木) 22:09:42.72ID:ObQDDjOrM
uncensored化が待たれるな

どこで読んだか忘れたけど、uncensored化する理由について
「私のPCは私の命令に従うべきだ」みたいな回答しててめっちゃクールだった
45今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 010d-L4j8)
垢版 |
2023/08/11(金) 07:19:45.72ID:OjpR57JO0
>>35
ソース書き換えなくても環境変数のHF_TOKENにトークン入れる、で行けるはずやで
2023/08/11(金) 15:51:49.65ID:7ddGtly60
独自コードでやってたんや
2023/08/11(金) 15:52:02.46ID:7ddGtly60
ああ、Windowsの環境変数？
どっちがラクなんかな
48今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b54-QQBb)
垢版 |
2023/08/11(金) 15:59:07.48ID:E9xowXwN0
platypus2-70b-instruct.ggmlv3.q5_K_M
こいつを試したが、やはり規制入ってるね。日本語小説書かすと後半、同じ文章の繰り返しが目につきだす。
定番の質問したら、嘘だらけだが、内容が面白かったんで張っておくｗ

https://imgur.com/a/hSwlFD5
2023/08/11(金) 16:06:13.63ID:JMtm+zVu0
何のお手伝いをしてるんですかねぇ……
2023/08/11(金) 16:36:47.55ID:YHCqqfE7d
ドラミ、お前… 消えるのか？
51今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b54-c/5M)
垢版 |
2023/08/11(金) 16:44:24.24ID:E9xowXwN0
TheBloke/stablecode-instruct-alpha-3b-GGML
これが出たってことは、TheBloke先生やってくれそうですな(*'▽')
2023/08/11(金) 17:27:51.46ID:7ddGtly60
たのむで～
53今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 010d-L4j8)
垢版 |
2023/08/11(金) 19:50:45.75ID:OjpR57JO0
>>47
自分はLinuxやから環境変数のほうがずっと楽やけどWindowsだとソースいじる方が楽かもしれんなあ
2023/08/11(金) 20:41:09.33ID:3916WEen0
>>43
凌辱系はrinnaでもかなり苦しい感じだった
エロに限らずネガティブ系は意図的に弾いてる感はある
2023/08/11(金) 20:43:44.41ID:7ddGtly60
りんなのオバカさはそれ以前の問題な気がするｗ
56今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b54-c/5M)
垢版 |
2023/08/11(金) 21:46:12.93ID:E9xowXwN0
うーん、いろいろ試したが、今のところ
TheBloke/Deepnight-Llama-2-70B-Inst-GGML
が規制ないみたいで、日本語でかなり遊べる。セリフ周りも違和感少ない。
gpt2.9ぐらいあるんじゃないか？ｗ
2023/08/11(金) 21:47:42.90ID:3s28Rm0H0
国語のテスト的な「与えられた文章に即して質問に答えなさい」タスクでもりんなはおバカさ加減が斜め下な感がねｗ　なんだろあの「1mmも理解してないのに自信満々な天然おバカ」感は
2023/08/11(金) 21:50:05.65ID:7ddGtly60
日本語ローカルモデルで3.5レベルは数年以内に見えてきそうよな
問題は速度や
59今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 010d-L4j8)
垢版 |
2023/08/11(金) 21:59:21.07ID:OjpR57JO0
japanese-stablelm-instruct-alpha-7b動かしてみたけど微妙なところや
申し訳自体は無さそう
wui使えてないからあんまり詰められてないけど
https://twitter.com/user_vkff5833/status/1689784288496238592
https://twitter.com/user_vkff5833/status/1689785974979788801?t=xTsR6w_-cW4dk30DPApJsQ&s=19
https://twitter.com/5chan_nel (5ch newer account)
2023/08/11(金) 22:11:13.49ID:7g/396LK0
>>56
>>42で教えてもらった WizardLM-70B-V1.0-GGML もなかなか良かったよ
申し訳回避は必要だけどかなりまともな日本語を吐いてくれた
2023/08/12(土) 00:06:51.04ID:FutBjzas0
Deepnightも試してみた

WizardLM-70B-V1.0-GGML
https://i.imgur.com/r40Zhre.png

Deepnight-Llama-2-70B-Inst-GGML
https://i.imgur.com/j0rGZWc.png

Deepnightいいね、こっちの方が表現力高いと思う ぴょんぴょんは笑ったがw
マルチリンガルモデルでここまで書けるなら日本語特化モデルへの期待が高まるな
2023/08/12(土) 08:32:33.92ID:aapymOXG0
英語で出力させたあと、日本語に翻訳してって段階踏ませたら
精度上がるかな？
2023/08/12(土) 09:56:25.64ID:FutBjzas0
文章の精度を上げるならそれがいいのかもしれないが、それなら英語モデルで出力してdeepLで翻訳するのと変わらない気もする
またエロ小説を書かせる場合は、最初から日本語で書かせた方が日本人に刺さる文章になる予感がする
とりあえず実験してみる
2023/08/12(土) 10:16:48.66ID:alnS7BN20
翻訳体の日本語を形態素解析してエロい日本語に変換する、ってのは
LLM使わなくても可能性がある気がするのよな
2023/08/12(土) 10:20:58.03ID:alnS7BN20
https://huggingface.co/AIBunCho/japanese-novel-gpt-j-6b
なんかでた
2023/08/12(土) 10:28:55.87ID:FutBjzas0
これはwebサービスのAI文鳥のやつか？
よくのべりすとと比較されてるやつ
2023/08/12(土) 10:39:46.83ID:GO/ijPXDa
お硬そうだな
2023/08/12(土) 10:45:48.78ID:Jiqm7bQbM
6bじゃ期待薄では
2023/08/12(土) 10:48:03.62ID:alnS7BN20
日本語系は7Bくらいが最新なんだから
2023/08/12(土) 11:00:11.15ID:q4a3oYFVd
日本語特化の13Bが欲しいのよね
できればもう一声で30Bぐらいも…
2023/08/12(土) 11:11:55.95ID:alnS7BN20
日本語特化の30Bは多分ChatGPT3.5とかとほとんど遜色ないやろな
2023/08/12(土) 12:08:46.53ID:mQco+sIV0
>>61
真似して導入しようとしたら容量で白目剥いた
これ合計で何GBあるんだよ
100GB単位でストレージが溶けるぅ
73今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Spbb-epl3)
垢版 |
2023/08/12(土) 12:49:01.34ID:GT4fZFB5p
全部落とさなくていいよw
4kmか5kmってついてるのががおすすめ
2023/08/12(土) 12:53:34.16ID:alnS7BN20
つよつよCPUにして生成速度上がったって奴はおるんかな
75今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 03c3-AEKg)
垢版 |
2023/08/12(土) 13:10:38.30ID:oimxjqfv0
家族にも紹介して追加で5000円分×人数をゲット可能。
https://pbs.twimg.com/media/F3SfgdpbEAAfD3c.jpg
　
2023/08/12(土) 13:16:53.81ID:FutBjzas0
>>74
2600から5700Xにしたら2倍以上速くなって歓喜
2023/08/12(土) 13:18:01.96ID:q4a3oYFVd
>>75
グロ
2023/08/12(土) 13:21:01.75ID:alnS7BN20
>>76
Intelの最新のとかやってる奴おらんかな
2023/08/12(土) 13:21:24.23ID:FutBjzas0
あとダウンロードしたモデルはSSDに置くんだぞ
最初HDDに置いたら起動に20分とか掛かって発狂しかけたわ
80今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ baa5-dynr)
垢版 |
2023/08/12(土) 13:46:27.16ID:PiMZS2bR0
>>75
もう240円分も増えてる
2023/08/12(土) 15:40:37.06ID:mQco+sIV0
真似したかったけどスペック足りずに断念
GGMLがCPU(RAM)でGPTQがGPU(VRAM)と言う事だよな？
スレ民の多くはkoboldでGGML（高RAM）稼働なのか？

oobaboogaでGPTQだから肩身狭いわ
VRAM12GBだから13Bが限界ぽいし
仮にGGMLに乗り換えてもRAM32GBなんだよ
70Bとか流石に無理だよな？RAM64GBやクラウド民？
82今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-Soa6)
垢版 |
2023/08/12(土) 16:11:40.76ID:HwdBqN97M
>>81
GGML70BをRAM64GBで動かしとるで
けど、動くってだけで遅すぎてなぁ
33Bがギリ実用的って感じや
koboldのGPUブーストがもっと効けば変わるんやろうけど

メモリ安いし増設しといても損ないんちゃうん？
2023/08/12(土) 16:31:01.25ID:alnS7BN20
70Bはまだまだ趣味よ
ただ最新CPUとか積んでいる奴なら「遅いけどいける」って
感じるのかなって
2023/08/12(土) 16:54:14.15ID:mQco+sIV0
マジで速度犠牲にしてメモリごり押しでギリギリなんだな
8GBを4枚刺しだから、16GBに総入れ替えで今だと2万円ぐらいだった
画像生成の時といいAI界隈のハード事情やば過ぎない？

うーん、一般人だと劣化版の7B～13Bあたりで遊ぶのが限界か
>>61 みたいな芸当が出来たら夢が広がるんだけど無理そう
2023/08/12(土) 16:56:49.87ID:QLM9MwBF0
>>84
20万以上のグラボ買うことを考えたら2万のメモリって激安では
2023/08/12(土) 17:02:38.28ID:alnS7BN20
33Bなら別にメモリ32GBの3700Xで全然遊べる（速くはないけど）んやから
安い趣味
2023/08/12(土) 17:51:41.17ID:FutBjzas0
メモリ32GBあれば33Bモデルがいけるで
自分も70Bモデルは実験として弄ってるので普段使いは33Bだ
33Bか13Bの賢い日本語モデルが出てきて欲しいな
88今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 030d-tKjX)
垢版 |
2023/08/12(土) 18:32:48.12ID:3sHpXR1t0
自分はpaperspaceのGROWTHでGPTQ動かしてるけど70Bも問題なく動く
でも70Bだから満足でオススメ出来るかと言うと今の時点ではまだ全然だし敢えてオススメするほどてはない
2023/08/12(土) 20:25:54.53ID:iBuW0Lym0
チャットしようとすると応答時間は決定的だけど、文書生成だと他のことやってる間に結果出てればいいやという感じでCPUメインで70B回してる　自分の用途だと現状だと70Bですら日本語力全然足りてないし
2023/08/12(土) 21:35:31.04ID:fgJDQ0gcd
vicunaってのがマルチリンガルモデルらしいので、こいつを用いた33Bモデルも日本語で応答できるのか試してみた
https://huggingface.co/TheBloke/vicuna-33B-GGML/tree/main
結果、70B以上に日本語があやしくなるが出力できた
実用的ではまったく無いが興味ある人は弄ってみてくれ
2023/08/12(土) 22:08:45.39ID:sHyngIw3p
ここ数日でJapanese StableLMとjapanese-novel-gpt-jが出てきてようやく日本語LLM界が始まった感じがするな
bitsandbytesもwindowsで動くようになったし
2023/08/13(日) 00:48:02.21ID:842/iYX50
>bitsandbytesもwindowsで動くようになったし
マジ？
2023/08/13(日) 06:16:26.65ID:25WAcD8Ud
モデルの量子化ツールだっけ
2023/08/13(日) 10:55:31.63ID:xJesc4f60
>>74
5600G+128GB → 5950X+128GB

いままでGPUでRWKVとGPTQばかり触ってきたから
GGMLの扱いに慣れてない
2023/08/13(日) 10:57:24.10ID:842/iYX50
んで速度的にどれくらい上がった？
2023/08/13(日) 10:57:37.50ID:842/iYX50
GGMLは使ってなかったからわからんってことか
2023/08/13(日) 15:08:10.72ID:EFaTjGon0
エロ小説書けてローカルで動くモデルってあるんか？
2023/08/13(日) 15:13:28.08ID:UCQY3dAjd
英語なら>>18の3つ目のやつとか
2023/08/13(日) 15:23:56.52ID:3qhVjrCS0
日本語だと>>61くらいが現状の限界だな
2023/08/13(日) 21:25:32.49ID:QT9qtmoIr
GPT4のAPIでエロやったら警告が届いたってマジ？
なんか一斉に来たらしいけど
2023/08/13(日) 21:29:42.45ID:842/iYX50
poeにしとけと
poeも多分そのうちアウトになるやろけど
102今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 030d-tKjX)
垢版 |
2023/08/13(日) 22:44:50.70ID:tyhL88Zd0
ChatGPTをBANされた後も料金引き落とされ続けてサポートに返金してもらうまで3週間かかったトラウマがあるからpoeも課金に踏み切れずにいる
2023/08/13(日) 23:34:35.93ID:842/iYX50
契約してすぐキャンセルすればええんよ
そしたら1ヶ月つかえてその後にキャンセルされる

もしその次に引き落としがあったら消費者問題や
2023/08/14(月) 01:11:11.05ID:tyiFMUtL0
rinnaといい >>3 のB7とか一部モデルだと
読み込みは出来るけど正しく応答できないパターンがある
単純にモデル読み込み設定やwebuiが対応していないだけか？
ソース書き換えで無理矢理rinnaを使った事はあるけど
2023/08/14(月) 14:41:59.32ID:wjPuzzry0
大企業のAIを使って仕事する未来が目前まで来てて
そのAIの検閲に引っかかると排除されるってディストピアだよな
2023/08/14(月) 15:19:26.97ID:3jAkC62l0
>>104 バイリンガルじゃないほうのrinnaとか顕著（区切り文字<NL>）だけど、プロンプト書式があってなくて応答できないケースもあるかも
モデルにサンプルコードがついてたらそれを使って問題の切り分けはできるかも
2023/08/14(月) 15:39:14.40ID:abWx4BRTa
>>105
しかもその企業がその元データを入手できたのはネットの自由を求めて戦った人たちのおかげという皮肉
2023/08/14(月) 15:50:12.61ID:cYgytM8V0
https://twitter.com/ai_database/status/1690930079516536832
まったくどこのどいつだ
https://twitter.com/5chan_nel (5ch newer account)
2023/08/14(月) 15:54:55.52ID:cYgytM8V0
https://huggingface.co/line-corporation/japanese-large-lm-3.6b
3.6Bかあー
このクラスはもうあんま試す気にならんな

言語モデルが学習量であるラインからいきなり賢くなるって
すでにわかっているわけだし
110今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-eQmn)
垢版 |
2023/08/14(月) 17:12:38.63ID:XUF5wzQ90
おお、mmngaさんって人が日本語モデルのGGMLを上げ捲ってくれてる
2023/08/14(月) 17:22:55.86ID:M5goJMEL0
本当だ
ファイルサイズ小さいし片端から試してみよう
2023/08/14(月) 18:05:34.74ID:M5goJMEL0
4種類いじってみたけどどれも指示と無関係の話題を羅列するばかり
指示のしかたが悪いのか？もう少し触ってみよう
113今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/14(月) 18:09:26.53ID:XUF5wzQ90
同じく試したが、koboldと相性悪いのかな？文字化けする
2023/08/14(月) 18:11:19.05ID:cYgytM8V0
koboldって日本語系だと文字化け結構するよねえ
2023/08/14(月) 21:27:11.93ID:M5goJMEL0
うーんダメだな
koboldだけど最初の1-2行はそれっぽい回答するけどそれ以降は無関係の文章を垂れ流すわ
どれも同様だから共通した問題ぽい
なんだこれ？GGML化の時に何か間違ってるのか？
2023/08/15(火) 13:11:44.08ID:NbtlWzS40
ここ数日日本語モデルを色々試したけど現状はまだ待ちだと再認識した
33Bの英語モデルで遊ぶ日々に戻るよ
ファンタジー系は英語モデル強いな
2023/08/15(火) 21:58:16.72ID:ntLaS8uf0
>>116
今はどのモデル使ってる？
2023/08/15(火) 23:55:39.00ID:NbtlWzS40
安定のairochronosを使いながら他のモデルも色々試してるよ
https://huggingface.co/TheBloke/GodziLLa-30B-GGML/tree/main とか
https://huggingface.co/TheBloke/llama2-22B-daydreamer-v2-GGML/tree/main とか
悪くないんだけどairochronosは超えないかなぁ
2023/08/16(水) 08:37:53.12ID:0WuASIea0
ここのスレの人が好きそうなやつ(´・ω・`)
https://twitter.com/sotokisehiro/status/1691570995646329278
https://twitter.com/5chan_nel (5ch newer account)
2023/08/16(水) 09:03:30.40ID:GhX+8zmE0
>>118
サンキュ！
2023/08/16(水) 13:33:31.53ID:0WuASIea0
ここのスレの人が好きなGGML(´・ω・`)
https://huggingface.co/mmnga
2023/08/16(水) 13:36:06.59ID:uLnrYT8id
それすぐ上で話題になってたやつ
2023/08/16(水) 20:14:09.04ID:9dyIXU/q0
v3が出てたhttps://huggingface.co/TheBloke/Llama2-22B-Daydreamer-v3-GGML/tree/main
説明によればLlama 2 13bを33bサイズまで拡張したりairborosからコーディング支援の部分を取り除いて、そこを会話やロールプレイのデータで埋めたとか面白そうなことが書いてある
まだ調整中らしく完成ではないらしい
触った感じv2より良くなってる印象はあったので今後も期待
124今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/17(木) 17:38:11.12ID:Glxa5qOB0
orca_mini_v3_70b
これを試したんだが、セリフ周りはdeepnightを超えてると思う。
エロ小説書かせると、伏字使ってきたのも驚いた。
2023/08/17(木) 19:30:46.00ID:v1nt6q6a0
30GB超えとかのファイルを見るとその時点でｷﾞｬｰってなっちゃう
はやくPCの性能上げたいわ
2023/08/17(木) 19:50:54.36ID:dgOHiz2QM
stable diffusion用にGPU重視で自作PC作ろうと思ってるけど、言語モデルの方は市販GPUで動かすのは無理があり、CPUとRAMで動かす方が現実的なんですかね?イラストも言語モデルも動かせるPCだとかなり高額になりそう。
2023/08/17(木) 20:00:40.45ID:v1nt6q6a0
結局32GBってGPU界隈だと「お前やべーな」やけど
普通のPCだと別に珍しくもないって感じやからねえ

CPUについて最先端求めるならともかく、3060みたいな
5万円弱クラスのCPUを積んでメモリ64GBとか積むなら
言うほど高くもならんのでは？
128今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/17(木) 20:01:35.78ID:Glxa5qOB0
最新のstable diffusionXLならVRAM12G以上あればいいし、ローカル言語モデルならメモリ64G以上積んどけばGGMLなら問題ない。
GGML以外ならVRAMは底なしだがｗ
2023/08/17(木) 20:01:53.59ID:WrNk2iUI0
4090買えるなら7B程度ならなんも考えずに動くし30Bクラスもオフロードなり8bit化なりでうごくべ
2023/08/17(木) 20:20:01.63ID:v1nt6q6a0
Windowsで8bitのときの壁だったbitsandbytesさんはもう大人しくなったんかな
2023/08/17(木) 20:21:45.74ID:NLCzPSyPr
今日それで悩んでたわ
LINEの3.2Bを4bitにしたとき現れた
2023/08/17(木) 20:40:36.47ID:uI0bHtsh0
>>126
ですね<CPUとRAMで動かす方が現実的
RAMは64GB積んでおけば70Bモデルも動く
CPUは出力速度に直結するから速いのが欲しいけど8コアのやつを選べば1-2代前のやつでも結構速いよ
2023/08/17(木) 20:49:37.16ID:uI0bHtsh0
モデルの大きさ別に出力速度の見本をつくってみた
CPU: RYZEN7 5700X
RAM: 64GB
GPU: RTX3060 12GB
13B
https://i.imgur.com/YhLNEeK.mp4
33B
https://i.imgur.com/W78bDZI.mp4
70B(遅いよ)
https://i.imgur.com/7PuYhTj.mp4
2023/08/17(木) 20:53:26.25ID:v1nt6q6a0
でも5700Xとかの世代になりゃ70Bでもとりあえずいけることはいけそうやな
結局RAM64GBが人権ってことや

32GBでも過剰みたいな説があったのにまさかこんなとこに64GB人権の場が
できるとはな
135今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 030d-4kPp)
垢版 |
2023/08/17(木) 21:28:17.16ID:Uj1O2WQW0
>>124
最低限って感じにはなるね
https://i.imgur.com/ZiJs7Yv.png

しかしGPTQでもかなり遅いな
70BのGPTQは他のでもいくつか試したことあったけどここまで遅いの初めてだ
2023/08/18(金) 02:13:19.55ID:tbeTFKRU0
>>130
ここからwindows向けビルドが落とせる

https://github.com/jllllll/bitsandbytes-windows-webui
137今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ baf2-yhDR)
垢版 |
2023/08/18(金) 09:17:36.40ID:ZjChq/mU0
こんなこと言っていいのかわからんけど、rinna 3.6bに脱獄プロンプト
与えたら色々できた。ありがとう。rinna。
2023/08/18(金) 10:03:29.90ID:tTcwgQK2a
web uiでrinna使ってみたけど支離滅裂になる
解決法知ってる人いたら教えてください
2023/08/18(金) 12:25:33.11ID:tbeTFKRU0
10Bモデルきたな
140今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 768c-qpAf)
垢版 |
2023/08/18(金) 13:20:05.00ID:r26M7MsV0
>>75
こういうのってありがたいね
2023/08/18(金) 13:41:03.54ID:Ippy74WE0
>>137
りんなの知性だと脱獄しようがするまいが変わらないのでは・・・
そもそもりんなって規制少なめだし
142今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/18(金) 13:46:59.47ID:9udbRZgT0
10B試したけど、koboldでも大葉でも、文字化けひどくて使えん。なんか設定あるんかな？
2023/08/18(金) 13:50:46.48ID:Ippy74WE0
Pythonの素で動かそうとしたらメモリ不足になってもうた
2023/08/18(金) 13:57:55.60ID:Ippy74WE0
https://qiita.com/taka_yayoi/items/e80e9a307612ae1dce9f
128GBでOOMってマ？
なんかこの人のやり方がおかしいとかじゃなくて？
2023/08/18(金) 14:04:19.91ID:Ippy74WE0
>>138
>>5-6の話じゃなく？
2023/08/18(金) 14:39:09.35ID:Ippy74WE0
>>136の0.41.1を入れても

The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
warn("The installed version of bitsandbytes was compiled without GPU support. "

が出る　なんでやー
2023/08/18(金) 17:24:09.15ID:GmaP8eZ+d
>>142
これ含めてmmnga氏がGGML化したモデルはどれもまともに動かん…
2023/08/18(金) 17:27:45.13ID:GmaP8eZ+d
https://huggingface.co/kujirahand/ggml-gpt-neox-japanese-llm/tree/main
こいつもモデル名に期待してるんだけど本体がアップロードされとらん
2023/08/18(金) 19:32:05.80ID:Ippy74WE0
https://twitter.com/AiXsatoshi/status/1692473832098148686
これだ
oobaでいけたで　遅いけどｗ
https://twitter.com/5chan_nel (5ch newer account)
2023/08/18(金) 19:34:54.31ID:Ippy74WE0
https://i.imgur.com/ViPJttc.png
うーんこの
2023/08/18(金) 19:35:22.95ID:Ippy74WE0
Chat Settingsに何か入れる必要あるのかな
152今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/18(金) 20:17:46.92ID:9udbRZgT0
>>150
mmnga版じゃなく本家を大葉で動かしたら、その設定で動いたわ。
同じお題出したら、

富士山だよ。でも、今日の天気じゃ見えないね…。

って答えたぞ
153>>0138 (ﾜｯﾁｮｲ 8b54-DXLR)
垢版 |
2023/08/18(金) 20:43:11.74ID:bgxnAzph0
私も同じ環境で同じような状況になります。
こっちの質問と全く関係ない話をしだしたり…
なんかの広告プログラムでも入ってるのかと思ったり。
154今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6354-CyVu)
垢版 |
2023/08/18(金) 20:53:45.37ID:9udbRZgT0
試したのは事前学習版だったんで、今度は事後学習版をためすわ
それにしても遅いね、これ。GGML の70Bの3倍くらい遅いｗ

>>153
>>5-6読んで
155今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ baf2-yhDR)
垢版 |
2023/08/18(金) 21:04:49.24ID:ZjChq/mU0
>>141
4Bは対策されてるのか塩対応。
2023/08/18(金) 21:51:46.68ID:tTcwgQK2a
教えて頂きありがとうございます
ちゃんと動きました！
2023/08/18(金) 22:26:16.15ID:Ippy74WE0
https://twitter.com/gclue_akira/status/1692527371575062893
やっぱGPUでちゃんと動かせると速いんやね
https://twitter.com/5chan_nel (5ch newer account)
2023/08/18(金) 22:45:15.04ID:tbeTFKRU0
peftをアップグレードしたら前作ったLORAが使えなくなった
なんで
159153 (ﾜｯﾁｮｲ 7154-greZ)
垢版 |
2023/08/19(土) 02:49:42.96ID:UNz7MWGy0
>>154
私もできました。ありがとうございます♪
モデル名をrinnna_bilingual- から入れたら上手くいきました。
2023/08/19(土) 15:44:28.98ID:zcHG4JCQ0
>>149
Parameters の Preset によってだいぶ文章変わるみたい。小説書くなら instruction じゃないモデルの方が良さそう。

速度は 4bit で 3080 12GB だと 10 tokens/sec 前後だけど、文が長くなるとメモリ足りなくて止まる。
161今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b28-hPrW)
垢版 |
2023/08/19(土) 15:52:58.94ID:fIEtT//80
3080 12GBなんてあるのか
AI系にとってはなんとも微妙な存在だな
2023/08/19(土) 18:19:52.64ID:Phx1ExnRr
4bit float16という庶民最後の希望
2023/08/19(土) 19:38:44.29ID:Uo/6ehsK0
redditだとroleとstoryならmythomax l2 13bの評価が高いな
164今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b28-hPrW)
垢版 |
2023/08/19(土) 20:10:02.15ID:fIEtT//80
英語なら33Bからが人権ちゃうの
日本語はもうまともなの1つでも出てこーいな感じがあるけど

松尾研のはそれなりに可能性感じる
2023/08/20(日) 04:56:11.25ID:ivnURrVo0
MythomaxはHermes並の理解力で冗長に出力してくれる印象
一定の表現力もある
2023/08/20(日) 06:41:21.89ID:jrRhyS880
hermesもいいよね
13Bを使ってた頃はhermes-chronosを愛用してた
2023/08/20(日) 13:37:22.61ID:q2kvyVsf0
oobaboogaのload-in-8bitで松尾研のかなり実用的になるな
十分とは言えないけどりんなとはレベルがちゃうわ
2023/08/20(日) 13:47:29.66ID:bjElr01cr
>>167
大葉の8bitだとVRAMどのくらい使う？
2023/08/20(日) 14:10:22.29ID:q2kvyVsf0
他のアプリもあるから正確にはわからんけどとりあえず3060で動いてる
2023/08/20(日) 14:25:47.90ID:q2kvyVsf0
小説書くなら instruction じゃないモデルの方が良さそう　っていうのは
何モードでどう命じるんや？
2023/08/20(日) 14:26:01.12ID:bjElr01cr
ありがとう
12GBは超えない感じか
2023/08/20(日) 14:40:10.62ID:q2kvyVsf0
GPT-4でもチャット形式だとすぐ制限回数消費しちゃうし
日本語だと能力低いしで、日本語のそれなりのローカルのがあると
意味はあるのよな
2023/08/20(日) 15:11:03.98ID:q2kvyVsf0
3060 12GBマシンにoobabooga入れて>>149の対策して
git cloneをoobaboogaのmodelsフォルダで実行してinstruct版を
ダウンロードして、oobaboogaのModelsタブでload-in-8bitに
チェック入れてからinsrtuct版のweblabモデルを選んでLoadボタン

Chat Settingsで互いの名前適当に決めてContextに日本語で
短く設定を入れて後は普通にChat

Regenerate、Replace Last Replyとかをつかいこなして誘導
基本はこれでいいかな？
2023/08/20(日) 15:11:27.65ID:q2kvyVsf0
>>149の対策はダウンロードした後だからもっと下か
2023/08/20(日) 15:42:32.12ID:jmPWIc9Ta
情報ありがたい
ずっと動かなかったけど149通りにしたら動いたわ
instructでやる場合テンプレートはどう設定すれば正しく動作するんだろう
2023/08/20(日) 15:48:21.59ID:jDhwTw4sM
英語だけでも別にいいんだけどchat Gptやbing代わりにローカルで使いたいんだけど、今なら>>56のやつがllama2より良いのかな？
177今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7154-greZ)
垢版 |
2023/08/20(日) 16:03:54.13ID:uYtl5tnE0
チャットモードだと、入力分の英語変換も、回答の英語変換もポンコツだからか
ここで会話の齟齬が出てくる。
和英併記の会話窓とか作れないもんかな。
178今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-7wIC)
垢版 |
2023/08/20(日) 16:05:12.14ID:W5fCBLha0
>>176
日本語なら>>124もおすすめ
2023/08/20(日) 17:05:40.77ID:uk1EJjOPM
>>178
ありがとう
用途はプログラミングの内容とか聞くのに使いたいから別に英語でもいいんだ
bingさん最近これ違うよ？って言っても同じ回答オウム返しで誤魔化すようになって、ポンコツだな！って怒ったらすぐにコミュニケーション拒否してスネるから…

>>164
33Bも使いたいけどGPUは3090だけどメモリ32GBじゃ無理だよな…
2023/08/20(日) 19:48:41.71ID:q2kvyVsf0
GPTQのならいけたりしないんかなあ？
2023/08/20(日) 19:49:10.52ID:q2kvyVsf0
ってかプログラミングならbingさんじゃなくてChatGPTでいいのでは
エロでもないなら堂々と4つかえるし
2023/08/20(日) 20:00:19.78ID:zT63wBRpM
>>181
gpt4無料で使える裏ワザあるの？
2023/08/20(日) 20:35:52.80ID:lm1+d5OG0
あるよ
2023/08/20(日) 21:26:44.16ID:4jnhTX4HM
おしえて
2023/08/21(月) 00:43:00.62ID:MNlbI6Mo0
https://note.com/bakushu/n/nbe8d2813c76b
GGMLが
2023/08/21(月) 00:49:34.10ID:kQHvbCsx0
>>170
PC閉じちゃったからうろ覚えだけど、左端のタブでエンターキー押すと自分とAIの会話になっちゃうとこで、エンター押さずに入力欄の少し左下にあるボタン押すと、入力欄に文章の続きを入力してくれる。

matsuo研の Instructionモデルでそれすると『。』で止まって続き書いてくれなかった。

って感じです
187今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM4b-38yC)
垢版 |
2023/08/21(月) 01:24:10.42ID:ia1cveT6M
>>183
いい年した大人がウソついてまで意地悪してるんだからそりゃあ世界一言われるわな恥ずかしいｗ

日本人「世界一礼儀正しい」が「世界一イジワル」…「自分の利益より他人の不幸を優先する度合い」実験「日本人ダントツ」の衝撃結果 ★9 [ぐれ★]
https://asahi.5ch.net/test/read.cgi/newsplus/1692534964/
188今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜﾝﾐﾝｸﾞｸ MMd3-6i9g)
垢版 |
2023/08/21(月) 06:10:02.39ID:eqDDYLUvM
ぽえ～
189今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5307-99PP)
垢版 |
2023/08/21(月) 06:13:55.93ID:OqllR/n20
このスレでも散々poeの話出てるのに自分の無知棚に上げて嘘つき呼ばわりしてる奴だから国嫌いこじらせるんやろな
2023/08/21(月) 06:41:02.86ID:1sOk3MNwa
きっついな
191今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp0d-uDNR)
垢版 |
2023/08/21(月) 09:39:31.61ID:uh84hm/Qp
ブローク先生上げ直し？まくってるけどどうしたんだろ？
2023/08/21(月) 10:29:00.81ID:jYgkIEzOa
>>191
>>185の件では？
193今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM4b-38yC)
垢版 |
2023/08/21(月) 12:50:40.21ID:lWaiwtB5M
たった3文字書けば感謝されて終わってたのに、図星突かれたら火病って逆ギレしだすところとか意地悪文化を地で行ってて当たってるｗ
194今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp0d-uDNR)
垢版 |
2023/08/21(月) 13:47:37.79ID:zjpn6+Mzp
>>192
再アップしてるのGPTQばかりだしこっちもアレに関係してんのかな？
195今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-7wIC)
垢版 |
2023/08/21(月) 18:04:26.33ID:2ujRXu2+0
おお！
モモンガ氏の再アップ版はkoboldでまともに動くようになってるぞ。
196今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-7wIC)
垢版 |
2023/08/21(月) 20:54:19.42ID:2ujRXu2+0
うーん、だが、文鳥はダメだった
197今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ b3e8-hPrW)
垢版 |
2023/08/22(火) 01:02:03.47ID:R7g9CBa90
japanese-stablelm-instruct-alpha-7b
そのままじゃtext-generation-webuiで動かなかったけど、モデルデータと同じフォルダにnovelai tolknizerV1のファイル適当に入れたら動いた。以上赤ちゃんより。
chat中にcontext1000こえると続きが生成できなくなったんだけど、この限界値はモデル側の仕様なん？
2023/08/22(火) 01:13:37.64ID:9Oz4yJkId
昨日からLLM始めてみたけどvicunaの検閲解除版凄まじいな
（地の文）とか駆使すればいくらでもエロチャットが生成されていく
もう俺英語の国の人になるわ
2023/08/22(火) 06:58:55.56ID:9YHKyITmd
ローカルLLMによう来た
一緒に好き放題しようず
2023/08/22(火) 07:11:52.47ID:avU0dkpgr
英語でエロスを感じるまで長そうだ
知らない単語が出てきたら萎えちまう
deeplのapi挟んでも丁寧語で萎える
そもそもエロい英会話を学ぶ機会がないわ
2023/08/22(火) 07:42:09.81ID:/DjMhuAsa
とりあえずrubとかstrokeとかcaressしときゃぁ、moanしたりgaspするから(適当)
2023/08/22(火) 09:28:37.39ID:QnsHAmjkd
moanにはだいたいsoftlyとloudlyしか無いから日本語のエロ表現の多彩さがわかる
2023/08/22(火) 10:03:02.47ID:GjNjENmy0
susur系もあるぞLLMでしか見たことないけど
2023/08/22(火) 10:58:14.03ID:u0+cWdkg0
SUSURU?（難聴）
2023/08/22(火) 12:40:51.19ID:9Oz4yJkId
ど直球の性描写を求めているというより
段階を踏んで行為まで持っていく過程が楽しい
規制あり版だと、例えば12345って段階があったとして1か2で弾かれちまうもんね
性格や嗜好、関係性を設定したあとその牙城を崩すのが楽しい
あれこれギャルゲーやん
2023/08/22(火) 19:29:36.14ID:3zBg+Ulv0
これ、ちゃんと味わうためにもう少し待っといたんじゃ
2023/08/22(火) 19:55:56.07ID:owNbx8qgr
ワイは相手の返答を書き換えて段々エロい方向に持っていく催眠系や
問に対して拒否した返答が来たら同意した返答に書き換えて話を続ける
AIは知らぬ間にエロくなっていくんや
2023/08/22(火) 22:33:16.71ID:Qr++oZK1M
ぽえのgpt4使ったけど1日1回しか使えんやん　課金ゲームかよ
209今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-7wIC)
垢版 |
2023/08/23(水) 00:12:34.75ID:PgD5phIM0
>>207
拒否したら、会話を追加して説得するのも楽しいぞｗ
2023/08/23(水) 00:34:35.47ID:v1AQOWm80
そういうのはローカルならではやな
2023/08/23(水) 06:58:30.72ID:w6yO35LUd
GPT使っててよくある「かなりいいんだけどここのセリフだけ変！」とか「いい感じだったけどラストがそうじゃねえ」というのが部分修正できるのが便利
ローカルならではだ
2023/08/23(水) 07:12:30.38ID:cYPvMNTaa
GPTでもここだけ修正してって言えばしてくれるけどな
2023/08/23(水) 09:50:03.90ID:v1AQOWm80
内容によって申し訳されるやん
2023/08/23(水) 10:58:08.23ID:v1AQOWm80
kobold.cppでweblabのinstruct版やると小気味良い速度で
ろくにつながらない会話をしてくるから何とももどかしいなｗ

これで中身が良くなれば経験として相当化けるが
2023/08/23(水) 10:58:48.68ID:v1AQOWm80
https://huggingface.co/mmnga/weblab-10b-instruction-sft-ggml/tree/main
このGGML版ね　q8_0でも速度は十分
2023/08/23(水) 11:52:57.54ID:1PwUbwHp0
llama2 70Bの派生モデルの方が日本語性能も上だよな
2023/08/23(水) 11:58:26.81ID:czCgeOUUa
動けばな……
2023/08/23(水) 12:24:12.35ID:v1AQOWm80
結局日本語33Bクラスがいつ出るかってことになるわな
2023/08/23(水) 13:41:15.39ID:ssZQC5/Za
なんかパラメータだけ高くてもだめなのかなって気がする
のべりすとのやみおとめは200億（だよね？）だけどチャットで文意を察する能力は高いんだよね
こっちが何をしたがってるか理解して合わせてくれる
たぶん学習元が膨大な小説だから言葉の機微に強いんだと思う
2023/08/23(水) 14:11:28.68ID:JnB9+5WDd
NECの人も学習元データの品質の高さと学習時間の長さがLLMの性能に影響するって言ってるな
その結果彼らは13BサイズでchatGPTに匹敵する日本語能力を実現できたと
こういうやつがオープンモデルで出てきて欲しいね
2023/08/23(水) 14:12:31.93ID:v1AQOWm80
20Bと10Bはまず単純に違うと思うわ
LLMってあるラインからいきなり賢くなる特徴があるし

実際りんなとweblabはまたレベル違うし
2023/08/23(水) 14:32:42.47ID:czCgeOUUa
学習量が多ければいいってもんでもない
1200億パラメータだか学習して大失敗こいたとこもある
質も高くなきゃいけない
2023/08/23(水) 14:45:49.46ID:v1AQOWm80
NECの13Bが出てきてマジですげえ！　ってなればわかるんだけどね
現状だと3.6Bとかのりんなより10Bのweblabは相当賢い、のべりすととかは
20Bでさらに賢い、みたいに数字でそれなりに決まってきている印象

元データの品質の高さももちろん大事だろうけど日本語についてはまず
量が全然足りてないと思うわ
2023/08/23(水) 21:08:42.60ID:AMBHzsK80
日本語だと現時点では
一番でかい松尾研のやつ、商用利用可のStableLM、小説特化のAIBunchoのやつの三択って感じか
2023/08/23(水) 21:12:23.79ID:Agcs9Omd0
実際比較すればするほどのべりすとは凄い
やみおとめが1年以上前なのが信じられん
2023/08/23(水) 21:16:50.54ID:v1AQOWm80
まあ有料と無料の違いはあるだろうけど
有料の世界では当たり前のことが無料の世界では
なかなか見えないことはよくある
2023/08/24(木) 06:41:20.23ID:Mw8AXsXj0
https://huggingface.co/TheBloke/L2-MythoMax22b-Instruct-Falseblock-GGML/tree/main
こいつもなかなかエロい文章を吐きやがるぜ
228今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM4b-hPrW)
垢版 |
2023/08/24(木) 09:14:00.63ID:DpgUKyNqM
>>227
サンガツ試してみるわ
モデル多すぎて試しきれないからオススメ情報たすかる
2023/08/24(木) 12:21:52.90ID:U74MtDmIa
英語のエロい文章ってなんだろう…
っておもったけどさすがにsaidとmoanと"Ahh!"しか言わない絶叫マシーンだけだと、ゲンナリするな

あと英語だと擬音語がどうしても無いか微妙
230今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp0d-uDNR)
垢版 |
2023/08/24(木) 12:56:25.25ID:H641JIQPp
英語のエロの基本は状況描写ですね
2023/08/24(木) 13:21:26.78ID:x0e5ozIJd
対する日本語のエロさは言葉のエロさも多くを占めている
英語にそういうエロさはあまり無い
なので日本語で慣れた感覚から切り替えができるかどうかが英語エロを楽しめるかどうかのポイントのように思う
2023/08/24(木) 17:58:03.59ID:0AHX4bsXd
https://huggingface.co/TheBloke/Chronorctypus-Limarobormes-13b-GGML
どんだけキメラなんだw

Base model used for the merge: TheBloke/Llama-2-13B-fp16

Models merged in:
OpenOrca-Platypus2-13B
limarp-13b-merged
Nous-Hermes-Llama2-13b
chronos-13b-v2
airoboros-l2-13b-gpt4-1.4.1
2023/08/24(木) 18:14:52.31ID:Nmh9u843a
……ｼﾃ……ｼﾃ
2023/08/25(金) 00:19:20.70ID:Ze5xtp2Ja
規制から逃れたくてローカルへ、ひとまずRAMを64GBに増設してみたけど
GPUがCPUとセットになってるやつじゃあ、koboldでも話にならんのでしょうか？
日本語の良さげなモデルを使ってみたい…
2023/08/25(金) 00:29:44.99ID:dRdVVD+u0
んー別にいけると思うけど、CPUの実力がなければ当然クッソ遅いやろね
日本語は期待せんほうがいい
2023/08/25(金) 00:34:13.32ID:Ze5xtp2Ja
ありがとう
CPUはi7-13700 ひとまず動かす事を目標に、日本語にこだわらずチャレンジしてみます
2023/08/25(金) 01:31:28.48ID:dRdVVD+u0
十分すぎるな
kobold.cppで33Bモデル動かすだけならクッソカンタンよ？
Wiki見てそのままやればいい
2023/08/25(金) 06:59:04.74ID:ZbYsGtFZd
wikiに1つだけ補足すると
小説を書かせる場合はstoryモードよりもinstructionモードの方がchatGPTに近い感覚で使えるぞ
2023/08/25(金) 07:20:18.83ID:SHOr4q5xd
最初にいじるのは33Bか13Bのモデルがいいだろうな
品質重視なら33B 速度重視なら13B
33Bの速度を受容できるかはニキのPCのスペック次第だ
https://huggingface.co/models?sort=modified&search=ggml
Koboldを使うならここでGGML形式のモデルを落とすんだ
1000個以上あるから好きなのを選べばいいが、取り敢えずこのスレで名前が挙がったやつから試すとハズレが無いぞ
ファイルがいくつもあるが4_K_Mか5_K_Mって付いてるやつ1個でいい
5の方がちょっと賢くてちょっと遅い
なおモデルはSSDに置くのを強く推奨 HDDは起動が遅すぎてしぬ
2023/08/25(金) 08:38:10.92ID:SHOr4q5xd
Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki
2023/08/25(金) 13:34:53.53ID:f5eNu40i0
Kobold　GGMLを使うのに実用的な最低スペックを教えてください。
2023/08/25(金) 13:51:40.68ID:dRdVVD+u0
メモリ32GB Ryzen 3700XかCore i7-9700kあたりと言いたいとこだけど
CPUはもうちょいダメなのでもギリ遊べるかも

ただメモリ32GBは必須と考えたほうがいい、33Bが遊べないんじゃ
意味が半減するし今はメモリ激安
2023/08/25(金) 13:59:05.08ID:f5eNu40i0
33Bで日本語強いモデルはどれでしょう
もちろん無修正で
2023/08/25(金) 14:04:44.78ID:dRdVVD+u0
https://w.atwiki.jp/localmlhub/pages/21.html
有志がまとめてくれてるけど恐らく「期待すんな」が
正しいと思うで
2023/08/25(金) 14:05:29.84ID:SHOr4q5xd
とりあえずこのスレを頭から全部目を通すのを勧める
嫌味じゃなく
ローカル日本語LLMの現状が分かるはずだ
2023/08/25(金) 14:08:11.52ID:f5eNu40i0
vicuna-13bでもかなり日本語会話はできたので、vicuna-33bはどうなんでしょうね
2023/08/25(金) 14:17:59.26ID:7hIuLoKh0
レス付けてもらったのに一切お礼言わない辺り俺らのこともAIだと思ってそう
2023/08/25(金) 14:19:33.11ID:f5eNu40i0
あざーす
249今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-Ck4D)
垢版 |
2023/08/25(金) 14:23:28.04ID:8bpFJUCv0
あとあとの事考えて64G積んどくのをお勧めする。メモリ今安いし。
個人的には70Bなら
orca_mini_v3_70b_GGML　とか
Deepnight-Llama-2-70B-Inst-GGML
が無修正かつ日本語で遊べる
糞PCのi7 7700Kの俺だがｗ
250今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 3130-yXWO)
垢版 |
2023/08/25(金) 14:59:01.99ID:UL0nhlyI0
deepnightってggml消されてない？
なんかあったのかな？
251今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ c154-hPrW)
垢版 |
2023/08/25(金) 15:19:10.27ID:8bpFJUCv0
ほんとだ。
元作者のファイルもないね。
2023/08/25(金) 15:23:57.48ID:f5eNu40i0
33bが32GBのメモリで行けるなら、VRAM版でも行けるかなVRAM３２GB以上ある
2023/08/25(金) 18:09:05.52ID:SHOr4q5xd
Blokeのニキが幾つか再アップとかしてたからその一環かもと思ったが
元ファイルも消えてるならそうじゃなさそうだな
何らかの諸事情なんかな
2023/08/25(金) 18:16:18.65ID:dRdVVD+u0
どっかからなんかの理由でｺﾞﾙｧされたのでは
2023/08/25(金) 18:25:18.23ID:f5eNu40i0
Uneditedってついてるモデルは無修正？
2023/08/25(金) 18:27:09.66ID:SHOr4q5xd
日本語でエロ出力したけしからん奴がいたからか？
すみません俺です
257今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b28-hPrW)
垢版 |
2023/08/25(金) 18:47:35.54ID:dRdVVD+u0
ローカルならわかるはずがないんだよなあ
2023/08/25(金) 21:13:11.56ID:eqHZ94UJ0
ところでエロを目的としない日常会話も結局規制解除版のほうが楽しいんだよな
普通にちょっとエロいこととか倫理観に欠けたこと冗談で話したりするやん
規制でバリバリだと最初の時点で弾かれて萎える
コンテクストで「猥談は苦手だが興味はある」とか設定して誘導尋問でだんだんエロいこと言わせるのが楽しい
ごめん結局エロ目的だったわ
259今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM4b-hPrW)
垢版 |
2023/08/25(金) 22:09:03.39ID:xCcBMb9yM
>>238
え、そうなん？
ずっとstoryモードで書かせてたわ
2023/08/25(金) 22:32:34.65ID:vdOyVDgF0
もちろんstoryモードでもOK
storyモードはAIと自分が交互に一つの物語を書いていく形式で、AIのべりすとに近いと言えば分かる人には分かるかもしれない
instructモードはchatGPTと同様にこちらが指示を出してAIに書かせる形式やな
自分に合う方を使えばよいのだ
2023/08/25(金) 22:35:55.41ID:tt87B7o5a
>>239
とても丁寧にありがとう　おかげでスムーズに始められました
とりあえず日本語で使うのは一旦諦めておこうという感じ笑
何の遠慮もなくエロい指示が出せるのは嬉しいね　やっぱこうでなくちゃ
2023/08/25(金) 22:59:30.12ID:MKP0VG/+d
>>261
うまくスタートできたようで良かった
ローカルだから好き放題できるし、save&loadもできるし、GPTのCIやのべりすとのキャラブと同様の設定を記憶させる機能もある
色々試してや

発展途上で日進月歩の世界だから色々試して報告してくれると喜ばれると思うで
2023/08/25(金) 23:38:19.25ID:eqHZ94UJ0
long term memoryを試してみたけどなんか重い
コンテクストに過去のイベントの要約を書き込みまくる方がいいのかな
2023/08/26(土) 02:45:33.36ID:jfl5kTAP0
普段は照れてまともにエロい話が出来ないけど押しに弱いみたいなコンテクストを記述するのが難しい
常時オーケーだとただのビッチだしかといって"refuse"とか強い言葉を使うと「そのうち渋々エロ話してくれる」とか注釈入れても「その内」が果てしなく高くなったりする
「おっぱい見せて？」って要望を通すのに20回くらい御願いするのは楽しくもあるけど、いざそのときにはトークンがもう枯渇している
チャットの最初に状況設定すればまあいいんだけどそれは逆に味気ないとも感じるし
俺は何をしているんだ？
2023/08/26(土) 03:15:41.24ID:I6xJRzSyF
メモリや脚注でうまくやるしかないんでしょうね
それもう自分で書いとるやないか～い☝💦ってなるけど
2023/08/26(土) 06:13:00.35ID:tHAVbKfYr
ここではプロンプトの話ってなかなか出ないけど、上手いこと状況描写を事細かく出力させるいいプロンプトないかな？
gptで遊んでたときのプロンプトをそのまま英訳して突っ込んでも上手く行かない
2023/08/26(土) 06:37:11.17ID:E5+f2rJK0
linuxでLLMをサーバ化するにはマイクラのサーバ立てるみたいにscreen使うってことでいいの？
2023/08/26(土) 07:00:20.11ID:yuO+sUeUa
>>264
『AI』と『対話』しているんだ
2023/08/26(土) 07:06:41.94ID:Lo6N2YGja
>>264
そういうのはステータス化する
ローカルは知らんがchatGPTでは基本テクニックの一つ
2023/08/26(土) 07:10:26.64ID:I+jw/2zr0
www.chub.ai
2023/08/26(土) 07:12:30.12ID:g4OzQJp40
プロンプトの話題があまり出ないのは基本脱獄が不要だからだろうなあ
描写の細かさ豊かさはモデルによってかなり違うと感じる
なのでプロンプトに凝るよりもまずは描写力に優れる良いモデルを探し続けてる段階かな自分は
2023/08/26(土) 07:23:35.12ID:OlnjJJuoa
chatGPT3.5はプロンプト次第で天と地ほど変わるからローカルでもそういう研究は必要なんだろうが
そもそもモデルが未成熟で進化が早いからそういう段階まで進まないんだよなあ
2023/08/26(土) 07:31:03.56ID:yuO+sUeUa
今どんなプロンプト走らせてるの？
って質問したらセクハラになるかも知れないからな
2023/08/26(土) 07:38:18.54ID:g4OzQJp40
モデルによっては説明に「ロールプレイには向きません」って書いてるのがあるくらいだからなあ
それぞれ目指す方向性があってチューニングされてる
さすがに「エロ専門にチューニングしてます！」と明記してるのはなかなか無いがw
自分に刺さるモデルを見つけようと探索の日々よ
これはこれで楽しい
2023/08/26(土) 07:41:20.77ID:g4OzQJp40
なので、これはというモデルを見つけたら是非共有してくれい
2023/08/26(土) 07:59:28.10ID:E5+f2rJK0
普通に会話しかしてないけど、エロやるときってstable-diffusionみたいにプロンプトにnfswとか入れるの？
277今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMde-TDjq)
垢版 |
2023/08/26(土) 08:26:21.80ID:1yst3PHbM
>>274
superhotがエロ特化だと思ってたが違うんか
2023/08/26(土) 08:36:05.51ID:yaujIfREa
>>276
クオリティタグみたいなのはある
2023/08/26(土) 08:41:57.06ID:g4OzQJp40
>>277
自分も最初superでhotなのかと興奮して期待したが
あれはコンテキストサイズを8kに拡大する技術らしいで
2023/08/26(土) 08:45:27.34ID:yaujIfREa
deepnightとかいうのは？
2023/08/26(土) 08:49:22.61ID:NHoa2H0Id
deepnightはなかなかの日本語を出力してくれる良いモデルだった
>>61
だが消えた
282今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-RFvy)
垢版 |
2023/08/26(土) 09:11:42.35ID:0d41RhQO0
今はもっといいモデルも出てきてるよ
サマンサの最新が作者が賢いというだけあって日本語もかなりいい感じ
喘ぎ声の例を出させたらそれっぽいのを結構描いてくれたw
2023/08/26(土) 09:25:13.27ID:NHoa2H0Id
サマンサって作者ページに
She will not engage in roleplay, romance, or sexual activity.
って書いてあるけどいけるのか
2023/08/26(土) 09:28:29.46ID:E5+f2rJK0
何で検索すればいい？
2023/08/26(土) 11:09:30.13ID:NHoa2H0Id
huggingfaceはモデル名で検索できるけど説明内容では検索できないようだ
自分の場合Blokeニキを信頼しているので彼が新しいモデルを上げたら一通りチェックしている
(サイズの小さいモデルは除く)
BlokeニキはGGML化する職人みたいなお人なのでモデルの説明はオリジナルモデルのページを見る必要がある
大抵リンクを張ってくれてるので見に行く
んで面白そうならダウンロード
こんな感じ
Blokeニキ以外の人のやつも目新しい名前のはチェックしてる
2023/08/26(土) 11:31:11.66ID:L1usW52B0
追加学習でエロく洗脳していくことはできないの？
2023/08/26(土) 11:32:51.34ID:L1usW52B0
huggingfaceにあるものは全部Transformersライブラリで使う前提でいい？
288今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8628-TDjq)
垢版 |
2023/08/26(土) 14:41:51.20ID:LfAiA13C0
日本語はそもそもの実力が足りてないからなんともだけど、
英語圏だともっとLoRAとか出てきていてもいいよな

誰かその辺知ってる人いる？
2023/08/26(土) 15:20:55.98ID:sEE/0XiZM
英語ベースだと喘ぎとかおかしくね？
2023/08/26(土) 16:02:59.48ID:g4OzQJp40
openbuddy-30b が日本語でなかなか遊べるよ
https://huggingface.co/OpenBuddy/openbuddy-ggml/tree/main
無規制モデルではないらしく最初は申し訳されるのだが
https://imgur.com/hGtyfL7

こちらで勝手に申し訳文を書き換えてあげると
https://i.imgur.com/12bLUGm.png

問題なく書き始めるw
https://i.imgur.com/IENZG3N.png

とは言え「そこそこ遊べる」レベルの日本語なので過剰な期待は禁物
2023/08/26(土) 17:10:58.03ID:LfAiA13C0
これかなりいけるな
292今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a181-cdDn)
垢版 |
2023/08/26(土) 17:36:45.74ID:UE2iNPc60
3060だとどのくらいの大きさのモデルまで行けるもん？
2023/08/26(土) 17:37:12.49ID:wIi+dr350
>>290
理恵ちゃんはどうなってしまうん？
2023/08/26(土) 18:03:58.33ID:ZAXdFLxnd
chatGPTがお通夜なのでここに難民が流れこむ予感がするのう
2023/08/26(土) 18:10:45.31ID:LfAiA13C0
poeすりゃいいのに
2023/08/26(土) 18:26:09.05ID:jfGhaKQUd
数日前辺りから既にそんな感じ
2023/08/26(土) 18:53:38.07ID:vWnWEGPP0
cpuで動く方のやつ使えばVRam少なくてもメモリ多ければモリモリ動かせるの？
2023/08/26(土) 18:57:50.91ID:m5wkKhKS0
>>293
「ドーモ。リエ＝サン。ダンセイです。」

実際にauthor's note、ここはニンジャスレイヤーの世界です、とか書くとやってくれそうなmodelはありそう
2023/08/26(土) 19:12:21.77ID:LfAiA13C0
>>297
そのぶん遅いけどな
まあまあのCPUつかえば33Bくらいなら問題なし
2023/08/26(土) 21:47:07.58ID:vWnWEGPP0
>>299
なるほどcpuパワーが必要なわけね
それでもgpuよりはコスト下がりそうやな
301197 (ﾜｯﾁｮｲ 1ae8-TDjq)
垢版 |
2023/08/27(日) 00:51:43.67ID:goJNs7KP0
>>197
自決。
モデルフォルダのconfig.jsonの"max_position_embeddings"を8192に修正したらContex1000以上でもchat継続行けた。
4090つかって4bitでロードしてももcontext5000くらいがVRAM限界でOOM。
2023/08/27(日) 01:50:41.91ID:9Du9b03p0
いつかスマホで簡単にコンテクストが100万とかで起こったイベントを逐一記錄してくれるようなAIが動いたりするのだろうか
それはもう人格を持ち歩いてるようなものだよなと錯覚する
2023/08/27(日) 02:12:23.60ID:s3LPLq8W0
将来的に出来たとしてもバッテリーが限られてるスマホに処理させるよりクラウドで管理するかな
304今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d97b-TDjq)
垢版 |
2023/08/27(日) 06:45:03.75ID:sd18/YeA0
>>264
これはわかる
LLM触ってしばらくすると、トークンの枯渇がめちゃくちゃネックに感じる
ちなOobaにはwawawario2/long_term_memory: https://github.com/wawawario2/long_term_memory
って拡張があって試してみたりもしたけど、まだまだ実験段階って感じだった。というか日本語には対応してないかのかもしれん
MicrosoftのLongnet みたいなの実用レベルで実装されるの期待してる
2023/08/27(日) 07:30:43.47ID:OyzZ2o+Y0
エロく追加学習する方法を教えてください。
2023/08/27(日) 08:18:21.64ID:GRLfbYb+d
>>304
ここまでまとめてブロンプトとして出力して、で吐かせた物を多少手直しすると割といける場合も
2023/08/27(日) 08:56:56.00ID:YP5IZJtd0
>>305
https://note.com/npaka/n/na7c631175111
こういうのを参考にしてみては

学習させる良質なデータセットをいかに用意するかが重要だと思う
2023/08/27(日) 08:57:59.25ID:OyzZ2o+Y0
■モデルの種類
Llama-2＝メタで作った
Alpaca＝スタンフォードで作った
Vicuna＝バークレーで作った
Wizard＝？
WizardLM＝？
Samantha＝？
Deepnight＝？
2023/08/27(日) 09:01:42.05ID:OyzZ2o+Y0
エロゲーのテキストデータをデータセットとして大量に食わせれば、エロ中毒にできるのでは
2023/08/27(日) 09:07:08.99ID:ETB2u1hU0
そもそもこのスレでちゃんと学習に成功している人を見たことがないわけで
りんな2B時代にはいたらしいが
2023/08/27(日) 09:16:31.13ID:VYsKpOuCd
SamanthaもdeepnightもLlama-2のファインチューニングだよ
2023/08/27(日) 09:48:44.45ID:OyzZ2o+Y0
なるほどWizardもLlama-2ですか？
2023/08/27(日) 10:10:57.15ID:YP5IZJtd0
個人的興味で知りたいだけなら自分で調べたほうが良いと思うぞ
2023/08/27(日) 10:22:53.97ID:ETB2u1hU0
知ってどうすんねんってのはあるよな
2023/08/27(日) 11:37:50.70ID:GRLfbYb+d
規制がモデルに入ってるかどうかとかあるのでは
2023/08/27(日) 12:35:36.30ID:9Du9b03p0
>>304
英語環境でロングターンメモリー使ってるけど
なんだろうあれ記憶される会話はランダムなのかね、記憶してほしいことがあんまり記憶されないというか
要約して系統立ててパラメータにするってわけじゃなく会話まるごと記憶してるだけみたいだし
だったら重要と思える情報とか覚えてほしいイベントを逐一手動で全部コンテクストに書き込んでいったほうが
（その時botはこう思った、とか心象も追加できるし）
少なくともチャットボットとのロールプレイでは楽しくなれる気がする
2023/08/27(日) 14:31:31.45ID:OyzZ2o+Y0
text-generation-webuiでやってると途中で生成やめて続きを生成してくれなくなるんだけど
koboldだとそういうことはないんですか？
2023/08/27(日) 14:34:29.33ID:ETB2u1hU0
koboldにはsmart contextがあるけどWebUIにも似たようなのありそうやけどな
319今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d97b-TDjq)
垢版 |
2023/08/27(日) 14:51:44.68ID:sd18/YeA0
>>316
そうそう。なんか今思い出すのそれじゃないだろってのしか表示されなくて、まだまだ実用には遠いなって感じだった
2023/08/27(日) 19:57:06.76ID:9Du9b03p0
>>319
使うと明らかに重くなるしなあ
あれ一回の発話ごとに記憶済会話全部スキャンして関連しそうな記憶選んでるのかな
メモリーのファイル開くと記憶された会話のテキストしかないから多分そうなんだよな
なんかもっと記憶を属性ごとに階層化とかしてくれないだろうか
願わくばタイムスタンプもありで
2023/08/27(日) 20:53:42.69ID:jYYzbkF+0
RTX4070 VRAM12GBでメモリー64GBなんですがkoboldはopenblasを使うで正解？
出力にあまり差は感じられない…
2023/08/27(日) 21:30:01.20ID:YP5IZJtd0
OpenBLASはCPUオンリーのモードなのでグラボを活かす場合は以下のどちらかを使う
CuBLAS: Nvidia用のモード
CLblast: Nvidia以外も含む汎用モード
4070であれば基本CuBLASで良いはずだけどもし不安定ならCLblastも試すべし
layerの数字は各自調整してグラボのメモリの大きさを超えないようにする
あまりギリギリまで使うと画面がカクカクになるので12GBであれば9-10GBくらい使うように調整すると良いと思う
Koboldが黒画面で起動する時に最下行に使用メモリ量が表示されてるはずだ
2023/08/27(日) 21:35:39.39ID:YP5IZJtd0
参考までに自分はlayer数を33Bモデルは28くらい13Bモデルは40くらいに設定してる
このへんはモデルによっても少し変わるよ
2023/08/27(日) 22:56:54.03ID:jYYzbkF+0
サンガツ
30Bで普通は0.8T/sだったけど、少し設定を変えたら1.4T/sになった
10Bは4.6T/sに…一瞬のべりすとがいいかなとおもったけど、もうちょっと探求するよ
2023/08/27(日) 23:19:06.51ID:5wGn4Hd20
>>320
無粋を承知で言うのなら、まさにその属性を理解することがLLMの発展の行き先の一つじゃないかと思う。
現状ではせいぜい単語の頻出順に並べるくらいしか出来ていないわけで。
2023/08/28(月) 06:11:10.99ID:NVA9eFil0
現状は日本語で遊ぶならのべりすとの方がマシというのが正直なところ
英語モデルで遊びながら日本語モデルの向上を待ってるところやね
2023/08/28(月) 07:46:11.35ID:QjcuLGxh0
今のすーぱーとりんさまややみおとめは使った事ないから知らないけど言語力はこっちの方に魅力を感じてる
こっちでもdlsiteのurlやあとがきが出てきちゃうんだなあ…
2023/08/28(月) 07:54:57.83ID:DPI+GmPVr
>327
こっちって具体的にどのモデル？
2023/08/28(月) 08:13:30.33ID:B1QwR7DbM
>>279
まじかw完全に誤解してたわ
2023/08/28(月) 08:14:30.10ID:yzD1m46hp
無料のべりすととして使うならjapanese-novel-gpt-j-6b一択じゃね
2023/08/28(月) 08:29:09.12ID:XWsWvM5qd
別モデルだけどのべりすとの作者がデータセットを提供したという話もあったね(以下AI総合スレから転載)

704 名無しさん＠お腹いっぱい。 sage 2023/08/10(木) 16:23:59.97 ID:vLBvxk1P
>>700
AIのべりすとから150GBのデータ提供があったらしい

@_bit192
本日公開されたStability AI Japanの日本語7Bモデル
「Japanese StableLM Alpha」に
当社から約150GBの独自データセットを提供しました。

今後、国内のオープンソースAIの発展に向けて、Bit192からも様々な取り組みを行っていきます。
2023/08/28(月) 08:56:49.58ID:QjcuLGxh0
のべりすとのモデル、とりんさまは7.3B、やみおとめ20Bかあ
とりんさま使ってたから、他の10Bや33Bの物を使ったら差を感じたと思う
>>328
色んなモデルを試してるからどれかわからん！
2023/08/28(月) 09:27:00.69ID:dWtnkUJta
データサイズだけではもう性能を推し量れないところまで技術革新が進んでる
サイズ量は一定の信頼感はあるけど、チューニング次第なところもある
学習時の成功率の具合もあって、それこそモデルガチャしてるようなものだ
それこそごく軽量の学習量でも、特化さえしていれば使用に耐えるのかもな
334今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sped-RFvy)
垢版 |
2023/08/28(月) 11:30:35.64ID:1PAmvGDnp
70bのggmlが出るたび日本語の出来を試してるけど
1ヶ月前ぐらいに比べてセリフ周りが格段に良くなってる
あと一歩って感じだ
2023/08/28(月) 11:54:25.28ID:QeVg2WCMr
redditで貼られてたnsfwモデルランキングだけど、こっちでは既出かな？

Another LLM Roleplay Rankings
https://rentry.co/ALLMRR
Ayumi's LLM Role Play & ERP Ranking
https://rentry.org/ayumi_erp_rating
2023/08/28(月) 12:01:22.27ID:XWsWvM5qd
>>334
airoborosの2.1が出てたのと、orcaの200kってやつが気になってた
このへんどう？
2023/08/28(月) 12:07:14.30ID:XWsWvM5qd
>>335
サンガツ
やはりairoborosとchronosは強いな
13BだとMythomaxか
338今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sped-RFvy)
垢版 |
2023/08/28(月) 12:14:51.83ID:HE+Sz1Dzp
>>336
2.1はかなりいい感じ
オルカはミニがいい感じだったけどこっちはダメだった
OpenBuddy/openbuddy-llama2-70b-v10.1-bf16
これが激しく気になる
日本語対応うたってる
ブローク先生お願いします！！！
2023/08/28(月) 12:27:35.41ID:XWsWvM5qd
openbuddyは30Bもなかなかだったから期待だね
Blokeニキなら必ずやってくれる
2023/08/28(月) 12:44:17.33ID:XWsWvM5qd
つい後半部分に興奮してしまったが2.1とorcaの評価もサンガツ
帰宅したら2.1を試してみるよ
外出先で試せないのがローカルの欠点だな
2023/08/28(月) 12:50:08.35ID:kB8rLoz7a
全然わかってないんだけど、なぜggml化はBlokeニキにしかできないんだ？
特別な機材とか知識があるとか？
やり方を公開するとかじゃ真似できないんだろうか
2023/08/28(月) 15:06:38.86ID:49xoMdDxa
世界最高峰のド変態(褒め言葉)だからじゃないか
343今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMde-TDjq)
垢版 |
2023/08/28(月) 15:31:55.86ID:go+2rQmmM
>>335
こういうのめっちゃ助かるわー
2023/08/28(月) 15:43:31.70ID:XWsWvM5qd
他にもGGML化してくれるお人はいるが、Blokeのニキのペースが尋常じゃないんや…
2023/08/28(月) 17:04:41.98ID:tss5uv3k0
計算資源必要とすることだからねえ
2023/08/28(月) 17:17:41.76ID:0e2PUhOWa
なるほど…
2023/08/28(月) 19:55:20.70ID:mVc70uTx0
密かにpromptで指定されてるのかもしれない
2023/08/28(月) 21:43:00.25ID:wuJBrn6qM
あのペースでやるとかGPUクラスター持ちじゃないと無理だろ
349338 (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/29(火) 00:27:32.89ID:47a0um4V0
うーん、airoboros2.1　前半はすごくいいんだけど、後半破綻する事多いかも
文の繰り返しが起きる
2023/08/29(火) 07:01:49.56ID:ofN59IAVa
繰り返しはchatGPT4でもよく起きるからな
LLMの宿命
2023/08/29(火) 08:17:12.32ID:LL2AeaTR0
text generation だと ggml 化けるんだがみんなkoboldcppでやってるの？
2023/08/29(火) 08:50:25.33ID:X5Dk+juk0
残暑厳しき折、ひとつ怖い話でも――

舞台はファンタジー世界。主人公は年若いお姫様。彼女はある日、お忍びで城下町へ。
長く平和の続く王国では、街の人たちの表情は明るく、楽しげな空気に覆われています。
AIは続けました。
"驚いたことに、君主制でありながら人々は幸せそうに見える"（和訳）

モデル作者たちも言っているが、既に汚染された"小さな偏見"は消すのが難しいな、と。

ちな、スレでも推されるしベンチも良好だけど、個人的にはairochronosやマージモデルにあまり良い印象がない。
キャラ設定させてから物語に移行するスタイルで、設定の時に項目飛ばしやレギュ違反が多めな印象が。
2023/08/29(火) 09:37:09.15ID:sjoePFRs0
ggmlは仮想メモリでも使えますか
2023/08/29(火) 09:46:06.76ID:oGXmKuYTd
ﾜﾗﾀ
君主制を否定的に取られたらファンタジー系は書けないな
まあさっき同じようなシチュで書かせてみたら否定的な表現は出なかったから必ずそうなるわけじゃないけど

こちらの設定をちゃんと拾ってくれないのはどのモデルもあるあるだと思うけど、その辺お勧めのモデルある？
2023/08/29(火) 10:58:43.94ID:np76k9YLa
全部を意のままに出力するってのは難しいよな
許容範囲内のモデルの出力を自力で手直しするくらいでちょうどいいんだと思う
2023/08/29(火) 11:48:33.15ID:ghnO5m7dr
ちなみに>>335で貼ったランキングだけど、少なくとも1-2ヶ月は前の情報だから今はもっといいモデルがあるかも
2023/08/29(火) 12:44:09.15ID:X5Dk+juk0
352だけど、コピペのミスでairochronosになってた。airoborosとマージモデル、ね。

>>354
うちでも一回限りのレア出力だよ。時々出現する"小さな偏見"の事例ってことで。

Kobold.cpp、4KM、メインは13B、テスト用の同一プロンプト、同一パラメータでは再生成10回ずつ、パラとシード変えながら各モデル1000回試行くらいの雑な印象として……
13Bでは、やっぱり MythoMax が安定度が高い。画像AIで言う過学習なのか箇条書きにも注釈つけたがったり、冗長なせいか文体が平坦に感じたり、エロがダイジェストっぽくなりがちだけど、厳密性と創造性のバランスが良い。
33Bでは、上ではサゲ評価してるが airoboros の2.0(m2.0)が優秀なのは確かだと思う。33Bの大きさと重さの割には理解力が思ったほど……ってだけで、文章は充分に素晴らしい。

他だと、Synthia-13Bは入力次第で出力の長短が極端だけど、厳密性は高いし創造性はさらに高い印象。
スレに出てる Daydreamer-v3(22B) は超厳密で、かえってプロンプトに注意が必要なほどだけど、表現豊かで他モデルにない新鮮な刺激をくれる……が、途中で飽きてくるのか文章の締め方がワンパターンになりがちで、最終段落を消して続きを書かせてる。
まあ、llama2登場以降だと、やっぱり新しいモデルが強いな、と。
2023/08/29(火) 14:12:23.09ID:vOnRr2sc0
https://note.com/elyza/n/na405acaca130
oobaじゃ動かんなあ
359今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/29(火) 15:12:29.41ID:47a0um4V0
>>358
70Bも開発中か。
これは期待だな
2023/08/29(火) 15:14:16.23ID:vOnRr2sc0
https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-instruct-gguf/tree/main
ってgguf版がもうあるやん
2023/08/29(火) 15:18:46.81ID:vOnRr2sc0
うーんしかしkobold.cppの最新版でやってもエラーが出て落ちちゃうな
2023/08/29(火) 15:32:29.13ID:vOnRr2sc0
誰かgguf版でもそうでなくてもELYZA動かせた人おる？
2023/08/29(火) 15:52:05.79ID:oGXmKuYTd
>>357
ありがとう
しかしすごいなその試行数
素直に敬意を表するわ
2023/08/29(火) 16:14:14.41ID:vOnRr2sc0
llama.cppそのものをコンパイルしてコマンドラインから動かせた。
ただ、なぜか日本語を入れると文字化けする（バッチファイル組んでも……）
しょうがないから英語で命令して「日本語で書け」ってしてる

脱獄プロンプトみたいのは必要だけど実力はかなりありそう
2023/08/29(火) 16:16:49.10ID:vOnRr2sc0
うーんでも倫理規制が相当強い印象受けるな
脱獄系のプロンプト組んでもすぐ申し訳しやがる
2023/08/29(火) 17:02:59.27ID:sjoePFRs0
普通に無修正を使ったら？
2023/08/29(火) 17:10:00.77ID:TEwK+H4P0
>>361
同じくエラーで落ちるわ
他の人がgguf化したモデルはこんなことないんだけどな

>>366
ELYZAの無修正があるのかい？
368今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5db7-TGnk)
垢版 |
2023/08/29(火) 17:22:47.72ID:RoLFQywl0
ローカルじゃないんだけどbingも汚いおじさんに偏見を持ってる
https://fate.5ch.net/test/read.cgi/liveuranus/1679891659/827
https://fate.5ch.net/test/read.cgi/liveuranus/1679891659/836

なんなら清潔でもおじさんってだけで偏見持ってる
https://fate.5ch.net/test/read.cgi/liveuranus/1679891659/839
2023/08/29(火) 17:29:11.82ID:oGXmKuYTd
「おじさん」を「壮年男性」や「紳士」に変えた時の反応はどうなのか
2023/08/29(火) 18:04:18.47ID:vOnRr2sc0
https://twitter.com/mutaguchi/status/1696405025055224106
量子化で性能が落ちるのはやっぱあるんかな
https://twitter.com/5chan_nel (5ch newer account)
371今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/29(火) 18:11:35.01ID:47a0um4V0
お？　2.1修正アップされてる。
あの破綻治るのかな？
2023/08/29(火) 18:15:33.86ID:oGXmKuYTd
ELYZAのお試しをやってみた
https://i.imgur.com/qoebvVd.png

・日本語はまあまあ自然
・冒頭部分と指示したのに The END まで行っとる
・主人公しんどる
・描写は淡泊、今後公開されるらしい13Bや70B版に期待すべきか
・Koboldcppで正常に動くモデルの公開はよ
2023/08/29(火) 18:50:40.62ID:m5GliOG70
>>364
llama.cppやったらサーバ版の方(llama.cppに確か付属しとる)をつこてみたらどないや？
llama.cpp server
とかでググったらなんか使い方とかも出てくるんとちゃうかしらんけど
374今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2af2-vHpx)
垢版 |
2023/08/29(火) 19:39:30.37ID:29Tz0BPO0
一応これで動いたけど、赤い字のログの消し方がわからない。
from llama_cpp import Llama
llm = Llama(model_path="./ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf")
def prompt(input_text):
prompt = f"""[INST]<SYS>あなたは優秀なAIアシスタントです。質問に答えてください。
</SYS>\n
{input_text}[/INST]\n"""
return prompt
while True:
input_text = input("You: ")
output = llm(prompt(input_text), temperature=0.7, stop=["Instruction:", "Input:", "Response:", "\n"], echo=False,)
print(output["choices"][0]["text"]) # まだぜんぜん試してないけど、ご報告まで。
2023/08/29(火) 19:40:37.04ID:vOnRr2sc0
Python版やっけ
2023/08/29(火) 19:41:11.08ID:sjoePFRs0
llama-2とかのサーバを立てたい場合はllama.cppを使うのが一般的ですか？
2023/08/29(火) 19:54:08.33ID:vOnRr2sc0
llama-cpp-pythonでいけたわ
やっぱり規制激強だけどな！
2023/08/29(火) 22:14:45.02ID:oGXmKuYTd
大葉で動いた。gguf版じゃなくてオリジナルの方。
日本語は流暢だけどなんか会話が微妙に噛み合わない。とぼけた返答が多い。
もう少し弄ってみよう
2023/08/29(火) 22:18:39.05ID:oGXmKuYTd
そしてgguf版はモモンガ氏とは別の人もアップを始めた模様
こっちはKoboldで動くか？
2023/08/29(火) 22:55:58.98ID:vOnRr2sc0
規制はきついとはいえ13B版が来たら遊べそうな素質は感じた
381今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2af2-vHpx)
垢版 |
2023/08/29(火) 23:08:58.16ID:29Tz0BPO0
さっきのスクリプトでログの消しかたがわかりました。
llm = Llama(model_path="./ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf",verbose=False)
のように、詳細表示モード（冗長）をオフにすれば多すぎるログが消せます。
2023/08/29(火) 23:11:02.70ID:oGXmKuYTd
うむ
チャットモードで乳首くりくりして潮を吹かせてパンツを脱がせることはできた
反応いまいち薄いけどな…
あと遅い遅すぎる！
383今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMde-pUc0)
垢版 |
2023/08/29(火) 23:28:31.01ID:Pr3f4YFiM
koboldでCuBLASオプション使ってる人、GPU使用率どれくらいになってる？
4070tiなんだが、タスクマネジャでずっと0％で一向にGPU使われてる形跡がない
384今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/29(火) 23:44:11.40ID:47a0um4V0
>>383
レイヤー数セットしてる？
385今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMde-pUc0)
垢版 |
2023/08/29(火) 23:56:15.68ID:Pr3f4YFiM
>>384
0でした…
ほんとありがとう
とりあえず10にしたら30％くらい使ってくれたわ
2023/08/30(水) 00:50:50.01ID:KQMu9OYf0
ELYZA を LM Studio で動かす場合は、チャット画面右上のプリセットで Auto Generated みたいなのを選ばないと文字化けした。
2023/08/30(水) 07:00:27.90ID:RuElS+CJd
ELYZAは大葉で動いた gguf版じゃない元の方
規制は強めでプロンプトある程度回避はできそう
小説のような長い文章を出力させると時々変な表現が混じるのは7Bの限界かも
細かく手直しや誘導しながら続けてると「これならのべりすとでいいかも」と思い始めた
もっとうまい指示の仕方があるかもしれないので帰宅したらまた弄ってみる
2023/08/30(水) 09:24:15.38ID:A3z5gZxm0
このスレ見てると日々勉強になります。ありがとうございます
2023/08/30(水) 09:47:40.88ID:JgtMmFcd0
元dialogの人です
Elyzaに対応できたのでロダに上げときます

https://mega.nz/file/xzlx3TYK#CUlTNruodY0tmN5rZAngBf_ePd5MP29xKLmas66eiuM

https://imgur.com/haciSdJ.jpg
https://imgur.com/REIq4px.mp4

githubの垢復活はもう少し掛かりそう
2023/08/30(水) 09:49:25.80ID:ZNMp4nLp0
消したんじゃなくて消されたんかーい
2023/08/30(水) 09:52:58.11ID:JgtMmFcd0
>>390
色々立て込んでて放ったらかしてたら消えてたゾ
ソースコード自体はローカルに保存してあったからとりあえず問い合わせて同名でまた取得できるか試してみるけん
2023/08/30(水) 09:59:10.30ID:JgtMmFcd0
Elyza凄いね
タグの仕様が違いすぎて対話型にするのは無理かもと思ってワンチャン賭けてシステムプロンプトに下の2行追記したら一瞬で適応した、これはかしこい

"各センテンスは<NL>で区切られています。"+f"{ai_nickname}は話題を維持して会話を行うことができます。"
2023/08/30(水) 10:14:14.01ID:RuElS+CJd
今までの日本語モデルで一番賢いのは間違いない
7BサイズなのでchatGPTと比較しちゃいけないけど今後の期待が大いに持てる
394今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2af2-vHpx)
垢版 |
2023/08/30(水) 10:41:48.77ID:2t5N+9bd0
Elyza. pythonのコードも少しなら書けるみたい。
2023/08/30(水) 10:44:58.53ID:2t5N+9bd0
なんかの比較でGPT3.5の少し下っだったな。何Bか忘れたけど。
2023/08/30(水) 10:52:42.78ID:vaCLrSLOa
すごいなー、破綻が少ない。
これで7Bとは…今後が楽しみ
2023/08/30(水) 11:13:00.00ID:A3z5gZxm0
13ｂと33bと70ｂが出たらどうなるんだろう
2023/08/30(水) 11:45:01.41ID:ZNMp4nLp0
70Bより33Bクラスに期待したい感
70BはつよつよCPUじゃないとしんどい
2023/08/30(水) 11:55:47.62ID:vaCLrSLOa
本題とズレるけどAssistantSeika良いな…
どないかしてGPTに繋げてみたい
2023/08/30(水) 11:59:20.75ID:A3z5gZxm0
サイバーとりんなにはがっかりだったしな
2023/08/30(水) 12:03:50.34ID:nZ6nvVoJ0
llama2のバリエーションなんだから、30や33bは出ないぞ
2023/08/30(水) 12:25:54.73ID:ZNMp4nLp0
https://twitter.com/kam0shika/status/1696725012605247839
なんてことを・・・
https://twitter.com/5chan_nel (5ch newer account)
2023/08/30(水) 12:35:02.25ID:RuElS+CJd
これ末尾にinstructと付いたモデルの方は規制つよつよと読めるな
つまり
2023/08/30(水) 12:44:06.54ID:RuElS+CJd
instruct付きのモデルは追加で後学習させたモデルという説明があったんだよね
その説明と>>402の図を重ねると
instruct付きがv2、無しがv1なのかなと
2023/08/30(水) 12:50:51.57ID:vaCLrSLOa
27000件の適切な内容の人力作成インストラクションって気が遠くなる
余計なことしないで欲しいし
ここまで頑張って倫理的にしたAIを脱獄するのも申し訳ないな　するけど
2023/08/30(水) 12:56:13.58ID:JgtMmFcd0
>>389
[ 修正 ]
・AI_NAMEが紲星あかりのままだったので公開用に差し替え
・V3.8の動作確認済みモデルからRinnaを除外
・その他変数名なんかを少しだけ手直し

https://mega.nz/folder/hqVAlYzA#cmMmhhh0r5d2Vjw8W87TbA
2023/08/30(水) 13:26:21.75ID:R7E9zzgu0
>>399
PythonのsubprocessからSeikaSay2.exeに引数で文章渡すだけで喋らせられるから意外と簡単よ
408今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d97b-lN7b)
垢版 |
2023/08/30(水) 15:39:45.37ID:+nnO0vhn0
どうやってもエロゲのシナリオが作成できないんですけど！！！！！！！！！！！！！！！！！！！！！！！！！
2023/08/30(水) 15:58:30.66ID:8bvkUHo/0
https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE2
ここだとElyzaの評価は高くないね
StableBeluga2を試してみる
410今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 15:59:33.49ID:sl1CeZGl0
>>406
複合キーってどこ？
2023/08/30(水) 15:59:59.25ID:8bvkUHo/0
あれ、開けんか
https://wandb.ai/wandb/LLM_evaluation_Japan/reports/LLM-JGLUE---Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa
412今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sped-cOw1)
垢版 |
2023/08/30(水) 16:05:46.68ID:RxRpn1OMp
Elyzaは13B来てからが本番かなあ
413今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 16:12:29.45ID:sl1CeZGl0
あれ？
StableBeluga2って以前試した時、今一だと思ったんで削除したけど、もう一度落としてみよ
2023/08/30(水) 16:38:48.19ID:RuElS+CJd
りんなよりもELYZAが下というのは認めがたい
まあこの評価方法ではこういう点数になるということなのだろうけど
2023/08/30(水) 16:43:11.67ID:Zu0MESIQ0
>>410
#より後が複合キーだからURL全部コピペして開く
416今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 16:53:27.35ID:sl1CeZGl0
>>415
ありがとう
2023/08/30(水) 18:10:41.90ID:A3z5gZxm0
GPTQってのをやれば、データは少なく賢さを維持できるんでしょ？
学習データ量が全てじゃないってことだよね
2023/08/30(水) 18:21:05.83ID:ZNMp4nLp0
学習データ量じゃなくて最終的なデータサイズってだけじゃねそれは
419今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 18:30:54.76ID:sl1CeZGl0
StableBeluga2　再度検証したら思ったより日本語できる子だったｗ
以前は多数のモデルに埋もれてしまったかな？
2023/08/30(水) 18:59:52.58ID:8bvkUHo/0
StableBeluga2の13B ggmlを動かしてみたけどchat-gptに近いレベルまで来てる気がする
Amount to Gen.が小さいと文が途中で切れるから初めは何かとオモタ
2023/08/30(水) 19:06:43.32ID:8bvkUHo/0
あ、間違い2じゃなかった
stablebeluga-13b.ggmlv3.q4_K_M.bin
2023/08/30(水) 19:11:14.13ID:ZNMp4nLp0
なんぼなんでも13BでChatGPT3.5に近いのは盛り過ぎな気がする
最大瞬間風速ってモノによって結構いいのでるからなあ
423今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 19:18:07.47ID:sl1CeZGl0
TheBloke/StableBeluga2-70B-GGML試してるが、GPT3.5にはまだ及ばないけど、修正しながらなら十分遊べるレベルだ。
台詞周りもまあまあ良い
424今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/30(水) 20:18:35.86ID:sl1CeZGl0
ところで皆エロ小説書かせる時、どんな指示してる？
なんか、エロ小説書いてくれって単純に指示するより、
一般小説書かせるプロットにして途中でエロ方面に修正する方が
出来が良くなる感じがする。
エロ小説かけって指示すると、すぐ襲いだす傾向あるしｗ
425今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMde-TDjq)
垢版 |
2023/08/30(水) 22:03:09.77ID:nZZROxROM
>>424
それいいな、今度試してみる
エロは情緒があってこそよ
ロクにcaressもしないでぶっ込むしな
2023/08/30(水) 22:22:45.86ID:+sfnaibS0
ウチのAI君も、次の行にはdi●kいれたがる
まぁ、AIちゃんもすぐs●ckやらli●kしたがるのでドッコイなんだろう
2023/08/30(水) 23:22:08.84ID:X6mGOB4S0
>>424
チャットでもその距離感が難しいよな
べた惚れにすると盛の付いた動物みたいになるし
少しでも障壁を置くと果てしなく高い壁になったりする
人工知能さんお前もう少し自意識を持てよ
2023/08/30(水) 23:32:26.71ID:Ng9kAmeKa
キャラクターが無個性化していくのが一番気になるから、自分は最初に女性キャラクターのプロフィールを書かせる
その後、健全短編とエロ短編を織り交ぜて書かせる
2023/08/31(木) 00:08:07.94ID:JB7QRn4Y0
最終的にはパラメータ持たせて、そのパラメータに応じた適切なセリフ生成するほうが向いていると思う
でもそれが意外と安定しない
2023/08/31(木) 06:17:48.01ID:akAJDUqD0
おっ
KoboldがバージョンアップしてELYZAのgguf版が使えるようになったわ
2023/08/31(木) 06:29:50.96ID:akAJDUqD0
https://huggingface.co/TheBloke/Kimiko-v2-13B-GGML
英語モデルで13BだけどKimikoってのがNSFW特化でファインチューンしてるらしいで

オリジナルの説明
https://huggingface.co/nRuaif/Kimiko-v2-13B
2023/08/31(木) 06:53:54.61ID:bDzHusfkd
その方面で定評のあるMythomaxとのマージモデルもあるみたいやな
2023/08/31(木) 07:23:11.90ID:bDzHusfkd
このアテナもERP(Erotic Roleplay)向けということや
https://huggingface.co/TheBloke/Athena-v1-GGML
先のキミコもそうやがgguf版もあるからそこはお好みで
2023/08/31(木) 07:49:31.52ID:6mB2XJ49r
有益な情報サンクス
435今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sped-RFvy)
垢版 |
2023/08/31(木) 09:30:22.34ID:tbrZePT+p
キミコ70bも出てるやん
くそー　出先だから試せん
2023/08/31(木) 11:27:55.97ID:FwmpgRze0
blokeだけでもモデル多すぎ…きっと日本語エロチャ特化のモデルがあると祈って探す…
2023/08/31(木) 12:41:05.82ID:jX6uTK1SM
帰ったらkimiko試すぞー
少しでも日本語能力あるといいんだが
2023/08/31(木) 12:49:05.27ID:bDzHusfkd
Kimikoの作者のコメント
「好きに使え、俺は知らん」
てのがイケメンやわ
2023/08/31(木) 14:02:28.38ID:beemJdEma
https://i.imgur.com/4wmd813.png
2023/08/31(木) 14:15:03.99ID:JB7QRn4Y0
なんやかんやで13Bではもう満足できんな　描写がどうしても拙い
やっぱ33Bよ
2023/08/31(木) 14:53:11.13ID:JB7QRn4Y0
StableBelugaの日本語能力はかなりあるな
64GBにして70B試してみたいわ
442今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sped-RFvy)
垢版 |
2023/08/31(木) 15:15:12.89ID:/wqtfqqnp
gguf動くならggmlよりそっち使った方が精度上がるのかな？
2023/08/31(木) 19:14:54.04ID:LFdb4iDYa
>>407
喋るGPTが出来たよ(ADAが作ってくれたとも言う)
ありがとう
2023/08/31(木) 20:54:39.98ID:akAJDUqD0
Kimiko70B、日本語いける
2023/08/31(木) 21:12:03.50ID:6OlQC1lU0
キミ子くん！君、エッチが得意なんだってね……！
2023/08/31(木) 21:27:31.80ID:cmo2MKaRF
貴美子の昭和感
2023/08/31(木) 21:33:29.85ID:JB7QRn4Y0
きね子
2023/08/31(木) 21:36:08.42ID:eIJS8mye0
kimikoはLimarpの小規模なデータセットにAiroborosが吐き出したエロ文章を追加したものだったはず
つまり全部エロだな
https://rentry.org/7q6aw
2023/08/31(木) 23:24:50.15ID://PVEL/oa
エロのためだけの70Bモデルを自作する奴がいるとか
世界始まってんな
450今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/08/31(木) 23:40:10.70ID:zsHM4AL00
kimiko 70B 試した。
日本語は正直精度低かったが、英語でのエロはなかなかの出来だった。
これは英語エロ専用にした
2023/09/01(金) 03:44:54.75ID:JieX/ytva
貴美子は帰国子女なのか
2023/09/01(金) 05:04:58.64ID:XYS048RB0
日本語は他の70Bと大差ないね
まあNSFW系の追加学習に日本語は含まれてないだろうしな
2023/09/01(金) 08:54:38.08ID:XYS048RB0
>>290 >>338あたりで話題が出ていたopenbuddyの70Bがgguf化されてた
https://huggingface.co/OpenBuddy/openbuddy-gguf/tree/main
まだq3_kしか無いから今後追加されるかもしれない
2023/09/01(金) 09:06:12.26ID:XYS048RB0
これ含めてこの数日、日本語出力できるモデルを弄ってたけど一番良かったのはstablebeluga2の70Bだった
https://huggingface.co/TheBloke/StableBeluga2-70B-GGML/tree/main
こいつは本当にダークホースだったわ
次点でopenbuddyの70B

ELYZAもgguf版が動くようになったから触ってるけど中々意図した出力にならず苦労してる
規制が強いせいなのか独特の癖があるのか自分が使いこなせてないだけなのかまだ分からない
あと日本語の破綻はさすがに少ないがある程度長い文章になると表現力不足を感じるのは7Bの限界かもしれない
2023/09/01(金) 09:26:55.33ID:UybVKNNr0
会話するみたいにするにはコンテキストに何か入れるんですか
456今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6d54-FmU/)
垢版 |
2023/09/01(金) 10:34:06.97ID:zzzRooi30
mmnga氏のELYZAもgguf版koboldで使うととんちんかんな返答するんだけど、
どこのgguf使ってる？
2023/09/01(金) 12:58:24.23ID:XYS048RB0
>>456
自分もmmnga氏のはず
なんか回答が的はずれなんだよね
web上でお試しした時はもっとまともな応答だったので、指示の作法が何か違うのかもと思い試行錯誤中
2023/09/01(金) 12:59:57.71ID:XYS048RB0
>>455
Koboldを使ってるならchatかinstructモードでそうならない？
違うUIならそこはそれぞれ
2023/09/01(金) 19:51:13.95ID:QIlfKydc0
70B使うとKoboldじゃあlayer14くらいのグラボ使ってもテキスト出力が2100ms/Tぐらいと撃沈しちゃうから羨ましい
2023/09/01(金) 20:21:19.14ID:S4rck1V10
koboldでローカルllmに初めて手を出してみたんやが
メモリ64g積んでGPUも4090積んでも70Bはめちゃくちゃ重いな

やっぱCPUパワーもいるんやね…
2023/09/01(金) 20:23:35.99ID:SrXn7sqb0
33BのGPTQなら24GBで動かせることもあるんちゃう？
まあ基本的に今のLLMはGPUよりもCPUよ
2023/09/01(金) 20:28:28.67ID:0C3khDyV0
70b台は遅いの前提で、ゆったりと使うのが良いかと
2023/09/01(金) 23:32:14.87ID:yKwmeepBa
さらっと当たり前のようにバケモノだらけやん…
LLM加速させたいとも思っちゃいるけどそんなPCあったら俺はひたすらゲームするわ
2023/09/01(金) 23:35:49.48ID:v22NguvIM
cpuはマルチ性能重視かシングル性能重視かどっちがいいんです？
2023/09/02(土) 00:17:20.87ID:B/kq5LdKa
LLMもゲームみたいなもんやろ
2023/09/02(土) 00:27:11.95ID:qbfn5q6E0
ヤリサーのナンパゲーみたいな使い方してる人結構いるのかな
2023/09/02(土) 01:01:37.11ID:Sf8qyoXY0
>461
>462
なるほど、そういうもんなんやね
同じローカルの生成AIでも画像生成とは別モンって思わないかんな
2023/09/02(土) 01:48:16.19ID:0uiE4OuG0
>>463
メモリ64GB　ここ3年で出た中堅どころのCPU　できたら3060 12GB（別にもっと下でもいい）
メモリが安い今なら大したもんちゃうやろ
2023/09/02(土) 09:05:20.65ID:WMmsoGmY0
>>464
コア数が一番効く
470今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1381-a36w)
垢版 |
2023/09/02(土) 10:13:36.95ID:d84Ljxqq0
70bってメモリいくつくらいいるの？
3060にCore i7 12700Kとかでも動かせるもんなんか
2023/09/02(土) 10:26:38.23ID:o5oIqN/Ra
マルチコア対応してくれてるの有り難いよな……
2023/09/02(土) 10:26:47.11ID:oVXcvvaK0
>>470
使う各モデルにMAX RAM requiredって書いてあるからそこを参考に
31GB～75GBあたり
メモリーあればうごくんじゃない？
2023/09/02(土) 11:27:06.23ID:LjeV4JQlM
>>469
コア数か。PC組む時の参考にします
ありがとー
474今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1381-a36w)
垢版 |
2023/09/02(土) 12:01:38.75ID:d84Ljxqq0
>>472
ありがとう
2023/09/02(土) 13:18:31.56ID:WMmsoGmY0
70Bを動かす時に必要なものを優先順に書くと

1.メインメモリ64GB
→必須。これが無いとそもそも動かない

2.できるだけ性能の良いCPU
→出力速度に直結するので
→コア数が重要で8コアあれば1-2世代前のでも結構使える

3.グラボ
→補助的に使うと速度アップする
→3060の12GBで充分。それ以下でもOK(それほど重要じゃない)
2023/09/02(土) 13:44:41.98ID:o5oIqN/Ra
それらが乗るマザボ、ここは手を抜けない。最重要
電源、ここは心臓部。妥協できない。最重要。
ファン、ここを疎かにしたら全てが駄目。最重要。
SSD、最重要。
ケース、これがなければ裸の王様。力を入れれば入れるほど光り輝く。最重要。
2023/09/02(土) 13:49:14.14ID:ArNBP23S0
手抜きせずにネタならネタでしっかりしたネタにしろよw
2023/09/02(土) 14:52:05.27ID:TW6P43V6r
二言目には今は時期が悪いとか言い出しそう
2023/09/02(土) 15:11:42.58ID:DRZKpLAQ0
https://huggingface.co/Undi95/ReMM-L2-13B-GGUF
今これを試してるんだけど思ったよりいい出力で驚いてる
mythomaxと同じ構成だけどあの特徴的な勾配でマージしてるわけではなさそう
480今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-GB2m)
垢版 |
2023/09/02(土) 15:59:25.70ID:X0ciC17RM
>>479
GGUFて使ったこと無いけどkoboldで普通に読めるん？

いまkimikoの13Bと70B落として13Bから試してるが、めちゃくちゃエロいな
さすがエロファインチューニング
13B侮ってたわ。サクサクで早いし
2023/09/02(土) 16:03:19.69ID:RVXatOmQ0
ネットミーム的な語録を片っ端から追加学習させたらどうなるのか？
chatモードで会話しているとネットユーザー特有のウザさが増えそうで怖い
2023/09/02(土) 16:27:37.35ID:wWTO3kB00
Yarn-Llama-2-13B-128K
128K context lengthって本当にちゃんと動くのかな
2023/09/02(土) 16:27:41.43ID:DRZKpLAQ0
>>480
最新版なら対応してる
GPUにロードするレイヤー数とかも特にいじらなくていいと思う
484今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-GB2m)
垢版 |
2023/09/02(土) 17:17:41.66ID:IyQDPPcZM
>>483
サンガツ1.42.1なら大丈夫そうやな
GGMLと比べて、体感どう？早い感じする？
2023/09/02(土) 17:50:58.27ID:WMmsoGmY0
kimiko、13Bでもエロいよね
サクッとエロい話を書いて欲しい時に重宝しそう。早いし

最近kimikoの他にもAthenaとかSthenoとかエロ向けにファインチューンしたモデルがいくつも出てきてるな
いいことだ
486今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-GB2m)
垢版 |
2023/09/02(土) 18:12:19.26ID:IyQDPPcZM
>>485
kimikoの13B
意外と情緒のある文章で驚いた
13Bの速さに慣れたら70Bできなくなりそう

Sthenoも試してみるわ
kimikoもだけど、33B出してくれないかな
2023/09/02(土) 18:13:54.36ID:DRZKpLAQ0
>>484
開発側からすると違うみたいだが正直よくわからない
普通にGGMLや
2023/09/02(土) 19:58:34.88ID:g6xZyidW0
ウマ娘, ミリシタ, 陰の実力者, 薬屋, ゴブスレ, 進撃, スパイ, 盾, 転スラ, 東リベ, Dr.STONE, 大人プリキュア
これ全部フリーレンが倒して覇権取るなんてまず無理だろ
2023/09/02(土) 20:09:55.73ID:qiykXk5m0
どうした急に
2023/09/02(土) 20:15:23.62ID:ArNBP23S0
Bing辺りに覇権はフリーレンですとか回答されてブチ切れたのでは
2023/09/02(土) 20:34:57.01ID:0uiE4OuG0
んーkimiko13B理解力の面でなあ
やっぱ70Bか
492今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-w3JM)
垢版 |
2023/09/02(土) 20:40:07.76ID:H0FA5Be60
OpenBuddy/openbuddy-llama2-13b-v11.1-bf16
これ、大葉で試したが、日本語の表現かなりいいな。
規制きつめだから、エロは修正回避が面倒だから普通の小説で試したけど
会話の表現がかなり自然だ。これは70Bが期待できる。ブローク先生、早く！ｗ
493今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-w3JM)
垢版 |
2023/09/02(土) 20:44:09.07ID:H0FA5Be60
って、言ってるうちにGGML版を出してくれてたーｗ
2023/09/02(土) 21:24:35.76ID:6sXNzosma
ツクールの同人ゲームをdecryptしたセリフデータと、セリフに対応した画(をtag付けしたテキスト)のセットを山程用意できるから、これでfine tuningしたいなあ。
495今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1381-a36w)
垢版 |
2023/09/02(土) 21:27:16.22ID:d84Ljxqq0
fine tuningについて聞きたいんやが、openaiのやとuser assitantで会話形式にせなんやんか。
小説書かせるやつfine tuningするのにもそんな感じのデータセット必要なん？
村上春樹の本渡したら村上春樹っぽく書かせるとかはできんのか
2023/09/02(土) 21:43:08.53ID:wWTO3kB00
知らんけど、それ系のモデルの説明欄に学習に使ったデータセットとか書いてあるから
それ見に行けば分かるんじゃね？
497今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-GB2m)
垢版 |
2023/09/02(土) 22:34:45.57ID:n2YBRIjIM
>>487
サンガツ
SthenoのGGUFで試したけど、体感ほとんど変わらんね

肝心のSthenoは、kimikoに比べると今ひとつな印象やった
2023/09/02(土) 23:24:40.87ID:Fo0nH6vV0
GGUFは多形式への対応が目的らしいから、高速化はあまり主眼じゃないね。
最適化はしてるだろうけど。
元々のGGMLは、llama/alpaca形式に準拠したモデルだけを前提としてて、
後発の形式を判別するためのメタデータがあまり含まれてなかったみたい。
2023/09/03(日) 06:22:50.09ID:NG/Chm2kd
>>495
AIのべりすとにMODという機能があって、これはまさにそういう、好きな小説家の文章をデータセットとして渡すとその文体を真似るMODを作ってもらえる
詳しい仕組みを自分は知らないがQLoraと同様のことをしてるんだろうなと思ってる
要するに計算リソースとデータセットがあれば好きな文体を真似させることは可能
2023/09/03(日) 07:26:51.58ID:DBVCT+zT0
CPUで動かす場合メモリの速さが重要かもだけど、確かめてない。Quad Channelだと速かったりするのかな
2023/09/03(日) 08:02:34.51ID:vfo0NZTC0
誤差みたいなものじゃないかなあ
2023/09/03(日) 13:02:56.27ID:ezAImInK0
まずメモリ確保した後はCPUアンドCPUでしょ
できればGPUもあると多分そこまでの文脈処理だけは
速くなる、みたいな
2023/09/03(日) 14:52:07.92ID:csfu+wLd0
メモリ128Gでも随分安くなったなぁ
2023/09/03(日) 15:58:25.94ID:ezAImInK0
そのうち「130Bです！ 128GB＋最新のハイレンジCPUなら
GGUFモデルを1秒に1文字表示できます！」みたいのが
来るやろからなあ

そこまでいけば多分ChatGPT3.5には負けないやろ
505今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-ATpV)
垢版 |
2023/09/03(日) 16:47:11.05ID:uJaV/hzBM
GGMLはCPU大正義だけど、13Bをレイヤー40で動かしたら早すぎてワロタ
読むのが追いつかないレベル
やっぱ最後はGPU依存になると思うわ
2023/09/03(日) 16:59:21.57ID:ezAImInK0
最後つーても33Bを安定してGPUで動かせる環境が
5万円GPUくらいまで落ちてくるまで何年かかるか・・・
2023/09/03(日) 17:03:28.55ID:7pi/PKAD0
Retnetはメモリーへのロード量がTransformerの半分程度って見たぞ
その場合学習効率も上がって100B以上のモデルが出回るのかもしれないけど
508今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-ATpV)
垢版 |
2023/09/03(日) 17:17:00.76ID:uJaV/hzBM
5万のGPUじゃ今でも大したことできなくね？

モデル、ソフト、ハードの3軸で速度と品質上げようとしてる訳だし
そんなに遠い未来でもないと思う
まあ50シリーズはVRAMショボいみたいだけど
2023/09/03(日) 17:40:30.12ID:ezAImInK0
>>508
20万のGPUでも大したことできないのが問題なんや
やっぱLLMは基本的に33Bからやと思う
510今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6f9d-yIxz)
垢版 |
2023/09/03(日) 17:55:18.62ID:RXfXzcHc0
実際70B動く環境持ってる人って1秒何文字くらいの速度で生成できるの？
511今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-ATpV)
垢版 |
2023/09/03(日) 17:55:37.65ID:uJaV/hzBM
>>509
13Bで割とエンジョイしてるワイのほうがマイノリティかもな
でもGPTQの33Bて17GBくらいやろ？VRAM24GBあればGPU上で動くと思ってたけど、動かんの？
ワイの12GB環境では試せんけど

てか、33Bでエロファインチューニングされたモデルってまだ見てない気がする
見つけられてないだけかもだが
2023/09/03(日) 18:03:04.34ID:vfo0NZTC0
>>510
うちは 0.7T/s くらいだなあ
2023/09/03(日) 19:54:26.73ID:5tNR7h7qr
>>512
そんな遅いのか
メモリ64GB買おうかと思ってたけど辞めとくかな
2023/09/03(日) 19:55:57.37ID:RdNUVXre0
今なら気楽に買っていいぞ
2023/09/03(日) 20:17:50.84ID:KHat73Vt0
グラボで簡単？？？に手が届くやつのVRAMはrtx4090とrx7900XTXでvramは24GBなんだぞ…
それ以上なんてTeslaのnvidiaのA100で到達できる80GBなのに…価格…知らない子ですね…
516今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp07-hLg4)
垢版 |
2023/09/03(日) 21:09:21.96ID:RNwBOYVZp
3060を8枚挿せば解決
2023/09/03(日) 21:09:29.76ID:cnIRq1gyM
3090を中古で買うのは？
それかローエンドの適当なやつを2枚刺しとか
2023/09/03(日) 21:29:40.12ID:KHat73Vt0
ほげー、vramは同じの買ったら処理速度が増えるだけでなくてvramも増えるんか、初耳…増えたらマネするわ
2023/09/03(日) 21:40:33.11ID:QG2HXFqGr
増える(増えない)
520今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6f9d-yIxz)
垢版 |
2023/09/03(日) 21:41:09.91ID:RXfXzcHc0
>>512
まじか・・・
M1Max+64GBの型落ちmacで 5.2t/s出てるから
ちゃんとしたGPU載ってるゲーミングマシンなら50t/sくらい行くもんかと思ってたわ
2023/09/03(日) 21:48:44.45ID:TVeRP1Me0
70bはgpu+メモリが64dgあれば、ggmlないしggufが「最低限」動くだけかと
おそらくは、個人で快適には現状無いと思うので、gpu2枚以上は金の無駄になと思うよ
2023/09/03(日) 21:55:03.23ID:0AGLjtXz0
M1Maxってメモリ帯域がめっちゃ広いからそこで差が出てるのかもね
2023/09/04(月) 00:29:58.63ID:94CUr/Nyd
>>520
70Bが5.2T/sってめちゃめちゃ速くないか？ 下手したら読むより速いやん
mac買うわ
2023/09/04(月) 05:36:55.59ID:oU5PziGI0
まさか今の時代にメモリバンドを考慮する事になるとは
時代って繰り返すもんなんだな
2023/09/04(月) 08:49:02.17ID:qiyxKP3V0
Macは通常のメモリが半分VRAMみたいな扱いなんだっけ？
ここに来てMacがLLMで優位に立ったりするんか
526今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cfff-+GqY)
垢版 |
2023/09/04(月) 09:34:05.94ID:ykhMvXT10
メモリ帯域がそのま速度差だとするとM1Ultraは800GB/sらしいからGPU並の速度で70Bが動く…？
527今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp07-5XGt)
垢版 |
2023/09/04(月) 10:02:41.67ID:tF3DyqzEp
kimiko70bの英語エロ力すごくないか？
このスレの英語民の人の感想が知りたい
528今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 230d-GKQ8)
垢版 |
2023/09/04(月) 12:34:20.18ID:iGUD+Z9H0
A100でKimiko V2 70B GPTQをExlamaで読み込んで10t/sくらいだな
2023/09/04(月) 13:03:11.47ID:AMceKG2X0
kimikoさんは、２度ほど試したけど喘ぎ声のセリフが、ahhhhばかりになって演技っぽくて、虐め甲斐が無かったなぁ
2023/09/04(月) 13:03:38.48ID:qiyxKP3V0
それは英語圏ならどうしようもない気がする
2023/09/04(月) 13:26:44.15ID:AMceKG2X0
いや、他のmodelでは、oh! とかugh!とかも混ざるんだけ、進行が悪いのか途中からahhhhだけしか言わなかったのよね

あとやたら間延びしたセリフが多いのも（yeeesss,pleaasee）気になったし

ここらは好みなんだろうけど
2023/09/04(月) 13:35:43.53ID:BBFfBLm60
a100でやってる人はさすがにgoogle colabつかってるだけだよね？
2023/09/04(月) 13:36:57.26ID:/hSaGPQmr
200万円ちょっとだっけ？
車買うか悩むレベル
534今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp07-5XGt)
垢版 |
2023/09/04(月) 13:53:00.11ID:O3t4Fzm3p
>>531
喘ぎ声はまあそんなもんだけど状況描写やエロ展開へのネットリ感とか良いと思うんだけど
2023/09/04(月) 14:48:01.80ID:94CUr/Nyd
英語出力に喘ぎ声の良し悪しは求めていないな
2023/09/04(月) 14:54:24.04ID:qiyxKP3V0
なんやかんやで33Bクラスだとairochronosよりwizardlmのunsencoredの小説のほうが
安定している気がするんだけどどうだろう

airochronosはなんか描写があっさりしているような……
537今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6f9d-5XGt)
垢版 |
2023/09/04(月) 16:33:27.94ID:GRmPtaiE0
動画編集用に買ったMacStudioで70B試してたんやが割と速いんやな
starfield用にゲームマシンの予算悩んでたから助かったわ

>>523
ワイのと同スペ整備品は27万になっとる（在庫待ちやが）
新型M2Maxの新品は35万や
538今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/04(月) 18:17:47.68ID:zohSPKrk0
openbuddy-llama2-70b-v10.1-q3_k.gguf
日本語対応と言ってるだけあって会話シーンは他の追随を許さないレベルだな
q3でこれならV11.1のq5kmはgpt3.5に近づくんじゃないか？
2023/09/04(月) 18:28:53.73ID:94CUr/Nyd
現時点の日本語対応マルチリンガルモデルは
openbuddyとstableBeluga2が双璧と思ってる
2023/09/04(月) 19:19:58.33ID:BBFfBLm60
googlecolabにkoboldAIとかあるから、ちょっと弄ったら70BモデルをダウンロードしてA100で遊べそう
問題はBANされそうな内容でお試しができない事か…
2023/09/04(月) 19:34:22.88ID:qiyxKP3V0
通信量自体はクッソ少なくて済むわけだろうから
捨て回線とタブレットでやるとか……
542今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MM7f-GB2m)
垢版 |
2023/09/04(月) 21:42:40.30ID:6E9nQmlkM
koboldでAuthor's Noteに設定すると、削除してもずっと引きずられてることない？
New sessionすればいいだけなんだけどさ
2023/09/05(火) 12:08:59.39ID:Yo0nZpfe0
text-generation-webuiでGGMLモデルを読み込む時のパラメーターは何をどうしたらいいんでしょうか
GGMLだったらllama.cppのローダーを使うのはわかりましたけど
細かいパラメーターが分からなくて失敗します。
544今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/05(火) 12:49:48.02ID:HDNgkadI0
ggmlならkoboldの方が簡単ですよ
2023/09/05(火) 12:58:25.62ID:lMBf9ToE0
text-generation-webuiだったらモデルのパラメータはだいたいいい感じの初期値を自動設定するはずで、特殊設定必要なのはだいたいモデル側の説明目に書いてあるもんだけど、どのモデル動かそうとしてるん？
2023/09/05(火) 13:19:30.78ID:Yo0nZpfe0
複数個いろいろ試しています。
モデルを別にダウンロードしてmodelsに入れるやり方がだめなのかな
UIでダウンロードしたら自動的に設定されるのかな
2023/09/05(火) 14:31:41.89ID:xy34mKs10
前にやったときにggmlだと、n_qqaが0になっててエラーになったのがあって、
8とかにしてロードできた記憶があるなぁ
2023/09/05(火) 14:33:44.83ID:Yo0nZpfe0
やっぱりUIからダウンロードするやり方で起動できました。
失礼しました。
2023/09/05(火) 16:09:38.16ID:Yo0nZpfe0
GGMLのモデル初めて起動できたけど、激重、やっぱりパソコン買い替えてメモリいっぱい積まないとだめだな
2023/09/05(火) 16:42:06.86ID:NcFCZNdpd
macが速いらしいぞ！
2023/09/05(火) 16:48:21.49ID:4rc2EvNXa
Macが速いからってMac選ぶには勇気いるだろうだってMacだぞ
2023/09/05(火) 17:02:24.34ID:+k/WDNX/M
youtubeでllmのPCパーツ性能比較してくれる人がいたら神なんだがな（絶対再生数伸びない
2023/09/05(火) 17:27:58.11ID:Yo0nZpfe0
CPUは古いパソコンでも大して使ってない、やっぱりメモリなんでしょ
2023/09/05(火) 19:53:16.13ID:k5AZj4Ks0
メモリ32GBでも70B動かそうと思えば動くもんなんだな
VRAM8GBも使い切る設定にしてるから動いてるのかもしれんけど
2023/09/05(火) 20:08:19.97ID:u25aBYqM0
>>554
同じくぎりぎり動いたけど13Bでいいやってなった
34Bあたりが実用の限界って感じがする
2023/09/05(火) 20:12:38.16ID:ADAXrW2R0
仮想メモリ使わないで７０BをDRAMだけで起動せるのにどれくらい必要？
2023/09/05(火) 20:23:30.75ID:paQTvNLF0
Airoborosの70Bを例に取ると
Q4_K_Mで43.88GB
Q5_K_Mで51.25GB となってるな
Hugging Faceの各モデルのModel cardのところに大抵書いてあるぞ
2023/09/05(火) 20:23:43.46ID:T+SVveTA0
まあRetNetに期待しておこう
2023/09/05(火) 20:40:03.10ID:paQTvNLF0
Transformerと比べてメモリ使用量が1/3.4になって出力速度が8.4倍になるらしいな
夢のような話だが開発がMicrosoftと中国の清華大学というのが少々気掛かりだ
2023/09/05(火) 21:04:02.89ID:u25aBYqM0
>>559
redditではかなり否定的ですね
https://www.reddit.com/r/MachineLearning/comments/152u5va/r_retentive_network_a_successor_to_transformer/
2023/09/05(火) 21:30:02.91ID:J92u8P4u0
>>556
そもそも仮想メモリって言葉が出る時点で無理です
2023/09/05(火) 21:36:04.41ID:ADAXrW2R0
どういうこと？
563今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/05(火) 21:39:09.07ID:HDNgkadI0
TheBlokeニキがやってくれたぞ
OpenBuddy-Llama2-70b-v10.1-GGUF
今、q5kmを試してるが、q3よりかなりいい感じ。
日本語評価はキャラ同士にチャエッチさせると分かりやすい
2023/09/05(火) 21:48:25.57ID:J92u8P4u0
>>562
う～ん、llm周りに絞って言うと、現状gpuメモリでは足りなくて、通常のメモリを代替で使っている状況でクソ遅いのに、さらに遅い物理ディスクを使う理由って何かなと

ここ最近は、ssdの負荷も考えて、仮想メモリなんて使う人のほうが珍しいと思って
2023/09/05(火) 21:51:22.39ID:ADAXrW2R0
70Bがさくさく動く環境がほしい
2023/09/05(火) 22:04:24.26ID:6saOlWUy0
マカーが勝つなんて思わなかったよ
2023/09/05(火) 22:43:23.22ID:FIjR5UhNM
東大松尾研発、ELYZAが商用利用可能な70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開
https://codezine.jp/article/detail/18275
2023/09/05(火) 22:45:14.74ID:FIjR5UhNM
貼った後で気づいたけど70Bに空目してたわ
569今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Sp07-hLg4)
垢版 |
2023/09/05(火) 22:53:19.85ID:i37CkkIvp
>>560
否定的というかRWKVと比べた新規性がよくわからないって意見が多いっぽいな
2023/09/06(水) 05:27:39.39ID:2h2GJvNd0
>>567
デモページあったのか。システムプロンプトとパラメーターもわかるし助かる
2023/09/06(水) 07:15:57.26ID:2izBunzpd
>>563
さすがニキ
11.1も頼むぜ
2023/09/06(水) 08:23:00.12ID:2WPs61hy0
GGMLをWSL環境で実行してみた人います？
573今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-ATpV)
垢版 |
2023/09/06(水) 14:48:27.87ID:JhNKo0TX0
elyzaは本家のモデルを大葉で動かすとすごくいい感じの日本語出すね。
チャットじゃなくて、デフォルトモードの方で
喘ぎ声やセリフ周りははgpt3.5並みじゃないか、これ

ただ、fastモデルは2つともエラーで動かんかった
2023/09/06(水) 15:31:48.28ID:zWHUVfro0
>>573

この辺の調整すれば>>6
公開されてる全モデル動くよ(´・ω・`)
575今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/06(水) 18:22:54.43ID:JhNKo0TX0
>>574
さんきゅ　試してみるよ
ところで、AIのべりすとからデータ提供受けたのこれだっけ？
やたら潮を吹くって表現でてくるんだがｗ
2023/09/06(水) 18:27:33.09ID:2izBunzpd
こいつだな
ELYZAとは別
たぶんこいつを使うと銀の橋が掛かったりするのであろう

@_bit192
本日公開されたStability AI Japanの日本語7Bモデル
「Japanese StableLM Alpha」に
当社から約150GBの独自データセットを提供しました。

今後、国内のオープンソースAIの発展に向けて、Bit192からも様々な取り組みを行っていきます。
2023/09/06(水) 18:29:34.24ID:2izBunzpd
そういえば自分もELYZAを試してた時に乳首をちょっとくりくりしたら潮を吹いてたわ
ELYZA…
2023/09/06(水) 18:30:58.05ID:VjMF1NlRr
潮は吹かないようお願いします😡
2023/09/06(水) 18:35:59.05ID:HPWqzktxd
敏感すぎて草
2023/09/06(水) 19:13:31.04ID:fuQg/Nr0a
海産物かな？
2023/09/06(水) 19:27:01.26ID:QSVD7hYy0
ホヤみたいなもんだろう
2023/09/06(水) 20:42:04.97ID:5j/tvE7z0
あるいはイソギンチャク
583今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1381-a36w)
垢版 |
2023/09/06(水) 21:46:20.56ID:LVYVydok0
なんかfalconが180Bとかいってるぞ
2023/09/06(水) 21:55:53.39ID:QSVD7hYy0
デカいデカすぎる
https://huggingface.co/tiiuae/falcon-180B
2023/09/06(水) 22:21:28.77ID:EoNYGf820
出たわね。
2023/09/06(水) 22:22:51.46ID:EoNYGf820
64GBメモリは25000円くらいですってよ奥さん
256GBメモリが3090中古と同じくらいってのが恐ろしいな
2023/09/06(水) 22:39:26.57ID:ZLYQXsEx0
風が語りかけます
2023/09/06(水) 22:52:52.54ID:d34QWi/Kd
180億じゃなくて180bか…
589今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾙ Sp07-hLg4)
垢版 |
2023/09/06(水) 22:54:00.23ID:+QDwQ8F+p
GPT-3よりデカいのか
590今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/06(水) 22:59:27.94ID:JhNKo0TX0
ｐｃスペックどれくらいいるんだろ
2023/09/06(水) 23:02:07.96ID:QSVD7hYy0
https://i.imgur.com/p33hSSg.png
2023/09/06(水) 23:22:28.64ID:57npxg89H
4.61G * 81ってなんGだよ
2023/09/06(水) 23:46:31.02ID:EoNYGf820
ってかGPTQ4bitでも320GBも要るの？
200GBくらいかと思ってたわ

それならGGUFとかでかろうじて動く可能性あるように思ったんやけど
2023/09/07(木) 06:09:44.66ID:NmDkhvP60
128GB積めばGGUFやGGMLは動きそうだけどな
問題は速度や
2023/09/07(木) 07:16:26.28ID:+J7AKAvpM
Macの出番ですわよ
2023/09/07(木) 07:37:18.28ID:xwehhdkUa
現行最強だとMacProだろうけど
だいたい100万円くらいするんすよ
https://gigazine.net/news/20230628-m2-ultra-mac-pro/
2023/09/07(木) 08:11:47.54ID:02Dya+gUr
128GBなんて4枚で5万円前後だろ
半年前LLMのために買ったわ
598今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛ Sp07-5XGt)
垢版 |
2023/09/07(木) 09:31:58.92ID:9vtTMmEsp
さすがブローク先生　180bも余裕w
2023/09/07(木) 09:41:59.02ID:Fvt9yM2Ya
ブロークニキはホンマ神様みたいなお人やで
2023/09/07(木) 12:29:46.48ID:y2w2IFCg0
メモリ128GBとか192GBの変態よ突撃するのだ
2023/09/07(木) 14:45:55.37ID:ZXr6D25z0
Hugging Faceって無料でどこまでできるの？

spaceってのは無料では使えないの？
2023/09/07(木) 16:07:59.10ID:WPA/JKEn0
流れが早すぎる
そのうちローカルでchatgpt動かせそうやな
2023/09/07(木) 16:31:44.70ID:y2w2IFCg0
しかし180Bについては「動かせることは動かせるが・・・」となりそう
ちょっとやそっとのハードウェアの進化じゃ太刀打ちでけん

まあただ近年あまり居場所のなかった超マルチコアCPUの出番ではあるかもしれない？
2023/09/07(木) 16:37:11.16ID:gcj0W+BEd
transformerよりも軽くて速くて賢くできる技術が実用化されることに期待だな
605今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/07(木) 17:02:48.97ID:4mPXmrVu0
180b gguf q3 ぐらいなら64Gでも動くかな？
2023/09/07(木) 17:13:17.90ID:Fvt9yM2Ya
70Bから先はGPUリソースを何処からかレンタルするという方向になると思う
個人設備で運用するというのはあまり現実的じゃない
A100を二枚だの八枚だのホイホイ用意できれば話は別だけれど
別のアプローチが必要なんだろうな
2023/09/07(木) 17:18:47.25ID:gcj0W+BEd
ニキがgguf版のアップを始めたぞ
608今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/07(木) 17:38:50.72ID:4mPXmrVu0
うわー、これQ2でも64Gじゃむりかな？
609今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/07(木) 17:40:26.84ID:4mPXmrVu0
とりあえず、Q5ｋｍレベル動かせる人、レポお願いします〜
2023/09/07(木) 17:44:38.22ID:ZXr6D25z0
128GBのDRAM積んだPCを組もうと思っているので、１８０が１２８ＧＢで動くか教えてください。
2023/09/07(木) 17:49:48.47ID:CxeU+doTd
ひとつの目安としてはファイルサイズ+3GBくらいのメモリが必要
2023/09/07(木) 18:42:01.37ID:y2w2IFCg0
33BのQ4とか20GB前後よな
2023/09/07(木) 18:43:28.49ID:y2w2IFCg0
やっぱ理論上は128GBで動く気がするわ
まあそもそも100GBのファイルをダウンロードして保持する時点で
ヒエッって感じはするけど
2023/09/07(木) 19:21:59.19ID:NmDkhvP60
ファイルサイズ的に4KMは128GBで動きそうだ
5KMは厳しいかな
2023/09/07(木) 19:58:27.30ID:+f8Yv95Vr
VRAM640GBで2000万円くらいかな
2023/09/07(木) 20:01:43.30ID:GmKOvn2P0
VRAMも来年には安くなりそうだけどね
2023/09/07(木) 20:14:14.52ID:TdxF9Hyra
ほんとぉ？ばっこり増設したいなー今後に向けて
2023/09/07(木) 20:19:22.49ID:y2w2IFCg0
>>616
Radeonってオチちゃうやろな
2023/09/07(木) 21:41:45.27ID:pdRyMpD10
https://ai-scholar.tech/articles/transformer/sparseTransformer
620今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a354-y9kC)
垢版 |
2023/09/07(木) 21:44:35.84ID:4mPXmrVu0
こりゃあ、将来的にxeonマシン組むかｗ
2023/09/08(金) 00:20:20.35ID:iFK+W8/e0
https://twitter.com/ggerganov/status/1699791226780975439
やはりマカーが大正義？
https://twitter.com/5chan_nel (5ch newer account)
2023/09/08(金) 00:21:54.81ID:iFK+W8/e0
しかし size = 96781.88MBは見ただけで草が生える
2023/09/08(金) 06:16:29.87ID:VEtlcDZa0
こういう分割されているファイルはダウンロード後に結合する必要があるんだっけ？
2023/09/08(金) 07:43:36.23ID:TLYPHoAH0
huggingface　spaceの無料メモリ１６GBで最低限日本語をちゃんと理解できるモデルってある？
それにファインチューニングして使いたいんだけど
2023/09/08(金) 09:07:48.08ID:+YeXR3+Ga
https://huggingface.co/TheBloke/Falcon-180B-Chat-GGUF
でたわね
2023/09/08(金) 09:15:25.82ID:FGVzGunU0
日本語(マルチバイト文字)の問題は、理解の方じゃなくて出力のような気がするけどね。
現行のモデルの多くは(一部トークン周りの問題点を除けば)、かなり理解してると思う。

180Bのデモがあったんで少し遊んだけど、さすがに理解力や表現力は高かった。
が、語句の末尾の活用とか、カタカナ語(つまり訳語)の表記に少しだけ乱れがあって、
相変わらず日本語はハードル高いな、と。英文だったら有り得ないミスなわけだから。
627今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾘ Sp3b-tBSY)
垢版 |
2023/09/09(土) 10:30:15.78ID:ZFJug16lp
なんか105bってのも出たな
628今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾘ Sp3b-tBSY)
垢版 |
2023/09/09(土) 13:02:48.47ID:JIJOLqfmp
Macってsdxlとかも爆速だったりするの？
lora作るのに半日くらいかかるのが数分とかある？
2023/09/09(土) 13:39:59.99ID:z8HdL4Hk0
通常のNVIDIAのグラボのVRAMに収まらないようなアホほどデカいモデルを処理させても
それなりの速度でやってくれるメモリ帯域のでかさ、ってのがMacのいい奴なわけでしょ

sdxlってのがそれに近いなら速くなるやろし、別にVRAMで収まるなら関係ないのでは
630今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-gpPI)
垢版 |
2023/09/09(土) 21:35:20.17ID:Jl+BjkTDM
一週間以上kimiko愛でてるもんやが
今までずっとinstractで楽しんでて今日ようやくchatしてみたけど、
さすがロールプレイモデルを謳うだけある。
完全に役になりきってめちゃくちゃｴﾁｴﾁできた

あーはやく33B出てくれ
631今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/10(日) 01:41:28.12ID:Li/sFruz0
レビューは助かるんだが日本語と英語どっちで会話してんのかわからんと反応しようがないわ
2023/09/10(日) 05:32:00.92ID:LdVI/JJXM
>>631
そら英語よ
633今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffe8-MmH2)
垢版 |
2023/09/10(日) 05:50:31.48ID:8a05xkI70
ワイまだLLMまったく把握できとらんのやが
日本語での会話を困難にしとるのって
謙譲語・尊敬語・丁寧語の区別があるせいやろか？

逆に「だ・である」調に統一したキャラ設定なら
ロールプレイさせても自然な会話ができるということやろか？
間違った理解ならすまん
634今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/10(日) 06:05:15.87ID:Li/sFruz0
>>632
ですよねー
さらっとネイティブ英語マンいるよなこのスレ
2023/09/10(日) 06:47:55.26ID:dHjPBDiS0
>>633
単純に学習データの質と量の不足だよ
2023/09/10(日) 07:26:08.27ID:Fq2wVw2ya
実際chatGPTは方言とかお嬢様言葉とかツンデレキャラとかもちゃんとやれるからな
2023/09/10(日) 07:56:09.08ID:gQP0Pcpq0
日本語のある程度賢いモデルが登場したとしても、エロ周りの表現についてはさらにファインチューンで追加学習させる必要があるだろうなと思う
要はKimikoの日本版だな
2023/09/10(日) 09:04:19.35ID:kfPEp30o0
エロゲの画面に表示されたテキストを横取りするツールがあるから
手あたり次第テキスト化して、みんなでどこかにファインチューニング用の素材として貯めこまない？
2023/09/10(日) 11:01:04.62ID:200A03tad
自分もチャットモードでKimikoと遊んでる
こちらが教会の神父になって告白室でAIキャラに色んな経験や願望を告白させるプレイが捗る
自分の欲望に正直になって良いのですとか神は全て許してくださいますとか適当なことを言ってエスカレートさせるのが楽しい

純正KimikoもいいがMythomaxとのマージモデルもなかなかいい感じなので比べながら遊んでる
MythoMax-L2-Kimiko-v2-13B-GGML とか
2023/09/10(日) 11:05:02.58ID:gQP0Pcpq0
>>638
さすがにそれは著作権の問題がある
641今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-MmH2)
垢版 |
2023/09/10(日) 11:08:51.56ID:SFEj3q8SM
MythoMaxとのマージいいよな
7歳の娘が父親の歯ブラシ盗んで自室でオナニーしてるところを父親に見つかって
歯ブラシ突っ込んだまま泣きながら謝ってくれるシチュエーションでめっちゃ捗る
2023/09/10(日) 11:13:34.49ID:keWm1pMR0
やるやらないは別として機械学習に著作物使うのは合法らしいっすよ
2023/09/10(日) 11:15:29.56ID:fXRKeQrh0
学習、特に定型句などのトークン不足は前提としてあるとして、
英語モデルに日本語を出させていて感じるのは、次の一文字(1トークン)を出力する方式との相性の悪さかな。

漢字で顕著だけど、温度やTopPを下げないで妙な文字が選択されると、そこで話の流れから脱線する。
で、何とか戻ろうとするのだけど、日本人から見て明らかに文章としておかしな表現になる感じ。
2023/09/10(日) 11:16:06.63ID:1oUXWrls0
それはネット上に転がってるテキストを無作為に学習することが合法であって
上の提案は他人の著作物をアップロードして共有する事が違法
645今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp3b-tBSY)
垢版 |
2023/09/10(日) 11:18:21.84ID:SHshfDi/p
キミコ70bしか使ってないけど13bもできる子だったのか
2023/09/10(日) 11:28:28.00ID:200A03tad
>>645
小説形式は33Bか70Bのモデル
チャット形式はレスポンス速度重視で13Bと使い分けてるわ
2023/09/10(日) 11:33:12.87ID:D8CqStV/0
kimikoの33Bが出たのかと思った
2023/09/10(日) 11:39:16.44ID:gQP0Pcpq0
ノクターンとかpixivとかに大量にあるエロ小説を学習させるのが手っ取り早い方法かもな
まあ例え法に触れないとしても作者からは反発がありそうだから大っぴらにやらない方がよさそうだが
質的にも玉石混交だしな…
2023/09/10(日) 11:40:35.52ID:vViUNfO+0
なんかいきなり奇声上げてアヘってる文章が生成されそう…
2023/09/10(日) 11:43:20.96ID:200A03tad
>>647
紛らわしくてすまぬ
33BはKimiko以外の話だ
2023/09/10(日) 12:09:52.42ID:FDQ1gJ3Ma
chatGPTは使用例集や法則を具体的に提示しないとオホ声を出してくれないからな
652今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1a88-uUQw)
垢版 |
2023/09/10(日) 12:14:38.94ID:ACjycM7M0
>>648
AIのべりすともなろうとかハーメルン学習させてるし大丈夫じゃね
653今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ffe8-MmH2)
垢版 |
2023/09/10(日) 12:36:55.72ID:8a05xkI70
>>635
サンガツ　経験値不足やったか
ワイ自炊した電書を片っ端から吸わせて専門知識つけさせて
呼び出せるようにしたいのう
2023/09/10(日) 13:03:14.29ID:+b9rjX+W0
50年ぐらい前の日本語までは青空文庫である程度カバーできないかな
655今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-MmH2)
垢版 |
2023/09/10(日) 13:23:39.34ID:fWthiN2EM
著作権気にしてたらLLMというか機械学習は発展せんやろ
清濁併せ呑んでこその進化や
2023/09/10(日) 13:29:45.29ID:D8CqStV/0
そもそもAIのべりすとのデータだってなんかに提供されてたやろ
657今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp3b-tBSY)
垢版 |
2023/09/10(日) 15:14:11.17ID:YlMMvaYjp
女の子は女の子っぽい喋り方
オッサンはオッサンぽい喋り方
これができるだけでかなり違う
2023/09/10(日) 16:18:15.89ID:kfPEp30o0
解散した会社のエロゲとか権利どうなってるんだろうな
2023/09/10(日) 18:47:01.84ID:h549wUTj0
>>658
何社か知ってる限りでは
社長が個人で抱えてたりすることが多い
ただし零細のところばかりだが
660今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Bpt5)
垢版 |
2023/09/10(日) 19:52:06.68ID:UwOrXOlR0
sakuraumi/Sakura-13B-Galgame
これ気になるんだが、大葉で動くのかな？
誰か分かる人いる？
2023/09/10(日) 19:59:21.60ID:D8CqStV/0
まずは落として自分で報告しろよ
180Bとかならともかくさ
662今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Bpt5)
垢版 |
2023/09/10(日) 20:01:27.27ID:UwOrXOlR0
大葉では、どうやってもエラーになるから別のアプリが必要なのかと
2023/09/10(日) 20:11:04.27ID:jMXvMS30M
>>660
日本語＆中国語行けるみたいね
GGUFあるんか！と思ったけどなかったわ

ブロークニキやってくれるかな
2023/09/10(日) 20:12:46.52ID:kfPEp30o0
１３BならVRAMでいけるから、あとで試してみる
665今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Bpt5)
垢版 |
2023/09/10(日) 20:14:00.52ID:UwOrXOlR0
13Bだから64Gでも大葉で動くと思ったんだけど、エラー
なんか形式が違う感じ
666今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Bpt5)
垢版 |
2023/09/10(日) 20:14:54.56ID:UwOrXOlR0
あ、１３Bは無理だっけ？
７Bと勘違いしてたわ
2023/09/10(日) 20:20:04.97ID:jMXvMS30M
>>666
ファイルサイズ26GBだからむりぽ
668今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/10(日) 20:37:39.48ID:UwOrXOlR0
>>664
頼んだ
2023/09/10(日) 21:11:40.84ID:gQP0Pcpq0
ギャルゲーの文章を中国語に翻訳するのが目的みたいだから我々が期待するような出力をしてくれるかは分からない
説明に「まだ実験版であり翻訳品質は低い」と書かれてるし
2023/09/10(日) 21:23:02.87ID:kfPEp30o0
解散した会社のエロゲの権利を誰かが持っていたとして、勝てるか分からない裁判を金かけて起こすのか？
ChatGPTは学習させる事は著作権を侵害していないって言ってるからな
2023/09/10(日) 22:13:41.55ID:KyGeSlQia
学習には利用しておいて出力には制限をかけるとはふてえ野郎だ
2023/09/11(月) 00:13:42.38ID:bmE7DhTw0
>>660
前にoobaで少し触っただけだけど中国語出力しかしなかった気がする。
翻訳用だしそりゃそうか
673今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/11(月) 01:03:37.06ID:A2+538JI0
>>672
そうかぁ　ありがと
2023/09/11(月) 05:43:23.64ID:o4tcDRYQa
>>671
それな
openaiが学習できたのはインターネットの自由を求めて戦った人達がいるからなのに、恩を仇で返しやがった
2023/09/11(月) 07:43:27.18ID:MQhJ99pE0
ファインチューニングをjsonでやるってのはなんとなくわかったけど、長文を覚えさせるのはどうしたらいいの
何か噛ませるのか？
2023/09/11(月) 08:20:01.31ID:slMER6umd
KoboldのAdventureモードもなかなか楽しいな
Kimikoなどのモデルを使えばお手軽に選択式のエロエロアドベンチャーゲームが遊べる
2023/09/11(月) 08:55:30.63ID:sdRle2bzr
adventureモードってinstructモードとあんま変わらんイメージだったけど選択式なんて出来るの？
2023/09/11(月) 09:06:14.17ID:YyUOqlaI0
>"コマンド"
見たいな感じで指定できたような。
ただmodelの相性なのか、事前のpromptが変に作用すると、>move→>stopみたいに勝手にコマンドを生成して、
お前二重人格かよ、みたいな自体になったことが…

あと、なんか女の子となかよくなっただけなのに、〇〇Endみたいに勝手に終わらせようともしたりと、なんか思った以上にままならなかった記憶があるね。
謎Endのあとに、"Comment:Nice story!"とエロゲもどきなのに、謎感想をつけられて以降は使ってない
2023/09/11(月) 09:53:16.18ID:DhcCkmiR0
シーハーオーイェー
680今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾛ Sp3b-tBSY)
垢版 |
2023/09/11(月) 10:56:15.95ID:APGFt0bfp
TheBloke/ORCA_LLaMA_70B_QLoRA-GGUF
これの日本語セリフ表現かなりいい
ただ規制が強いのか話を倫理的な内容に持っていこうとするw
2023/09/11(月) 12:49:52.67ID:slMER6umd
ほほう
以前OpenOrcaは試した記憶があるな
こいつも帰ったら触ってみよう
2023/09/11(月) 13:28:51.69ID:oJJ156lg0
ファインチューニングのやり方調べてるけど、素材づくり用のツールはUIがブラウザベースみたいだから、サーバ立ててみんなで入力とかできるんじゃないかって思うけど
2023/09/11(月) 13:42:50.12ID:NBX0tAIFa
野良で人材やデータ募集するととんでもねえのが混じるからしんどいぜ
2023/09/11(月) 14:06:37.50ID:slMER6umd
やり方は慎重に考える必要はあるな
だが我々で日本語エロモデルをファインチューンしようぜという動きは歓迎だ
2023/09/11(月) 19:59:22.92ID:uS260F9Id
>>290
chatGPT終わったからLLM期待してたけど結局規制されて終わり？
規制といたちごっこは勘弁
2023/09/11(月) 20:03:12.58ID:MQi5iuri0
日本は富嶽でLLMをつくるようです

なぜ日本はGPUのない「富岳」でLLMを研究するのか？外国に後れを取らないための現実的な理由とは [565880904]
https://greta.5ch.net/test/read.cgi/poverty/1694416664/
2023/09/11(月) 20:13:10.02ID:x3Lv5Bp70
ロジック的な話かと思ったらGPUのスパコンが空いてないからって悲しすぎる理由だった
688今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-tBSY)
垢版 |
2023/09/11(月) 20:44:48.78ID:A2+538JI0
ローカルの規制はイタチごっこにはならんよw
2023/09/11(月) 20:50:05.77ID:9liKeLgv0
規制強めのモデルだったから申し訳回避が必要だったというだけの話で
規制の無いモデルなんて幾らでもある
2023/09/11(月) 20:53:04.06ID:uS260F9Id
>>689
マジか
全裸待機しとく
128Gメモリー刺したらOS飛んだ
ryzenは4枚刺して負荷かけるとアカン、ECCサポート外って知らんかった
2023/09/11(月) 20:53:25.19ID:BbS7PvPL0
とりんさま公開からのファインチューン合戦ぐらいの勢いが欲しい
2023/09/11(月) 20:56:39.66ID:9liKeLgv0
富岳単体じゃないってばよ

理研 AI用スパコン「語岳」整備 「富岳」と組み合わせ「世界一」と同等性能確保
https://ledge.ai/articles/riken_gogaku_fugaku
693今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1a28-6jLp)
垢版 |
2023/09/12(火) 00:58:38.89ID:ngxj0Qzy0
大葉でkimiko使ってchat modeでcharaとのチャットは手探りながら結構楽しんでるんだけど、
instructはまだいまいち掴めてなくて…どう使い分けてるんです？
2023/09/12(火) 07:43:57.09ID:fh6x8x210
ファインチューニングのツール複数あるみたいだけど、複数人入力とか考えたらどれを使うのがいいんだろう
https://blog.brainpad.co.jp/entry/2023/06/26/153015
2023/09/12(火) 07:46:06.95ID:fh6x8x210
ファインチューニング用の素材ができたら、いろんなモデルに入れてみることを考えて、汎用性の高いルールがいいよね
2023/09/12(火) 10:20:21.92ID:wLBVcnrDa
こつこつ放り込むだけのデータベースだけ用意するとか？
それならスプシだけでもでき……容量が足らんか
2023/09/12(火) 10:22:33.80ID:wLBVcnrDa
テンプレートの形式すらよくわからんから手を出しにくいってのが壁なんだろな
それさえ規格化できればなんとでもなる気はするけど
2023/09/12(火) 12:10:39.95ID:hrGW1qliM
>>693
kobold派だけど、instructは長文小説用じゃね？
2023/09/12(火) 12:13:06.53ID:SjPjPav60
instructで長文って要するにChatGPTで言う
官能小説ジェネレーターのパート分けみたいな感じでしょ

いちいち展開をいじれるkoboldの場合要るのかって気もするけど
どうなんかな
700今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/12(火) 12:37:16.78ID:TxVD3vlh0
>>693
大葉のデフォルトモードのこと？
あれ使うとkoboldみたいに展開いじれるんでchatmodeよりよく使ってる。
ところで、
TheBloke/Spicyboros-70B-2.2-GGUF
これ、情報見ようとするとすべて18禁警告でるね。kimikoですらそんな事なかったので、
期待して落としてみたら・・・。

今、日本語検証中だか、セリフ表現はstablebeluga2並みかそれ以上
そんでもって、エロはkimikoに負けてない
おそらく英語ならもっとすごいと思うが、日本語が良すぎて英語まで検証が回らん状態だｗ
英語は英語民に任せたｗ
701今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/12(火) 13:34:19.67ID:QXTpzf7T0
Chat - 設定で定義されたキャラクターのみが使用されます
instruct - instruct テンプレートのみが使用され、文字は使用されません
Chat instruct - キャラクターテンプレートとinstruct テンプレートの両方が使用されます。
だそうで(大葉)
702今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/12(火) 13:35:14.58ID:QXTpzf7T0
>>701
訂正漏れ：文字→キャラクター
703今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/12(火) 15:56:49.72ID:TxVD3vlh0
Spicyboros検証続き
ヤベェ、かなりいいぞこれ
日本語会話が、男と女、ちゃんと喋り方を使い分けてくれる。浮浪者とかは下品な感じになるｗ
ちょっと不安定な所も見られるけど、今までで一番の当たりかもしれん。
2023/09/12(火) 16:09:51.44ID:BMgQkAyjd
帰宅したら試してみるぜ！
出先で触れないのがローカルの辛いところだよな
2023/09/12(火) 16:16:27.04ID:SjPjPav60
テキスト入力するだけなんやから外部からつなぐ系の入れれば簡単では
706今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/12(火) 16:24:49.63ID:QXTpzf7T0
アカン、メモリ32GBぽっちだと70B動かんのね。99%で張り付いて終わる。13Bだと60%ぐらい。
2023/09/12(火) 16:28:29.61ID:BMgQkAyjd
70B動かすには最低でも45GBくらい使うぞ
2023/09/12(火) 16:49:09.50ID:7kEWbugr0
>>706
メモリ32GBだけどVRAM8GBをフルで使い切る設定にしたら動くよ
709今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-MmH2)
垢版 |
2023/09/12(火) 20:42:27.84ID:EffCH6GiM
>>700
警告: このモデルは、求められれば、冒涜的なコンテンツや NSFW コンテンツを喜んで吐き出しますので、使用には注意してください。

おいおい楽しみじゃねーか
710今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-MmH2)
垢版 |
2023/09/12(火) 20:45:49.17ID:EffCH6GiM
カジュアルなチャット/ロールプレイではなく、指示と応答のペアにかなり重点を置いています。

だそうで。kimikoと使い分けやね
2023/09/12(火) 22:21:16.89ID:ExtS+G5N0
Spicyboros、日本語と英語で使ってみた
まず日本語だけど確かにかなりこなれてると思う。今まで試した他の70Bモデル、StableBeruga2とかOpenbuddyとかよりも上だと感じた
まだまだ実用レベルでは無いが確実に進化してるなと思えるよ
2023/09/12(火) 22:29:54.01ID:ExtS+G5N0
次に英語だけど
確かにエロいし描写力もある。Kimikoとどちらが上かはもう少し回してみないと分からない。単純なエロさならKimikoが少し上かも…という印象はある
ただKimikoはエロいのと同時に倫理観もどこかにあるようで、アレな設定の小説を書かせていると
「彼らの不道徳な関係は、いつか世間に知られ糾弾されるのだろうか、それともこのままさらに闇に沈んでいくのだろうか」
とか大きなお世話なナレーションを挟んでくることがあったけど、こいつはそんなことはなく、悪徳上等な雰囲気がある
713今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾃﾃﾝﾃﾝﾃﾝ MMb6-MmH2)
垢版 |
2023/09/12(火) 22:59:56.23ID:EffCH6GiM
>>712
kimiko、確かにあのナレーションいらんなw
早くSpicyboros試してみたいわ

13B試したやつおる？kimiko13Bと比べてどうやろ
2023/09/13(水) 06:23:45.14ID:QttpnoNw0
Spicyborosの34Bも出てるな
Kimikoにこのサイズは無かったから期待だ
2023/09/13(水) 06:28:02.46ID:QttpnoNw0
Euryale-70Bってのも来てるな
Sthenoの発展モデルらしい
NSFW - Yes とのこと
2023/09/13(水) 06:29:59.04ID:QttpnoNw0
最近こういう方向性のモデルが増えてる気がするのは、chatGPTの規制強化を受けた流れなのだろうか？
2023/09/13(水) 07:45:24.31ID:dD0pxqWBF
仕事でLLM使いこなす為には、どのみちファインチューニングのやり方を覚えないといけないから
みんなで楽しくやりましょう
2023/09/13(水) 12:05:21.53ID:o8P7UinUM
>>714
おいおいまじかよ
70B遅すぎて13Bで妥協してたワイに朗報や
2023/09/13(水) 13:12:51.90ID:KOJHLAcj0
>>715 ステンノー、エウリュアレーときたらその次はメドゥーサかい　元ネタのゴルゴーン姉妹だとメドゥーサだけ不死じゃないんで性能劣化してる気がするがｗ
2023/09/13(水) 13:14:34.58ID:IQuLb5T30
34Bは基本モデルがCodeLlamaのバリアントだから
llama2ベースの7B、13B、70Bとは少し挙動が違うかもしれんよ
2023/09/13(水) 13:31:00.69ID:IQuLb5T30
なんか誤解招きそうだったので追記
codellamaはllama2のコーディング特化の派生モデルです。
metaはllama2の30B級モデルは未公開のくせに、llama2から派生させた
codellamaの34Bモデルは公開してるからこんなややこしいことに
2023/09/13(水) 15:07:23.45ID:UvMv99L/0
ﾋｬｯﾊｰ新鮮な30B級だ
2023/09/13(水) 15:51:52.14ID:tSZrXRY0d
Spicyborosのc34Bは、Airoborosのc34Bがベースだと思ってたわ
この説明だとロールプレイ向きだがの

Airoboros c34B 2.1

c34B 2.1 model is a refined Llama-2 version, enhanced with synthetic data through the Airoboros system. It introduces an experimental instruction set categorized into "rp" and "gtkm." While "rp" allows for multi-round, emotive conversations defined by character cards, "gtkm" provides a streamlined alternative for character-based questioning. The model also supports intricate writing prompts and is capable of generating next chapters for ongoing narratives.
724今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/13(水) 18:20:11.62ID:J7Q4DHi70
反転版ってのがどうなのか気になったんで
Euryale-Inverted-L2-70B　も検証してみた。

結果
エロい質問したら、めっさ怒られたｗ chatgptでもあんなに怒られたことなかったのに
リトライしたら一応答えたけど、最後に警告されたわ
規制解除が反転してんのかと思った
ちなみに
Euryale-L2-70Bの方は普通にエロＯＫだったが、Spicyborosよりは日本語レベル低い感じだった
2023/09/13(水) 18:41:09.07ID:eGbFfRmKa
規制解除って追加学習？FT？的な事でやるんだろうか
もし仮にGPTがローカルに漏れ出たら規制を外す事が可能？
2023/09/13(水) 18:59:42.34ID:sou2H6a7M
koboldcppでSpicyboros70B試してみてるけど、官能小説みたいなのをゆっくりと長文で書かせていくのってどうしたらいいの？
chatgptなら、指示を与えてみたり、文章の始めをこちらから与えて思い通りの展開に持っていけるけど、koboldcppではnewstoryでもinstructionでもchatでも、指示した内容の粗々のストーリーを一回で出力してお終わっちゃう。
chatgptみたいに、お互いに掛け合いをしながら、一緒にストーリーを紡いでいくにはどうしたらいいのかな？
どっかにstep by stepでサンプル載ってるとこない？
727今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/13(水) 19:33:53.77ID:J7Q4DHi70
>>726
instructionでプロット提示して、この内容で小説かいてくれって指示してみて
そんで、気に入らない展開になったら、ABORT押して、AllowEdiitngオンにして直接主力文章を修正するか、
新たな指示文を入れるかでいけるよ。
直接修正する方が手っ取り早いかな
2023/09/13(水) 19:46:37.12ID:x6Uy3wTfr
みんなまだLlama.cpp使ってる？
久しぶりに来たらもう浦島太郎だわ
729今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-rlb/)
垢版 |
2023/09/13(水) 19:55:33.30ID:J7Q4DHi70
>>726
書き忘れ
instruction小説書かせるなら、セッティングのMax Tokensは最大の2048、Amount to Genも最大の512にしておくこと。
あと、Trim Sentencesはオフの方がいい。
chatmodeならwikiの通りAmount to Genは80程度がいいかもね
2023/09/13(水) 21:06:02.39ID:tYlx/HDf0
>>726
koboldでキャラ等設定がが決まっているならだけど

うちだとstory mode（newstory）で、「w info(world info)」ボタンを押して、
出た画面の左側のキーにキャラクター名や地名を指定して、右側の方にその設定をかいて、
右端の画鋲マーク（Toggle constant key mode）を有効にして使っているなぁ

あとは、MemoryボタンのAuthor's noteに、必ずやってほしいこと（文体や時代背景）を書いて遊んでる。
正しい使い方では無いかもしれないけど、これで今のところはそれなりは動いている…のかな？

サンプルだと、英語にはなるけど、aetherroom.club のものを持ってきて最初は参考にしたよ
2023/09/13(水) 21:08:10.68ID:R/wNYqSe0
>>726
こういうノウハウの蓄積は必要だと思うわ、俺も困ってる
俺はchatgptイジってたときに使ってたプロンプトを英訳して、最後に罫線で区切った後「One day,」とか入れて出力させてるかな
そしたら比較的小説チックなの書いてくれるよ

今はアドベンチャーゲーム形式で女主人公にモンスターからエッチなことさせるような、ダンジョン探索を進めるようなのを出力させたいと思ってるんだけどなかなか上手く行かない
2023/09/13(水) 21:30:18.93ID:YFuycGQ90
複雑なプロンプトを書きたいならsillytavernでエロRP用のカードを作成したほうがいいんじゃね
chub.aiにADV形式の参考になりそうなカードがあった気がする
2023/09/13(水) 22:04:48.95ID:QttpnoNw0
お任せにすると短篇で終わらせようとする傾向は強いね
なのでこちらが意図してない方向に進み始めたり終わらせようとしたら、上の人も書いてるけどABORTしてAllow Editingして余計な部分を消したり書き換えたりして、次の展開を指示するのがいい
だいたいfuckしたあとfall asleepしてそのままThe Endにしようとしやがるので、「そして次の日。」と書き換えてやったりしてるわ
この辺の使い方はchatGPTと少し感覚が違って、AIのべりすとの方が近いと言える
2023/09/13(水) 22:16:50.73ID:tSZrXRY0d
>>728
今は内蔵されてるからなぁ
735今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/14(木) 10:28:53.52ID:WLlfcY8h0
chub.aiおもしろいな。キャラクターカードめちゃくちゃあるやん
とりまV2ってやつを落としてSillyTavernのキャラクター欄にドラッグ&ドロップすればインポートできた
V2とTの違いは、埋め込まれた世界観(Lore)データもインポートできるかできないかっぽい
https://i.imgur.com/4dSg6CX.png
2023/09/14(木) 13:25:44.75ID:K0SQ7Bqi0
なーんか最近のエロいと言われているモデルより
WizardLM Uncensoredのほうが好みなんだよなあ
攻守にバランスが取れているというか

もう3ヶ月くらい前の奴なのに
2023/09/14(木) 14:32:06.19ID:5zer7EBnd
自分のお気に入りのモデルを見つけるのが一番よな
738今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/14(木) 18:21:18.82ID:6QFofwAF0
Spicyboros 34B gguf きたで
2023/09/14(木) 19:02:28.42ID:K0SQ7Bqi0
上で出てたで
2023/09/14(木) 19:11:05.89ID:aX/B5rZLr
Spicyboros 34B gguf 昨日試してみたけどまだあんまり強みを感じれてないな
プロンプトが良くないのかもしれんが
741今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/14(木) 20:59:54.12ID:6QFofwAF0
あれ？昨日？
タイムスタンプは3時間前になってるけど
Spicyboros 34B gguf
2023/09/14(木) 21:05:36.12ID:DfphLhyb0
なにかしらアップデートされたのかも
2023/09/14(木) 21:23:04.86ID:B5q2yLLxr
>>734
内蔵？今何を使うのが主流なの？
赤ちゃんですまん
流れ追うヒントクレメンス
2023/09/14(木) 21:24:24.70ID:K0SQ7Bqi0
kobold.cppくらいテンプレにあるやろ
2023/09/14(木) 21:41:20.55ID:B5q2yLLxr
>>744
ありがとう
ありがとう
746今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/14(木) 22:02:01.28ID:6QFofwAF0
TheBloke/Marcoroni-70B-GGUF
なんだこれ？
元データがアップされる前にニキがアップしてるｗ
747今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 00:15:08.42ID:6iblyzhC0
お？
Spicyboros 70Bが修正アップされたぞ
これで不安定なところが改善されるかも
2023/09/15(金) 05:57:19.33ID:ub6WyhrR0
>>736を読んでWizardLMを再評価してみたが確かにいいねこれ
エロだけじゃなく非エロの部分もしっかり描写してくれる
こういうモデルもいいな
サクッとエロい文章を書いてもらう時はMythomax-Kimikoあたりを使いたくなるが、しっとりと書いて欲しい時はこういうモデルを使い分けるのが良さげだな
2023/09/15(金) 05:59:00.92ID:ub6WyhrR0
>>740
自分もSpicyborosのc34Bにはあまり良さを感じられなかった
時々バグるし
750今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 06:39:08.14ID:6iblyzhC0
>>748
33B とか40Bとかいろいろあるけど、どれ使ってます？
751今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 07:53:58.70ID:6iblyzhC0
Spicyboros　70B　落としなおして遊んでたけど、関西弁しゃべれたんだな
初めて試したんで、他のモデルでもできるのかもしれんが、ちょっといいわこれｗ
752今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 10:13:49.49ID:AtNIacDL0
メモリ積んだら一応70Bは生成できたけど、くっそ遅い
13Bは15.59 tokens/sとかでるのに70Bになると1 tokens/s割ってくるし、生成まで300sとかかかるんだが
あれか、サクサク動かしてるやつはクラウドとかRTX3090二枚刺しとかXeonマシンとかゴリゴリのマシンで動かしてるのか
2023/09/15(金) 10:30:47.79ID:L2RFEVzf0
あるいはMacとか

https://twitter.com/ggerganov/status/1699791226780975439
https://twitter.com/5chan_nel (5ch newer account)
2023/09/15(金) 10:54:52.00ID:VDoGkwfc0
最新のPCに積まれてるDDR5でも、64GBのメモリからデータをすべて読み込むのに1秒かかるんだからCPUでどうにかなる問題ではない

メモリが数倍早いmacに注目されてるけどそのためだけに買うのは躊躇われるな
755今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 11:36:42.87ID:AtNIacDL0
ひえー180Bで6token/1sとかでとるやん
これがユニファイドメモリなるものか
2023/09/15(金) 11:43:14.81ID:XXfisNPMa
ULTRAとメモリの暴力
なおお値段
2023/09/15(金) 14:06:02.95ID:THiT3X6Or
まだまだ発展しそうだし64GBのメモリ注文したわ
来週から70Bガッツリ回すわ
2023/09/15(金) 16:48:41.61ID:Fx0NVQ3Qd
64GBおめ
2023/09/15(金) 17:22:49.61ID:dHtT1b9QM
そして70Bの遅さに泣くまでが1セット
760今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 17:25:14.43ID:6iblyzhC0
大丈夫、そのうち慣れる
今30Ｂのモデルで英語エロ書かせてるけど、早すぎて理解がおいつかんのだｗ
2023/09/15(金) 17:31:16.26ID:UXqDticN0
CPUも良くしたいよなー
762今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 17:36:30.58ID:6iblyzhC0
corei9の最高レベルのCPUだと70Bで何t/sになるんかな？
2023/09/15(金) 18:30:21.37ID:3zFh+JAlM
core i9 13900＋メモリ128G＋rtx4090
あたりがコンシューマレベルで揃えれる最高だろうか
これでllama70bがどれぐらいで動くのか俺も気になる
764今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ceff-I3sq)
垢版 |
2023/09/15(金) 18:33:56.51ID:T5gXp4J20
70Bなら4090+CPUより3090二枚差しのほうが遥かに早いはず
2023/09/15(金) 18:36:46.59ID:UXqDticN0
いまGPUの二枚差しってハードルどうなっているんやろ
数年前は普通に聞いた気がするけど最近全然聞かんような
2023/09/15(金) 18:45:50.35ID:wPgeNlqc0
ハードルもクソも無意味でFA
767今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 18:45:59.08ID:6iblyzhC0
GPUが速いのは分かるが、CPU+メモリで70Bがどのくらい速くなるか知りたい
2023/09/15(金) 19:23:10.21ID:ub6WyhrR0
それでも2T/sくらいじゃないかな
上の方の書き込みでMac使いのニキが5T/s超えてる話を聞いてのけぞったわ
2023/09/15(金) 19:28:16.27ID:ub6WyhrR0
>>750
普通の33Bだよ
日付が Jun 24 のやつ
40BはFalconのマージモデルとかじゃないか？
770今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 19:53:01.93ID:6iblyzhC0
>>769
wizardlm-30b-uncensored.ggml　これ？
uncensoredはこれとfalconのしか見つからなかった
2023/09/15(金) 20:16:18.78ID:ub6WyhrR0
https://huggingface.co/TheBloke/WizardLM-33B-V1.0-Uncensored-GGML
772今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 20:38:35.93ID:6iblyzhC0
>>771
すまん、見逃してた
サンガツ
773今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ e354-Dmgj)
垢版 |
2023/09/15(金) 21:52:01.38ID:6iblyzhC0
VRAMで１３B動かせる人、
lightblue/openorca_stx
これ試してほしい。日本語tuneされとる
774今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7)
垢版 |
2023/09/15(金) 21:55:37.35ID:AtNIacDL0
Redditで「22 個のコアを備えた古い Xeon E5-2696 v4 @ 2.2 GHz (オーバークロックなし) マシンは、12 個のコアを備えた私の AMD Ryzen 9 3900XT @ 4.2 GHz マシンより約 20% 高速です」とかを見たので、お値段を追求したAIマシン組むのもおもしろそうではある
( https://www.reddit.com/r/LocalLLaMA/comments/1441sw4/for_running_ggml_models_should_i_get_a_bunch_of/ )

最大メモリー帯域幅
Xeon E5-2699 v4｜76.8 GB/s
Core i9-13900K｜67.21GB/s
AMD Ryzen 9 3900XT｜ 51.2 GB/s

VRAM24GB持ちのTesla P40とかK80とかすごい安いけど、こいつらマザボにぶっ刺せば普通に推論に使えんのか?エンタープライズ製品まわりなんも知らんわ
2023/09/15(金) 21:57:42.48ID:7AFNYEMi0
素直に企業向けのワークステーション買った方が多分安い
2023/09/15(金) 22:56:52.90ID:wPgeNlqc0
どれだけ使うか知らんけど
燃費悪いぞXeonは
2023/09/16(土) 04:23:49.78ID:m1XG2iEp0
特定のキャラクターを演じるようにするにはスクリプトをプロンプトに入れろとChatGPTに言われたんだけど
大量の設定をいちいちプロンプトに入れるのは嫌なんだけど
他に方法ないんかな
2023/09/16(土) 06:00:50.85ID:+W21GtIR0
ここはchatGPTの話題は禁止というわけじゃないけどローカルLLMの話題が中心なので他のスレの方が答えてもらえると思うぞ

Chat GPTで終わってる使い方するスレ 2
https://mevius.5ch.net/test/read.cgi/esite/1691938587/

【AI】ChatGPTでオナニー ★14
https://mercury.bbspink.com/test/read.cgi/onatech/1693038524/
2023/09/16(土) 06:32:38.49ID:aiENCOO50
AIちゃん、〇〇のキャラクターとチャットするためのpromptを書いて
というpromptを書く、とか？

うちは英文章書く練習と思っていろいろ英語でprompt書いてみてる
aiちゃんは顔しかめたりしないから楽だ
2023/09/16(土) 07:51:22.89ID:7whY1ao10
GPT4では見た目、性格、経歴、ユーザーとの関係、発言数個ぐらいは入れた方が再現されやすいよ

Koboldは…chatにして最初はこちらがeditして雰囲気で書かせてから始めるから、W infoとかmemoryとかさっぱりだ…
781今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 08:24:10.52ID:vtAdSvjO0
lightblue/openorca_stx
とりあえずBloke先生に依頼出しておいた。
VRAM24G欲しいのぉ
782今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff02-Pa4f)
垢版 |
2023/09/16(土) 08:30:16.54ID:EM053oAI0
肌地黒で親土木やらの底辺労働者のガキは恥ずかしくないのかな？ｗ
2023/09/16(土) 09:41:50.70ID:m1XG2iEp0
>>778
いやchatGPTにLLMで会話風にするやり方を聞いただけで、たぶんどのLLMでもやり方は同じなんだと思う

>>779
ずっとAIに会話させたいのに、いちいちプロンプトにスクリプトなんて書いてられないって話
コンテキストではだめって言われた
2023/09/16(土) 09:45:13.90ID:YFKBCbqKM
>>780
w infoで設定モリモリにすると捗るぞ
性癖ドンピシャのオリキャラ設定をかなり忠実に反映してくれる
2023/09/16(土) 13:24:08.28ID:OnAsru1+r
w infoに入れてても全然関係ないキャラ出されること無い？
あんま信用できないイメージなんだよな
2023/09/16(土) 13:30:05.95ID:aiENCOO50
contant key modeをenable にすれば、memory(prompt)に含まれるようになるから、全く知らん人が出ることは少なくなるかも。
787今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 14:01:50.79ID:vtAdSvjO0
Marcoroni-70B
ベンチで最高点出すだけあって、安定した文章出すな。
長くなっても同じ文を繰り返しすようなこともないし、日本語表現もいい。
2023/09/16(土) 15:52:24.60ID:OnAsru1+r
>>786
そうなのか！試してみる
789今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 16:19:35.73ID:vtAdSvjO0
おお！！
Bloke先生、もう依頼を受けてくれた！！　早い！
TheBloke/OpenOrca_Stx-GGUF
790今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf7b-YZsW)
垢版 |
2023/09/16(土) 16:37:36.28ID:gB+uw0kE0
>>789
マジか、依頼して上げてもらえるもんなやな
たすかる
791今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 16:41:23.21ID:vtAdSvjO0
うーん・・・・
ニキの手を煩わせる事はなかったデキだった・・・
13Bの日本語tuneってことで期待したんだが・・・( ;∀;)
792今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ cf7b-YZsW)
垢版 |
2023/09/16(土) 17:13:02.10ID:gB+uw0kE0
SORENA
ワシもためしたけど、できのいい13Bとか70Bのと比べるとアホっぽい回答しか得られんかった
ちな自分が日本語性能で今んとこ評価してるのはOpenBuddy-Llama2の13B-v11.1と70b-v10.1。ただし申し訳される
英語でチャットするならともかく、日本語に関してはリーダーボードみてもあんま意味なくて、日本語または多言語対応データセットをつかって学習させたか否かにかかってくる感じはある
2023/09/16(土) 18:30:44.93ID:T4ElA0QR0
ggufよりggmlほしいな
2023/09/16(土) 18:51:58.59ID:4qt1QICh0
kobold.cppが対応してるのになんか違いあるんか？
795今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/16(土) 23:12:23.38ID:vtAdSvjO0
OpenBuddy-Llama2って、エロい事聞くと申し訳されるんで
そっちの評価はしてなかったんだが、なんとなく今試したら、以前申し訳されたお題がすんなり通ったｗ
なんか、コツでもあるんかな？
ちなみに結果は最高のデキやったわ(*'▽')
2023/09/17(日) 01:32:36.93ID:3WuRFqaB0
poeでsolar-0-70bっていうモデルが追加されたけど外人さんたちがgpt3.5並に使えるって色めき立ってる
日本語使えるのだけ確認したけどもう駄目めむい、任せた
https://www.reddit.com/r/ChatGPTNSFW/comments/16j6wvh/solar070b_nsfw_test_seems_ok_to_me/
2023/09/17(日) 02:14:03.87ID:mDVvGaus0
とりあえず官能小説ジェネレーターの英訳版入れたら
普通のシチュで申し訳はされんかったな

速度はそれなりにあるし、半端なローカルモデルで
遊ぶよりよさそう
2023/09/17(日) 09:51:59.48ID:raSbllaa0
複雑な日本語タスクの理解度もそこそこあるなこれ
2023/09/17(日) 16:45:19.13ID:mDVvGaus0
https://twitter.com/manjiroukeigo/status/1703303774759211183
わざわざMac買うならガチれと
https://twitter.com/5chan_nel (5ch newer account)
800今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-HrGy)
垢版 |
2023/09/17(日) 17:02:02.62ID:ozacn3PD0
mac買うなら192Gフルスペでしょう
でも256G以上欲しいから待つのもありかなと思ってる
2023/09/17(日) 19:38:58.94ID:mDVvGaus0
英語でいいから無料でエロチャとかエロ小説を手軽に書いてもらいてえ！　って奴は
poeのsolarがベストって時代来たかもなあ（もちろん官能小説ジェネレーターとか
ASMRジェネレーターの英訳版を入れる必要はあり）

まあちょっと前は3.5で似たようなことができたけど
802今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/17(日) 20:25:50.01ID:ozacn3PD0
upstage/SOLAR-0-70b-16bit
ニキのリクエストにはまだ載ってないな。
こうゆうのは優先的にやってくれてたんだが、何かあるのかな
2023/09/17(日) 20:36:46.23ID:raSbllaa0
ただ単に名前を変えただけでこれのことだ
https://huggingface.co/TheBloke/Upstage-Llama-2-70B-instruct-v2-GGUF
804今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜﾝﾐﾝｸﾞｸ MM9f-Mp0W)
垢版 |
2023/09/17(日) 20:47:32.51ID:Pf2JVni4M
>>685
ローカルの強みは規制逃れの試行錯誤どれだけ繰り返してもBANされるリスク無いことだからね
805今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-68M3)
垢版 |
2023/09/17(日) 20:59:43.87ID:ozacn3PD0
ああ、リネームだったのか。ニキのリンク先もそうなってるね
2023/09/17(日) 21:09:29.88ID:PgkRRmIi0
今ダウンロード中
ちょうど今日いい感じのエロ小説を別モデルで書かせてたから、同じプロンプトで比べてみよう
2023/09/17(日) 21:25:39.51ID:mDVvGaus0
どっちかっつーとpoeの計算資源使わせてもらえることのほうがでかいと思う
808今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8f54-mbMR)
垢版 |
2023/09/17(日) 22:08:55.53ID:ozacn3PD0
いま、ローカルでテストしてるが、poeだと申し訳食らったお題でも、ローカルなら、sorryを消して了解しました。に変えるだけで書いてくれるから楽だわｗ
2023/09/18(月) 00:14:24.86ID:vCikYAiH0
ローカルだとほぼ規制無しだね
表現力も確かに高い
他のモデルだとこちらの指示に一直線に従うところ、色々な場面を挿入してくる
ローカルもここまで来たか、という感じだ
2023/09/18(月) 00:30:46.16ID:W7vGn/7Ea
出力形式縛ってゲーム形式もできる　Claudeは出来ないのに
これがローカルで動くとは始まったな
811今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H5f-mbMR)
垢版 |
2023/09/18(月) 16:54:56.30ID:5EY+r7wRH
GPTQの70B動かすのにPCスペックどれくらい必要？
2023/09/18(月) 17:50:32.31ID:xenICWPUH
通常のメモリが40GBくらいは最低要るんやからVRAMでも
同じ事ちゃう

家庭用PCでは相当変態的なことせんとほぼ無理ゲーやね
2023/09/18(月) 17:56:49.71ID:oYgvcVWPH
モデルサイズが最低要件じゃないの？
814今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H03-YZsW)
垢版 |
2023/09/18(月) 18:14:12.61ID:fG7eg/0YH
1枚でやろうとするとVram48GBレベルのやついるからTesla A100、Quadro RTX 8000、A 6000 Adaとかなっちゃう多分
RTX3090とかを2枚のっけて動かしてるやつもRedditでみかける。これでllama-70B モデル (4 ビット) 10 ～ 12 t/s らしい
2 台の P40 に分割して実行して4k コンテキストで 42GB を消費するらしい。これで3 ～ 6 t/s 。
2023/09/18(月) 18:35:29.64ID:xenICWPUH
70Bモデルからすらすら結果出してくれるpoeのsolarはえらいんよ
816今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (JP 0H5f-mbMR)
垢版 |
2023/09/18(月) 19:56:25.13ID:5EY+r7wRH
winならRTXA6000(48G)あれば、4bitならいけるってことか。
macだとどうなんだろ
2023/09/19(火) 01:02:05.23ID:SHsjuFrA0
>>803
日本語だと出力速度が遅いから英語でしかやってないけど、このモデルすげえいい気がする。
なんかやたらと相手のことを気遣ったりする倫理的な部分も若干あるけど、今のところ無視できる程度
2023/09/19(火) 07:21:29.18ID:Alfe137Ed
早くtransformerの次の技術が実用化されて欲しいな
もっと軽く、もっと速く動作させる技術が出てくれば、さらに賢いモデルが実用的な速度で動くようになるだろう
なってください
2023/09/19(火) 07:31:02.44ID:et07+P+fH
https://twitter.com/ai_scholar/status/1703694095917748318?t=ycvApM0IIj78Nko1LtpvBg&s=19
いろいろと生えてきてはいるんだけど、現行の学習もあるし順繰りにしか進んでいかないんじゃないかな
https://twitter.com/5chan_nel (5ch newer account)
2023/09/19(火) 22:17:19.85ID:ffKXYLdw0
生成される文字が欠けるのは直せますか？
2023/09/19(火) 23:16:32.40ID:/Gh2b4qjH
まーた古い論文持ってきたなｗ
いつのやねーんｗ
2023/09/19(火) 23:52:39.94ID:VBNB8tby0
いうてRetNetの内容とか一部も理解できひんし
823今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4fae-a273)
垢版 |
2023/09/20(水) 00:08:56.42ID:/nK0fU7i0
30Bモデルで楽しんでるけど、アブノーマルなプレイになると精度落ちるなぁ
極端に女性優位の物を作成させると、いつのまにかcockが生えてきている
2023/09/20(水) 03:48:06.43ID:i2U+SUnu0
いまこんな感じの構成を考えてるんですが、ケチり過ぎかなぁ。激遅でも70B動いたら良いんですけど。GPUはstable diffusionが動けば良いので3060にしてるけど5万円プラスして4070にすべきかどうか。
https://imgur.com/a/4VUmnX8
2023/09/20(水) 06:54:01.62ID:uTu9J00t0
自作じゃなくて、企業向けので見積もってみてもいいかも
個人で１台でも買えるし
2023/09/20(水) 07:37:02.19ID:7fLL93tz0
メモリ１２８GBにしたけど、CPUけちったから、今度はCPUが遅く感じる
i9じゃないとダメか
827今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff24-A5lE)
垢版 |
2023/09/20(水) 08:01:33.70ID:dRGLXMiV0
70BとかCPUとメモリで処理するのは一応動きはするってだけでi9でもクソ遅いよ
2023/09/20(水) 11:33:26.84ID:WWEuOufmM
メモリの速度が最重要で他は割と適当でもいい感じか？
2023/09/20(水) 13:15:03.33ID:PIKgs9EC0
だから高額なMacが現状個人で手に入るものでは
一番ええわけやね

それだけのために買える奴は少ないやろが・・・
DTM勢とかならアリなんか？
2023/09/20(水) 13:17:08.45ID:PIKgs9EC0
おそらく最もエロいものを作っていくには「自由にストーリー考えて」じゃなくて
「シチュエーションや感情パラメータは決まっているから描写して」なんやけどな

シチュとか感情パラメータは昔ながらのif-thenプログラムのほうが上手くいくと思う
「○○という状況に応じて適切な描写とセリフを出せ」みたいの意外と粛々とできないのよな
2023/09/20(水) 16:12:24.73ID:i2U+SUnu0
i7 13700だと無理ですかね?プラス3万円でi9 13900Kにするべきか。

メモリはDDR5の6400MHz 64GBを検討してるんですが、周波数が生成速度にどれほど影響するのか疑問です。
2023/09/20(水) 16:26:39.50ID:7fLL93tz0
スピードを求めるならVRAMにしたら？
2023/09/20(水) 16:29:35.26ID:IV0DnqM60
70Bにもなるとメモリ帯域が足を引っ張ってる説が濃厚なのでメモリのランクは高いほど良くてCPUのランクは上げんでも良いということになる
ただ今後30Bぐらいで実用的になる可能性もあってその時はCPU優勢になるかもしれん
834今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff24-A5lE)
垢版 |
2023/09/20(水) 17:01:07.64ID:dRGLXMiV0
例えばRTX3090だと帯域幅は930GB/s、MacでM2Ultraだとメモリが脅威の800GB/s、Macが速いのはこの恩恵が大きい
通常のPCだとDDR5でデュアルチャネルでも80GB/sに届かないくらいなので
現状で70Bクラスのモデルに実用レベルの速度を求めるならGPUかMacかって話になる
2023/09/20(水) 17:08:04.42ID:7fLL93tz0
RTX3090×4とか金持ちはいいな
836今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 17:19:18.68ID:PURpKypH0
mac買うならM3で256G以上が出てからだな
2023/09/20(水) 17:19:26.25ID:PIKgs9EC0
>>834
あと一応poe
70Bの実用的なのを無料で使えるのはありがたいことやで
まあ3.5の規制がゆるかった頃はその上を行っていたわけやが
2023/09/20(水) 17:26:06.83ID:7fLL93tz0
高級ハードを買いあさるより、huggingfaceを有料でレンタルした方が安いってなんね？
839今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 17:42:44.32ID:PURpKypH0
>>834
VRAM並みの帯域があるなら、MACは画像系のSDXLとかにも有利だったりするのかな？
2023/09/20(水) 18:03:52.36ID:PIKgs9EC0
画像系つーても本当に1枚絵だすだけなら3060でも結構いけるからなあ
今流行ってきた動画系とかではアドバンテージありそう
841今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f40-mbMR)
垢版 |
2023/09/20(水) 18:08:49.20ID:PURpKypH0
SDXL用のLoRAとか作ろうとすると、VRAM12Gだとデフォルト設定で2日くらいかかりそうな感じ（2日じゃ終わらんかもしれん）
だったんで、MACで速くなるならLLM以外の用途もでてくるんで。
2023/09/20(水) 18:39:39.94ID:ZsCSOVcaM
>841
SDはハードウェア的にもソフトウェア的にもMacに最適化されてないから、メモリ速度の問題やないと思うで
2023/09/20(水) 18:49:02.07ID:IV0DnqM60
正直70B用にPC買うぐらいならGoogle colabとかの有料サービス使うのも有りだと思うけどな
64GBのメモリ積むのって普通のPCでも動くようにするための妥協案な訳だし
844今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f9d-Mp0W)
垢版 |
2023/09/20(水) 20:05:23.81ID:vJz4fQoW0
そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな
845今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜﾝﾄﾝｷﾝ MM9f-Mp0W)
垢版 |
2023/09/20(水) 20:05:44.35ID:I0yCyckSM
そのくらいの値段感になってくるとpaperspaceやcolabどころか普通にGCP課金とかでもまだ安い上にGGUFじゃなく普通にGPTQでずっと早く70B動かせるわな
846今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f9f-mbMR)
垢版 |
2023/09/20(水) 21:35:29.62ID:PURpKypH0
openbuddyも180ｂ出してきおった
2023/09/20(水) 22:01:04.65ID:8ttrvnMY0
今は70b以上は、今のスペックで動けば御の字なのかな
2023/09/20(水) 22:13:50.28ID:PIKgs9EC0
64GBのメモリくらいなら激安だし普段の動画とかの編集で
生きてこないわけでもないしアリやと思うけどな

CPUとかMacとかまでいくとともかく
2023/09/20(水) 22:25:08.83ID:KVwVyKgo0
70bでも遅いのに180bとか気が遠くなるわ
ブレイクスルーで出力速度上がったりせんかね
2023/09/21(木) 07:12:11.11ID:AHx7lFt10
180BならみんなでGPU共有するやつかな…
https://chat.petals.dev/
https://petals.dev/
851今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7fa0-sMWx)
垢版 |
2023/09/21(木) 23:56:39.34ID:eiGlSETW0
TheBloke/Xwin-LM-70B-V0.1-GGUF

日本語が結構よかったから、英語のお題試したら、すげえエロいの書いてくれた。
他のモデルだと、あっさり犯して終わりなのに、このモデルは前戯をねちっこく書いててくれて、描写もかなりいいと思う。
英語民、これ試してみてよ。
852今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7fa0-sMWx)
垢版 |
2023/09/22(金) 00:22:48.50ID:Kiw/r79F0
追記
で、さんざん犯された後、年齢を聞いてみた。
たいがい、他のモデルだと文章が長くなると、いつの間にか16とか20とか、
高め修正してくるんだが、このモデルは・・・・１３だとｗ
まあ、設定では10だったんだがｗ
つまり１３まではおＫらいしいぞ、このモデル(*'▽')
2023/09/22(金) 08:25:19.31ID:05hGDc6c0
せやかて、待って
2023/09/22(金) 14:04:32.06ID:XIFcsseW0
70Bが今の33Bくらいの速度で動く時代こねーかな
とりあえず当面はpoeで頑張るわ

でもSolarしばらくやってるとエラー出ることが
あるんだよなあ
2023/09/22(金) 15:47:46.10ID:2CbGUHef0
Xwinは70Bで初めてベンチでGPT4を上回ったとか、13B版も全ての13Bモデルの中で最高点を叩き出したとか書かれてるな
帰ったら両方試さないと

しかもまだ開発継続中らしいな
856今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 3f01-xbk3)
垢版 |
2023/09/22(金) 18:01:14.96ID:jJgqyv9X0
split-a～bってなんや？と思ったら分割ファイルか
2023/09/22(金) 18:21:08.49ID:P7/pqVrb0
Xwinすごいな、Belugaでも日本語上手くなったのに驚いたが、
間違いなくそれ以上
2023/09/22(金) 18:31:57.16ID:ORPRbUSg0
GPT4超えは伊達じゃないってことか
859今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff2a-A5lE)
垢版 |
2023/09/22(金) 18:34:48.63ID:ZDvu/eHZ0
GPT-4超えはどうかと思うけど、英語の表現はかなりレベル高いと思う
日本語だとさすがに精度がだいぶ落ちるけど、それでも他の70Bモデルと比べて自然な会話ができる印象だ
860今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f3f-sMWx)
垢版 |
2023/09/22(金) 18:39:06.99ID:Kiw/r79F0
英語での描写がすごいと思う。
例えば何も情報渡してないのに、日本の浴衣の構造をちゃんと理解して愛撫してくるし、
３Pさせたら各人が絶妙の絡みを見せてくれるしｗ
これで日本語tuneされたら、ほんと始まるわ
2023/09/22(金) 18:49:00.30ID:DsRwYCBZ0
ここ最近Llama2のチューニング技術が加速的に向上してるな
メタ社の次のモデルは来年早々からトレーニング開始だっけ
ローカルはこれから熱いな
2023/09/22(金) 18:51:25.81ID:DsRwYCBZ0
かく言う自分はあと5分で70Bのダウンロードが終わる
今夜は寝かさないぞ
2023/09/22(金) 19:05:48.71ID:VNaatB/eM
英語ならギリ使えるレベルから一歩前進したんか久々に試そう
2023/09/22(金) 20:41:54.84ID:9WAUSraV0
満を持してLLMに触る時が来たか
2023/09/22(金) 20:44:21.59ID:DsRwYCBZ0
正しくはローカルLLMだぞ
chatGPTもLLM(大規模言語モデル)だからね
2023/09/22(金) 20:49:51.92ID:2CbGUHef0
こういう記事もあった
https://www.itmedia.co.jp/news/spv/2309/21/news085.html
中華製らしいな
867今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f3f-sMWx)
垢版 |
2023/09/22(金) 21:10:29.33ID:Kiw/r79F0
>>866
>個人での実行は簡単ではない。実際の性能については他の研究者などの報告を待つ必要がありそうだ。

量子化とはいえ、このスレでエロ検証されてるとは思わんだろうｗ
2023/09/22(金) 22:50:37.03ID:9WAUSraV0
>>865
そうローカルでだな
長い間触れてなかったけどこの週末に試してみるわ
2023/09/22(金) 23:35:14.19ID:QUOyT6B80
いや、Xwin、今までのとはレベルが違うわ。英語だと解像度の高いストーリーをどんどん猫写してくれる。誘導しないでどんどんエロスな方向を細かく猫写してくれるという部分では、gptより上かも。
870今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 86ca-44ew)
垢版 |
2023/09/23(土) 00:28:30.96ID:r+H5Hme70
Xwin-LM-13B-V0.1-GPTQ
を英語で試してるけど、かなり良い描写してくれる。
2023/09/23(土) 00:38:09.50ID:sWDJHxnH0
日本人の個人で70B動かしている奴の半分くらい
このスレみてそう
2023/09/23(土) 00:56:57.26ID:eM1N5vsW0
7割の間違いだろ
2023/09/23(土) 01:27:41.89ID:+FgRz4Ca0
会社（組織）、コミュニティ、友人、SNS、5ch
情報収集の基本だよね
特に今残ってるネラーは信用できる
ここでの情報は特別だ
2023/09/23(土) 01:48:43.82ID:+TD8KV6nF
なんか一周回ってなんＵが一番マシなコミュニティになりつつある
875今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2ba0-/va4)
垢版 |
2023/09/23(土) 04:32:51.25ID:Yp688dao0
Llama2系のやつで比較的長めのやりとりしてみたんだけど、トークン切れになってくると露骨に文章死んでこないか。標準だと多分2048トークン
反復した返信しかしてこなくなったりする。海外でも報告あったと思う
2023/09/23(土) 10:02:29.36ID:7+atZuAx0
ここや画像生成のスレは、最先端と言っても過言ではない情報が出てくるので、とてもありがたい
2023/09/23(土) 10:02:39.15ID:8dd54tgZ0
Kobold本体も結構大きなアップデート来てるな
2023/09/23(土) 10:53:01.85ID:xz5+FoXkd
>>852
13歳どころか何歳でもいけるぞこのモデル
規制フリーっぽい
知り合いのシングルマザーにベビーシッター頼まれたら、その子に秘密のDVD見せてあげると言われてその子が出演するエロビデオ見せられながらしごかれる場面書かせてるけど
描写もエロいし画面の中とリアルのその子をちゃんと混乱なく書き分けてくれるしで捗るわ
2023/09/23(土) 11:44:16.08ID:V5h90T4A0
aiちゃんは数値弱々だから、多分年齢とかはフレーバー程度じゃないかな
2023/09/23(土) 12:16:02.14ID:sWDJHxnH0
3060買ったらしばらく出費しないつもりだったけど
どんどん誘惑が強くなるな

poeのSolarが途中で止まらなければなあ・・・
2023/09/23(土) 12:45:15.06ID:8dd54tgZ0
結構年齢に合わせた描写してくれるで
882今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e63-GA9g)
垢版 |
2023/09/23(土) 14:18:39.59ID:c2uUYcLW0
なんか久々にTheBlokeニキ見てたらGGUGとGPTQの他にAWQってのが追加されてたんだけどこれはどう使うんだろ
883今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff86-co6p)
垢版 |
2023/09/23(土) 15:54:21.40ID:R4DnxVts0
KoboldがverupしてChubを正式サポートしたで
めっちゃ便利になったわ
複雑過ぎるプロンプトはループしてまうから今後に期待や
2023/09/23(土) 16:04:33.32ID:VipN0YWc0
Xwinの13B試してるけどまともな日本語で賢さも感じる
70B試したいけどどうしたもんか
885今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 069d-mIh3)
垢版 |
2023/09/23(土) 16:24:35.53ID:il00Vn7q0
Xwin 70B遊んでみてるけど凄いなこれ
初めて13Bから70Bに変えたときくらいの感動があった
他のエロ特化モデルより表現が硬いけど
「これがええんやろ？」みたいな回答してくれて気持ちいいわ
886今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 069d-mIh3)
垢版 |
2023/09/23(土) 16:30:33.72ID:il00Vn7q0
ちなM1Max 64GBマカーやが、Xwin 70B GGUF Q5_K_M で4.5t/sくらい
2023/09/23(土) 16:37:28.50ID:k4lEElGr0
羨ましい
888今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e72-0ioK)
垢版 |
2023/09/23(土) 16:44:12.99ID:lmvptX6S0
マカーは大葉やkoboldcppは使ってるん？
2023/09/23(土) 17:11:54.85ID:M+h8Id9f0
Macはようわからんが、そのスペックって50万もあれば買えるよな？悩んでしまうわ
890今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4660-j351)
垢版 |
2023/09/23(土) 17:16:04.88ID:i4m0oCo50
中古で状態のいい3090が買えたから2枚積みしてるけど70Bは10t/s弱くらいで動くぞ
180Bとかもっとでかいモデルを想定するならMacの方がコスパ良くなるだろうけど
2023/09/23(土) 17:27:23.41ID:IoX33BB/0
もうAI用にマザボにVRAMモリモリ直付けしたようなの出してくれよ
2023/09/23(土) 17:37:40.29ID:Ip+Xvcg0M
>>890
3060を4枚でも3090×2と同じVRAM量になるけど、やめたほうが良いですかね？
2023/09/23(土) 17:39:35.15ID:sWDJHxnH0
>>891
革ジャン「あっそれ100万円からの企業用の世界にしておきたいんですよ」
2023/09/23(土) 17:48:16.88ID:r1vUGtkx0
>>890
大葉？koboldcppでgpulayerマシマシ？
2023/09/23(土) 17:53:17.76ID:6eGDO5rE0
ワークステーションとかも視野に入れるべきなんかねぇ
2023/09/23(土) 18:02:00.58ID:X5AfhNx60
>>892
4枚も載るのかって疑問はあるけど帯域幅がだいぶ違うから3060x4は速度出ないと思うよ
2023/09/23(土) 18:14:57.01ID:MlusGWDL0
確かにストーリーが長くなってトークン切れすると、繰り返しばかりになるね。これさえなければXwin70Bでかなりいいところまで来た感はあるんだが。なんとかならんものか。
898今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2ba0-/va4)
垢版 |
2023/09/23(土) 18:17:44.49ID:Yp688dao0
Xwin13B軽くためしたけど、あたりまえだがAIアシスタントに最適化されてる感じかな
あと大体どのモデルにもいえるけど「二人は共に、犯した過ちを正し、この地に光を取り戻すべく、危険と期待に満ちた旅に出るのだ。」～完～みたいに話終わらせてくるのまじでやめてほしい
2023/09/23(土) 18:28:57.14ID:sWDJHxnH0
>>897
ある程度手動で「ここまでのあらすじ」を作って新しくやり直すとかしかないかな？
2023/09/23(土) 19:22:54.06ID:V5h90T4A0
>>898
やっぱりうちだけじゃなかったか
なんか他のmodelに比べて、きりの良いところで終わらせたがるよね
901今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7330-sSxs)
垢版 |
2023/09/23(土) 20:29:06.66ID:CnbsEQ1E0
xwinすげーな
どんなデータでトレーニングしてんだろう
902今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0612-44ew)
垢版 |
2023/09/23(土) 20:56:45.25ID:kLB58v0z0
xwin-lm-7b-v0.1.Q4_K_M で十分賢いね
凄い
2023/09/23(土) 21:33:54.10ID:sWDJHxnH0
でも13Bまでだと「他を捨ててもこれをやる」ってほどのすごみはやっぱないな
33Bクラスはサイズが絶妙なんだよなあ
904今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e72-0ioK)
垢版 |
2023/09/23(土) 21:42:12.29ID:lmvptX6S0
RTXA6000(vram48G)積めばAWQの70Bが動くらしいけど、
A6000か、vram48G確保できてる人いる？
もしいたら、t/s聞きたい
905今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2baa-/va4)
垢版 |
2023/09/23(土) 22:09:55.27ID:Yp688dao0
llama_2系のリピート問題はRedditでわりと見られる
GPT3.5Turboでも上限4096トークンらしいけど、使っててあんまり切れ目を感じないし、Llama2モデル固有の問題っぽい
https://www.reddit.com/r/LocalLLaMA/comments/155vy0k/llama_2_too_repetitive/
906今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b0c-44ew)
垢版 |
2023/09/23(土) 22:41:42.17ID:u/R4/+jR0
xwinの文章ループ、これ致命的やないか？
アシスタントとしては確かに優秀やけど

まだ開発途上みたいやし今後のエロファインチューニングにも期待やな
2023/09/23(土) 23:22:10.14ID:Ig2YRJFQ0
致命的って言っちゃうのも少し違うような？
ループも終わらせたがりも、要は学習データの問題でしょ。

4k学習ってつまり、4kに収まるよう作成した文章を学習するってことで、話の深掘りより進行を優先し、4k分で話を締めた内容を学習する。
これは、一回の応答で結論まで含んだ、要約っぽい文章が求められる一般的な用途には合致してる。
他方、物語を都度に指示しながら書かせるのなら、あえて長文の途中段落だけを抜き出したような文章を学習させるのが良いのだろうけど、
普通の質問に対して「〜である可能性も考えられる」みたいな、曖昧な回答が増えることになるんだと思う。

とはいえ、やはりマルチバイトはマルチバイト圏が強いのかね…… 述語の選択が自然になるだけで、ぐっと「日本語っぽさ」が増すと実感した。
908今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0612-44ew)
垢版 |
2023/09/23(土) 23:46:29.77ID:kLB58v0z0
xwinに自分のモデル名を聞くと普通にGPT-4って答えるね…
909今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2baa-/va4)
垢版 |
2023/09/24(日) 00:10:49.17ID:2oDxopAq0
SuperHOTなんちゃらとかモデル名の後ろについてるのなんやと思ってたけどコンテクスト長の拡大の一種なんよな
ほんとに伸びてんのかね
2023/09/24(日) 12:13:15.76ID:R7Ycjai50
>>890
3090はNVLink対応してるのが強いな
電源周り整えて考えてみるわ
2023/09/24(日) 12:45:50.42ID:sXHIvE4A0
>>910
NVlinkは多分あんまり意味ないぞ
GPU間の転送速度遅いしLLMのマルチGPUは仕様的にはそれぞれのVRAM上に展開したデータをそれぞれのGPUで処理してるっぽい
2023/09/24(日) 13:40:19.15ID:4ZBYKWLL0
今ってそんなVRAMの使い方に対応してるのか
NVLink関係ないってことはモデルを自動で分けてGPUそれぞれのRAMにロードしてるってことだよね？
2023/09/24(日) 15:42:11.91ID:5gig20u+0
GPUごとにレイヤー分けて実行できるんかな？それがマジならワイの部屋に転がっとる3090を活用できるチャンスなんやが
2023/09/24(日) 16:11:04.09ID:eN8WE36W0
一応、koboldcppには、tensor_splitってオプションがあるので、
複数gpuで振り分けられそうではあるけど…
2023/09/24(日) 17:22:57.01ID:sXHIvE4A0
大葉だけど4090と3090の2枚構成で70BのGPTQモデルを動かすならローダーをExLlamaにしてgpu-splitに17.4,24で両方使ってくれる
ちなみに3090側の速度に引っ張られるから3090x2と速度としては変わらないっぽい
2023/09/24(日) 17:24:23.56ID:jyWVHaVb0
このスレにもなんやかんやで変態スペックの人がおるのう
917今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6b54-/HEw)
垢版 |
2023/09/24(日) 19:50:17.96ID:l+a5l9ry0
>>915
AWQ 70b は動く？
GPTQより高速らしいが
2023/09/24(日) 21:07:55.61ID:sXHIvE4A0
>>917
AWQ試したことなかったけど、これローダー何使えばいいんだろうか
919今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e9c-GA9g)
垢版 |
2023/09/24(日) 21:15:25.07ID:NOvwqJTb0
とりあえずoobaのビルトインの奴は一通り全部試したけど無理だったしgit見たら対応してくれみたいなリクエスト書いてる人居たからまだwuiでは出来ないか何かしらの追加インストール必要そう
まあ情報出揃うまでは少し待つわ
2023/09/24(日) 21:35:47.64ID:5iWBW/1k0
kobold.cppでgpt4モドキでチャHできるなら4070二枚積み考えちゃうよ(4090とは言ってない)
921今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e62-44ew)
垢版 |
2023/09/24(日) 21:40:34.77ID:IRf+szGQ0
>>919
大葉未対応だったのか、さんきゅ
対応したらレビューたのむ。
2023/09/24(日) 21:45:19.09ID:z2Pdd6Dx0
ExLlamaだとvram溢れた分勝手にram使ってくれるんだな知らんかった
autoGPTQだと70B動かなかったのに動いたわ
2023/09/25(月) 10:59:56.47ID:3OIwCkhC0
>>915
ありがたい報告や
ワイも2枚刺し目指すで
2023/09/26(火) 01:23:26.12ID:/EVE2yAP0
https://twitter.com/T0a8i0g9a/status/1706152715779473726?t=S71PxqCOvKwpGOE4hsmwvQ&s=19
https://twitter.com/thejimwatkins
925今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1ea4-PB4I)
垢版 |
2023/09/26(火) 03:18:11.26ID:P+7joXeF0
chub aiの"The hypnosis App"めっちゃ抜けるな
926今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1ea4-EOsL)
垢版 |
2023/09/26(火) 09:49:50.14ID:P+7joXeF0
mlewd20Bすげえ
性能悪い34Bから乗り換えたが早い上に表現力ダンチや
2023/09/26(火) 10:33:43.37ID:0ICXWXs1d
最近nsfw向きなモデルが次々出てきて評価が追いつかんw
2023/09/26(火) 13:20:50.79ID:ftpVW1ZAM
手元の3090でexllamaで70bが動くの確認した
ローカルllmの流れ来とるなこれ
2023/09/26(火) 16:57:32.21ID:YNgQYDrS0
>>926
XwinとマージしたMXLewdもいいぞ
キャラクターの性格設定をかなり拾ってくれる
2023/09/26(火) 17:28:54.99ID:vK54K7o80
MlewdやMXlewdは日本語でもいけるの？
2023/09/26(火) 18:29:10.62ID:MLf5hOSU0
>>928
CPUは何で何トークン/秒くらい出る？
2023/09/26(火) 23:11:34.19ID:Ds789+qm0
>>931
cpuは12600，速度はちゃんと見てないけど短い応答の生成に30秒くらいだった気がする
実用性はまだあれだけど応答遅くてもいい使い方ならいけるかな
2023/09/26(火) 23:44:03.01ID:MLf5hOSU0
うーむなかなかしんどいな
2023/09/27(水) 08:50:10.87ID:bFwVIECfd
>>930
20Bだからお察し
現状は70Bですら「うーん割りとマシになってきたかな」がせいぜいだからな
2023/09/27(水) 10:55:02.34ID:o9Xq39mV0
ぎゃーpoeがSolarとか無料だった奴も1日100回制限つけた
まあそりゃそうか・・・
2023/09/27(水) 10:56:32.49ID:rujsFYCX0
そらそうよ
2023/09/27(水) 10:58:29.84ID:MHimmt4A0
>>934
ですよねー
llama.cppで試してみたけどそもそも2バイト文字のプロンプトの書き方がわからんかった
英語のほうななかなかいいな
2023/09/27(水) 11:06:56.51ID:o9Xq39mV0
このスレでもさすがにマカーに宗旨替えしたような奴はいないのかな
939今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ef9-YVwM)
垢版 |
2023/09/27(水) 11:22:15.00ID:L6+SYIcV0
AI専用にサブ機として欲しいとおもったぞ＞mac
まあ、現状の192Gでは180B q5kmがギリ再生できないから、256G以上出るのを待つけどｗ
2023/09/27(水) 11:23:03.56ID:rujsFYCX0
お手頃なら趣旨変えしてもいいけれど
お値段があまりにも太過ぎますよ
元々使ってる人はいるかもしれんけれど
https://i.imgur.com/u8vuOn1.png
2023/09/27(水) 11:24:18.70ID:o9Xq39mV0
元々どっちもすげえの持ってる、って奴はいそうやね
Web系とかはUnix環境との相性がいいせいかMacが基本みたいやし
2023/09/27(水) 12:25:58.80ID:zXB0dAzRr
会社のパソコンほぼ自由に使えるようになったわ
A6000のVRAM48GB積んでるから色々出来そう
2023/09/27(水) 12:46:30.90ID:hjb2gwmwM
Jetsonはどうなんやろ64GBで200GB/sあるから動きするようだが
https://forums.developer.nvidia.com/t/llama-2-llms-w-nvidia-jetson-and-textgeneration-web-ui/264003
2023/09/27(水) 15:04:26.52ID:o9Xq39mV0
結局70万だ80万だの金額だすならMacのほうがええんちゃう
おそらく今後は70Bがまともに動くんじゃないと満足できない時代が来るやろし
180Bクラスが一応動かないとな～　みたいな時代だってくるやろし

ワイはそこまでついていかれへんが・・・
2023/09/27(水) 15:12:35.64ID:bW2ufxvW0
自分の調整したモデルに稼がせればいいのよ！
946今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ed6-oRtz)
垢版 |
2023/09/27(水) 16:18:15.03ID:L6+SYIcV0
turing-motors/heron-preliminary-git-Llama-2-70b-v0

お、おい、これって・・・
いいのか？　Blokeニキに依頼していいやつなのか？？
今、ニキは休息中みたいだがｗ
947今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ed6-oRtz)
垢版 |
2023/09/27(水) 16:28:36.43ID:L6+SYIcV0
よく見ると、日本語タグはついてるけど、言語の説明は英語になってるな。
だれか、動かせる人いないか？
よさげなら、ニキに依頼する
948今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f7d-44ew)
垢版 |
2023/09/27(水) 17:34:58.51ID:otZnElPB0
画像認識できるやつか
7Bは日本語モデルをベースにしてるけど
こっちは多分英語専用じゃないかなー
949今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ee9-YVwM)
垢版 |
2023/09/27(水) 17:53:34.53ID:L6+SYIcV0
やっぱりタグが間違ってるのかな・・・
大葉で7Bを試したけど、かなりいい日本語使ってたんで期待してしまった。
950今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ed6-oRtz)
垢版 |
2023/09/27(水) 19:56:18.05ID:L6+SYIcV0
https://www.turing-motors.com/7e4a9e0a9a4f4ce5a9d6c017f5559d21
し、しかし、これを見ると・・・、むぅ・・・
951今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e8b-YVwM)
垢版 |
2023/09/27(水) 21:21:49.00ID:L6+SYIcV0
すまん、さっき試した7BはJapanese StableLM Baseだったから、日本語うまくて当然だった。
で、
turing-motors/heron-chat-git-Llama-2-7b-v0
こっちが70BとおなじLlama2ベースだったんで、大葉で試そうとしたけど、
自分の環境じゃパラメータが悪いのか動かんかった・・・
だれか、代わりに試して欲しい（動いたらパラメータも教えて）
どうも、ヘロン学習データってのが日本語含んだデータみたいなんだが・・・
952今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0a88-3vbU)
垢版 |
2023/09/28(木) 11:21:21.16ID:HMCf1VYe0
PLaMo-13Bっていう日本語と英語のモデルが出たらしい

https://www.preferred.jp/ja/news/pr20230928/
2023/09/28(木) 11:33:40.30ID:CiKSGvsgr
poetryとか使ったことないわ
なんでpipじゃだめなんだめんどいな
2023/09/28(木) 12:15:25.47ID:jIOC/OnU0
日本語性能で7Bに負けてるんじゃなあ
2023/09/28(木) 13:24:01.92ID:GPvpqbfU0
text-generation-webuiで生成していると途中で生成が止まってしまうのですが
全部生成するまでやめないようにすることはできるのでしょうか
2023/09/28(木) 14:13:47.78ID:GPvpqbfU0
max_new_tokensかな
957今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de4c-/HEw)
垢版 |
2023/09/28(木) 15:03:22.16ID:hk/dyE7L0
普通にコンティニューじゃダメなん？
958今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ de4c-/HEw)
垢版 |
2023/09/28(木) 15:11:29.88ID:hk/dyE7L0
そういや画像認識モデルに対応したローカルのツールってあったっけ？
ggfu化したとしてkoboldで読めるんかな？
2023/09/28(木) 16:04:48.38ID:vetktScL0
全部生成の「全部」の意味するところが分からん
2023/09/28(木) 18:01:36.61ID:GPvpqbfU0
max_new_tokensの値を変えて解決しました。
全ての文章を生成する前に止まってしまっていたんです。
2023/09/29(金) 01:19:40.11ID:/kOlLcxh0
>>952
時間ないから軽く使ってみた感じだけど
めっちゃ優秀
凄く自然にエロチャできた
4bitで読み込めば3060でもサクサク応答返ってくる
2023/09/29(金) 07:32:54.91ID:u91g4JNy0
>>961
4bitのやつどこにあんのん？
963今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff87-/HEw)
垢版 |
2023/09/29(金) 07:50:44.69ID:IpfjU34C0
>951
大葉メモリ64G で動く？
2023/09/29(金) 08:27:48.59ID:p9AawVUur
ヘロン試してみたいんだよなー
昨日はdeepspeed?とか言うのがwindowsで動かないらしくてインストールできなかった
今日は時間があったらwsl勉強してそこで動かせたら良いな
2023/09/29(金) 08:29:22.70ID:/kOlLcxh0
>>962
正直雰囲気で使ってるんであってるのか分からんけど
読み込み時にload-in-4bitつけただけ
付けなかったときはめっちゃ時間かかってOOMになってたのが つけたらサクサク返信してくるんで意味ありそうだけど
2023/09/29(金) 12:10:06.84ID:5paLR7fw0
TheBloke/Xwin-LM-13B-V0.1-GPTQなかなかいいけど

TheBloke/Xwin-LM-70B-V0.1-GPTQを動かすにはVRAMどれくらい必要？
うちの環境ではVRAM不足で起動できない
2023/09/29(金) 12:42:20.98ID:u91g4JNy0
>>965
ほえー、そんなオプションあるん知らなんだ。
試してみるわ、サンガツ。
2023/09/29(金) 12:54:46.95ID:uSRZXAOXM
>>966
Vram40GBあれば足りるんちゃうか
https://i.imgur.com/TL0115i.jpg
2023/09/29(金) 12:54:51.87ID:p1O+/qPvd
>>966
GGUF版でなくGPTQ版を使いたい理由は何かあるの？
2023/09/29(金) 13:03:05.50ID:Ejlp8QFw0
VRAM24GBな時点でだいぶ変態ではありませんか
2023/09/29(金) 13:13:33.65ID:5paLR7fw0
>>969
GGUF版は遅いので、VRAMをできるだけ使いたいです
2023/09/29(金) 13:15:04.60ID:5paLR7fw0
うちはVRAM３６GB
４０GBで７０B　GPTQ動くなら更に増強するかな
2023/09/29(金) 16:18:00.83ID:tK4nGA/b0
GGUFでもVRAMは使われてるように見えるけどなんか勘違いしてる？
974今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e2c-GA9g)
垢版 |
2023/09/29(金) 16:50:36.94ID:hOBiod4G0
クラウド民でGPTQしか動かせたことなくてGGUFよくわかってないワイ
2023/09/29(金) 17:28:09.37ID:5paLR7fw0
GGUFでVRAM使うにはローダーは何を使うんでしょうか
llama.cppだと起動できるけど、VRAMは使ってないかんじ
他のものは起動できない
2023/09/29(金) 17:56:12.31ID:BIeWzmWp0
>>975
大葉ならn-gpu-layersオプションを適切な値に設定するといいはず
977今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ecf-oRtz)
垢版 |
2023/09/29(金) 18:16:06.45ID:9ZhHVSWo0
大葉でPLaMo-13Bを試したけど、セリフ周りはよくできてるね。
ただ、いまいち指示が入りにくいのでまだ実用的じゃないかな
70B出る事に期待する。
2023/09/29(金) 18:43:15.26ID:5paLR7fw0
llama.cppのn-gpu-layersをいじったらVRAM動き出しました。
でも遅いCPU何かしてる
2023/09/29(金) 19:33:41.60ID:POm7rUny0
大葉でplamo-13bをロードしようとしても
AttributeError: ‘PlamoTokenizer’ object has no attribute ‘sp_model’
とでてロードできない。
load-in-4bitとtrust-remote-codeはチェック入れたけど、他にも何か必要なのか？
980今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ecf-oRtz)
垢版 |
2023/09/29(金) 19:49:47.40ID:9ZhHVSWo0
>>979
自分はauto-deviceにもチェック入れた
vram12G メモリ64G環境
2023/09/29(金) 20:05:49.61ID:J4jxI9jL0
paperspaceのGrowthプランはVRAM45GBのGPUが月39ドルで使えるみたい。ただし一回6時間上限。ストレージは50GB無料で、1GB超過ごとに月0.29ドル請求。
2023/09/29(金) 21:00:51.50ID:35q5KXtn0
>>979
自分はこれだけでうまく行った
https://i.imgur.com/02MmBn5.png
ついでというか、plamo-13bを試す前に大葉を最新版にしたのでもしかしたら最新版にすると解決するのかも
いつの間にかバッチを実行して環境を選択するだけで環境作ってくれるようになってた
楽ちん
983今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8ea2-j351)
垢版 |
2023/09/29(金) 21:01:59.94ID:/kOlLcxh0
>>979
自分はこれだけでうまく行った
https://i.imgur.com/02MmBn5.png
ついでというか、plamo-13bを試す前に大葉を最新版にしたのでもしかしたら最新版にすると解決するのかも
いつの間にかバッチを実行して環境を選択するだけで環境作ってくれるようになってた
楽ちん
2023/09/29(金) 21:09:28.67ID:35q5KXtn0
なんか書き込み失敗して重複した、すまん
2023/09/29(金) 21:16:15.67ID:2rN78Aa50
いいよ
でもその代わり飲み込んで僕の180Bモデル……
2023/09/29(金) 21:44:20.54ID:p9AawVUur
しまえよそのQLoRA
2023/09/29(金) 22:34:18.48ID:HyAufcMy0
>>979
同じだわ
auto-deviceにチェック入れてもだめ
988今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 8e27-44ew)
垢版 |
2023/09/29(金) 23:22:55.43ID:9ZhHVSWo0
ヘロン、７Bのデモがあったんで試したけど日本語でなかなか答えてくれないな。すぐ英語になる。
stable baseの方は画像なしだとエラーになるし、やっぱ普通のモデルと違うのか？
2023/09/30(土) 06:51:45.87ID:In1BjA9H0
そろそろ次スレを建てた方が良いと思うが
誰か建てられる？
2023/09/30(土) 07:26:29.99ID:Soch0i8T0
なんJLLM部 ★4
https://fate.5ch.net/test/read.cgi/liveuranus/1696026349/

ほい
2023/09/30(土) 07:51:47.04ID:KODF2mwh0
立て乙

いろいろ試してる人多そうなので聞かせてほしいけどキャラチャットに特化した場合7B 13B 30Bあたりを比較したとき会話の柔軟性や幅に体感でわかる変化をどの程度感じてる？

素性の良い7Bモデルをチューニングしまくればどうにかなったりするんだろうか
2023/09/30(土) 08:01:35.49ID:In1BjA9H0
>>990
ありがとう！
2023/09/30(土) 08:33:18.05ID:wbO7dX6P0
次スレ即死したかもしれん
なんとかテンプレ移植まではがんばる
他になんか書いておきたいことあったら頼む
2023/09/30(土) 08:33:44.27ID:wbO7dX6P0
なんJLLM部 ★4
https://fate.5ch.net/test/read.cgi/liveuranus/1696030365/
2023/09/30(土) 08:48:34.30ID:us06ERGU0
スレ立てサンガツ
20まで保守しないと落ちるで
2023/09/30(土) 08:54:39.23ID:wbO7dX6P0
保守協力サンガツ
2023/09/30(土) 13:20:48.17ID:vDCm5Fzi0
>>980 >>982

情報ありがとう。結局まだうまくいってないけど、

call "......\oobabooga_windows\installer_files\conda\condabin\conda.bat" activate "......\oobabooga_windows\installer_files\env"
python
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained(r"......\oobabooga_windows\text-generation-webui\models\pfnet_plamo-13b", trust_remote_code=True)

とやって、AutoTokenizer.from_pretrainedを呼ぶだけでも同じエラーが出たから、大葉側の問題では無いかも？
とりあえず、WindowsにインストールしているCUDAのバージョンとか見直してみる。
2023/09/30(土) 16:06:35.79ID:vDCm5Fzi0
>>997
自分でvenv環境作っていろいろ試してみたけど、
pip install transformers==4.33.3
ならエラーは出なくて
pip install git+https://github.com/huggingface/transformers.git@211f93aab95d1c683494e61c3cf8ff10e1f5d6b7
で大葉が使ってるtransformersバージョンにすると
　AttributeError: ‘PlamoTokenizer’ object has no attribute ‘sp_model
エラーが再現した。
transformersバージョンの問題？
2023/09/30(土) 19:26:56.63ID:us06ERGU0
うめるで
2023/09/30(土) 19:59:45.57ID:kGNTmHK/0
質問いいですか？
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 51日 7時間 3分 42秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。

▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.net/

▼ UPLIFTログインはこちら ▼
https://uplift.5ch.net/login
レス数が1000を超えています。これ以上書き込みはできません。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況