なんJLLM部 ★4
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな
自薦・他薦のモデルやツールは>>2以降
なんJLLM部 ★3
https://fate.5ch.net/test/read.cgi/liveuranus/1691639766/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured WebUI
前はスレのニキがりんな動かすツール公開してくれとったけど、消えてしまったから
日本語モデルを手軽に動かすには必須やろな
https://github.com/oobabooga/text-generation-webui りんなはそのままでは >>4 のツールで動かないのでここを参考に
修正が必要や ただし3.6b版の情報やしWebUI自体のコードも
変わっているから修正する行番号が違ってくる
https://note.com/npaka/n/n5d25ea4227df Pythonがわかる奴ならこれ参考にちゃんとインデント（スペース）修正してくれ model.pyはこんな感じの修正になるな
if any(s in model_name.lower() for s in ['gpt-4chan', 'gpt4chan']) and Path(f"{shared.args.model_dir}/gpt-j-6B/").exists():
tokenizer = AutoTokenizer.from_pretrained(Path(f"{shared.args.model_dir}/gpt-j-6B/"))
elif model_name.startswith("bilingual-gpt-neox-4b"):
path_to_model = Path(f"{shared.args.model_dir}/{model_name}/")
if path_to_model.exists():
tokenizer = AutoTokenizer.from_pretrained(path_to_model,trust_remote_code=shared.args.trust_remote_code, use_fast=False)
text_generation.pyは247行目あたりをこうかな
# Encode the input
add_special_tokens = not shared.model_name.startswith("bilingual-gpt-neox-4b-")
input_ids = encode(question, add_bos_token=state['add_bos_token'], truncation_length=get_max_prompt_length(state), add_special_tokens=add_special_tokens) 今日初めて落として動かしてたんだけど会話が進むにつれてだんだんこっちの言うこと無視して同じようなこと繰り返すようになる
これって解決策ある？いちいち新規チャット作り直すはめになら 774 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ a77b-erq7) 2023/09/15(金) 21:55:37.35 ID:AtNIacDL0
Redditで「22 個のコアを備えた古い Xeon E5-2696 v4 @ 2.2 GHz (オーバークロックなし) マシンは、12 個のコアを備えた私の AMD Ryzen 9 3900XT @ 4.2 GHz マシンより約 20% 高速です」とかを見たので、お値段を追求したAIマシン組むのもおもしろそうではある
( https://www.reddit.com/r/LocalLLaMA/comments/1441sw4/for_running_ggml_models_should_i_get_a_bunch_of/ )
最大メモリー帯域幅
Xeon E5-2699 v4｜76.8 GB/s
Core i9-13900K｜67.21GB/s
AMD Ryzen 9 3900XT｜ 51.2 GB/s
VRAM24GB持ちのTesla P40とかK80とかすごい安いけど、こいつらマザボにぶっ刺せば普通に推論に使えんのか?エンタープライズ製品まわりなんも知らんわ >>8
730 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2388-6jLp) sage 2023/09/13(水) 21:06:02.39 ID:tYlx/HDf0
>>726
koboldでキャラ等設定がが決まっているならだけど
うちだとstory mode（newstory）で、「w info(world info)」ボタンを押して、
出た画面の左側のキーにキャラクター名や地名を指定して、右側の方にその設定をかいて、
右端の画鋲マーク（Toggle constant key mode）を有効にして使っているなぁ
あとは、MemoryボタンのAuthor's noteに、必ずやってほしいこと（文体や時代背景）を書いて遊んでる。
正しい使い方では無いかもしれないけど、これで今のところはそれなりは動いている…のかな？
サンプルだと、英語にはなるけど、aetherroom.club のものを持ってきて最初は参考にしたよ 431 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 357b-6/dI) sage 2023/08/31(木) 06:29:50.96 ID:akAJDUqD0
https://huggingface.co/TheBloke/Kimiko-v2-13B-GGML
英語モデルで13BだけどKimikoってのがNSFW特化でファインチューンしてるらしいで
オリジナルの説明
https://huggingface.co/nRuaif/Kimiko-v2-13B Jannie-70Bちゅうのがあったけど思わずホモ専用モデルか？と思ったわ
すまん不謹慎やった 即死判定20なのか、いちおつ
難しいことはなんも分からんがローカルPCでエロチャしてるだけでも楽しい 335 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｵｯﾍﾟｹ Sred-SKKe) sage 2023/08/28(月) 11:54:25.28 ID:QeVg2WCMr
redditで貼られてたnsfwモデルランキングだけど、こっちでは既出かな？
Another LLM Roleplay Rankings
https://rentry.co/ALLMRR
Ayumi's LLM Role Play & ERP Ranking
https://rentry.org/ayumi_erp_rating 240 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯｯﾌﾟ Sdb3-h7Ri) sage 2023/08/25(金) 08:38:10.92 ID:SHOr4q5xd
Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki
244 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 2b28-hPrW) sage 2023/08/25(金) 14:04:44.78 ID:dRdVVD+u0
https://w.atwiki.jp/localmlhub/pages/21.html
有志がまとめてくれてるけど恐らく「期待すんな」が
正しいと思うで 更新の速い世界だからお勧めモデルも逐次変わっていくけど取りあえず前スレ後半で話題になってたモデルたち(たぶんまだある)
総合力高い系：
Xwin-LM-70B
upstage-Llama2-70B (=poeのSOLOR)
あとは古典だがwizardLMとかairoboros系もまだまだいける
エロ特化系：
spicyboros
Kimiko
Mythomax 前スレでGGUFでVRAM使えるのは分かったけど、CUDAがあまり使われず、CPUへの負担が多いのはそういうものですか
それとも設定が悪いのでしょうか
GGUFではまだ遅いと感じるので次にCPUと強化するかGPUを強化するか悩む >>24
CuBLASにしてGPU layersの数字を大きくしてVRAM容量の75%ぐらい使用するようにしてみたら ファインチューニングの良いお勉強資料あるやろか？
会話データセットたっぷり用意して自分好みの受け答えができるように調教したいやで ここ1、2ヶ月で>>2>>3のテンプレより高性能な日本語モデルが出てきてるので追加しとく
★Japanese StableLM Alpha 7B
Stable Diffusionで知られるStabilityAIが開発した日本語LLM
現時点でのオープンソースLLMの中では日本語性能は最高レベル。ベースモデルのbaseと指示→応答型のinstructionの二種類がある
★Weblab-10B
東大松尾研究室が開発した日本語・英語のLLM。こちらもベースモデルとinstructionの二種類がある
★PLaMo-13B
Preferred Networksが最近公開した日本語・英語対応のモデル。パラメータ数は最も多いが日本語の学習データは少なめ
★AIBunCho/japanese-novel-gpt-j-6b
小説生成AIサービスのAIBunchoが公開した小説特化のLLM。扱いやすいので初心者におすすめ 結局どれだけの質と量の学習をさせれるかって話だよな
日本語理解できても卑語全然ダメってのばっかり ちんぽのことをメンバーって言うモデルには逆に笑ったけどｗ 前スレで紹介してくれたmlewd20Bいい感じだな
女の子に呼びかける時ほとんどのモデルは"my sweetheart"を使うけど
こいつは"my little flower"て言っててへーってなった 最近LLM色々出てるしもしかして自分の環境でもなんか試せるかなと思って来てみた
自分の環境が3060の12GB+メモリ16GBとかなんだけど日本語のエロ小説書いたりとかはまだ厳しい感じ？ そのスペックなら13BってモデルならGPUでも動かせるけど英語ならともかく日本語は厳しいね
メモリを64GBまで増強すれば70BモデルをCPUで動かせるけど遅い 日本語は厳しいってのは>>1にもあるようにオバカってことなんかな？
とりあえず全体的にまだ厳しいってのはなんとなくわかった >>33
自分が同じ3060だけど
TheBloke_Xwin-LM-13B-V0.1-GPTQ
pfnet_plamo-13b
あたりだと多少のエロ文章（あんま長くないやつ）やエロチャットくらいならなんとかなるけど
ChatGPTを脱獄したときのような文章を期待するとまだまだダメと感じると思う
これでもalpaca-7bあたりと比較するとめっちゃ進化してると思うけど >>33
>>28に書いたAIBunCho/japanese-novel-gpt-j-6bってやつ使えば書けるよ
load-in-8bitつければ3060でも読み込める レスを参考にひとまずAIBunCho/japanese-novel-gpt-j-6bの方を入れてみて一応動くのを確認した
しばらくこれで試してみてその後>>37の方も見てみることにするよ Quantizedされた英語のモデルの13Bを3070で動かしてるけど会話途中でこっちのいうこと無視して同じようなことばっか言い始めるようになるんだよなあ
これ一回で送れるトークン数とかと関係してるのかな 前スレで教えてくれたpaperspaceの定額プラン、どのGPUが定額に含まれるのかはここがわかりやすかった
https://qiita.com/kunishou/items/dccb44848e5b572619bc
A100-80Gも混んでなければ使えるらしいけど、LLMに使えるGPUなのか不明
> paperspaceのGrowthプランはVRAM45GBのGPUが月39ドルで使えるみたい。ただし一回6時間上限。ストレージは50GB無料で、1GB超過ごとに月0.29ドル請求。 A100-80Gで70B動かしとるで
Xwinの70Bでも日本語はまだキツい なんと羨ましい環境だ
Xwin 70Bのどこらへんにキツさを感じてる？ というかxwinの真骨頂は英語の表現力だぞ
日本語なら他のモデルの方がいいのある すまん出先なんで帰ってから書き込むわ
色々ありすぎて検証データ見んと分からんw xwinはわりとmemberの表現使うから、妙な日本語になりそう XWin70Bを個人でまともな速度で使うならつよつよMacか>>41ってことになるやろねえ 70Bも4bit量子化モデルなら3090x2で10t/sくらいで動くぞ 現時点で日本語のエロに強いと言えるモデルは「無い」というのがワイの結論 GPTで……シコれ
のべりすとでもいいぞ
エロ目的ならそれ相応に準備してエロユーザーでモデル構築するしか満足する方法ないんじゃねーかな 0.3T/s程度だけど、片手間にやっているから、遅いけどまぁやれてる
むしろ、あまり早く出力されると、クソザコ英語力で脳がフローするｗ とりあえず日本語レビューしとく。
Airoboros-L2-70b-2.2 繰り返し少なく、安定度高い。定番。
openbuddy-llama2-70b-v10.1 一応日本語対応のタグはついてる。関西弁うまいｗ
stablebeluga2-70b 規制強めだが、あなどれん出来。
Spicyboros-70B-2.2 少し不安定だが、指示すると一番下品なセリフを吐いてくれる。完全無修正。
。
ただし、現状では実用段階にはまだ遠いと言っておくね。 とりあえず日本語レビューしとく。
Airoboros-L2-70b-2.2 繰り返し少なく、安定度高い。定番。
openbuddy-llama2-70b-v10.1 一応日本語対応のタグはついてる。関西弁うまいｗ
stablebeluga2-70b 規制強めだが、あなどれん出来。
Spicyboros-70B-2.2 少し不安定だが、指示すると一番下品なセリフを吐いてくれる。完全無修正。
。
ただし、現状では実用段階にはまだ遠いと言っておくね。 吐息混じりに話すキャラの学習難しいな。ノイズだらけになったわ……。 今日一日ずっとLLM触っててようやくスレでの話が少し理解できるようになってきた
これで俺も赤ちゃんから小学校に入学かな Colabで70BのGPTQモデル動かせるって聞いて予行演習として無料枠で13BのGPTQで試してみた
ローカルより多少重いけど普通に動かせるな 自然な喘ぎ声を生成する手法MATS (Moaning Agents Text-to-Speech) も開発していただきたい Turingの画像にプロンプト与えて答えてもらうやつ試してみたけど、ちゃんとした言葉すら返してくれない
なんか実装をミスってるだろうがソース辿ってドキュメント見ても意味不明
ギブアップだわ
これで遊べたら楽しそうなのになぁ GITだとだめだったけど何故かBLIPでうまくいった
間違ったり見当違いな事も言うけどいろんなことに使えそうだ Kobold本体がアップデートしてた
コンテキストサイズが32kまで拡大したのが個人的に嬉しい(ggufモデルに限るが) 大規模言語モデルで「無限の入力」を受け付けることを可能にする手法「StreamingLLM」が開発される - GIGAZINE
https://gigazine.net/news/20231004-streaming-llm/ 数スレ前にモデルが消えたことが話題になってたdeepnightは結局upstage/Llama-2-70b-instruct-v2を丸コピしてラベルを貼り替えたものだったことがバレて作者が削除したということらしい 5chへの攻撃がいよいよ本格化し始めたみたいだけど
避難所・情報集積はWikiで頑張ることになるんかな ぶろーくニキんとこに頼んで日本語部屋作ってもらうとか？ >>66
大幅って程でもない
gradientを使ってるユーザーにとっての要点は2つ
①growthの場合で月39ドルだったのが1時間0.058ドルになるから24時間28日で月に672時間使うも同じ39ドルになる(proの場合も同じ。要は月に672時間以上起動してるユーザーにとっては値上げだしそれに届かなければ逆に値下げ)
②永続ストレージの利用料金が締め日の時だけ計算されてたのが毎日計算されるようになる。普段オーバーしまくって月末だけ消すような悪い子ムーブが出来なくなる。 XWINは一度使ってみたい
手軽さ＋無料ってのならpoeのSolarが抜けているけど necとかりんなとかしょぼいスケールで各社やるんじゃなくてまとまってでかいのやれよ😅 しょーがねーだろガラパゴス諸島なんだから
数学や自然科学すら家や流派で囲って秘術にして来た民族だぞ キャンディ
もといイライザの70bはまだかー
次ニキに依頼するのはこれと決めている kobold最新の1452にしたらログにruntime erroe吐くようになったの自分だけ？
生成は普通に出来てるようだけど 数百億学習させようがエロを学習させないとエロくならない
ま、Chat GPTはえろの学習もしてるくせに倫理フィルターかけてるわけだが 確か海外の4chを学習させた言語モデルは凄まじいヘイトマシンになったと聞いた vilm/vulture-40b
これって量子化してもkoboldとかじゃ動かないんだっけ？
falcon40bみたいに ggfuなら再生できそうなんで
とりあえずニキに依頼した
falcon系で日本語対応は初かな？ RTX3060ｘ４なんだけど、低スペックVRAMでやるならGGUFよりGPTQの方が早くていいわ 外付けGPUboxのグラボで動かせないかと思ったけどthunderboltの転送速度がボトルネックになるやろか
PCIe×16に比べたらカスみたいやもんやし・・・ >>88
3080x2のほうがさすがにいい気がするがどうなんやろ
3080の中古なら同価格帯やろし新品でもそこまでは
変わらんやろ？ oobaでAWQ対応したけどGPTQとどの程度差があるのか分からんな
思ったよりVRAMきつかったからFused attention切ったけど >>89
thunderbolt3接続の3060は、PCIe接続と生成速度ほぼ同じだった。 thunderbolt3ってUSB type-Cで接続できるんでしたっけ
そっちのBOXの方がいいかな PCにthunderbolt3コネクタというものがあって、それがUSBCの形をしてるだけで別物って考えた方がいい
そして殆どのPCにthunderbolt3コネクタは付いてない いつの間にやらA100が180万円から320万円に値上がりしてる
流石にもう手が届かないわ 180マソが手が届くかもっていう時点でスゲーナスゴイデス 円安にコスト高とか理由はあるんだけど結局は独占市場でぼったくってるのもあるからな
大抵の場合はGPGPUで本腰入れてこなかったAMDが悪いんだけど
何年遅れやねん 世界中から注文殺到で納期１年待ちとかまあどんだけでもぼったくるよね
その分研究開発費に反映されるんだし悪いことではない もし次のRADEONが64GBぐらいVRAM積んでてgefoが24GBのままだったらどうする ひさびさ来たけど最近はなんのllm使ってるの？
こないだopen interpreter入れたけどやっぱ13Bとかじゃあコード書くのに全然役に立たず断念した… 英語チャット用途だけどMistral-7B-OpenOrcaが評判ええから試してみたらかなり出来る子で驚いたわ
7Bと思って舐めてたけど13Bとの比較なら負けとらんわ AMDはCPU独占してたIntelを
鯖の方ではボコボコにしてるだけでも大したもんなんや……
企業規模考えれば
CPUのIntel、GPUのNVIDIAに
AMD一社で対抗しろとか酷な話やで…… rtx3060でXwin-LM13b(4bit)試したら専用メモリ張り付いたけど大丈夫かな
他のお行儀のいいAIと違って余計な規制が無いからおもろいな。聞いてないけど爆弾の作り方とかもフツーに答えるのか。
中国だからもしかしてと思って天安門事件について聞いてみたけど隠蔽する様子もなかったわ。
このレベルのものがミドル以下のPCでローカルで動くってだけで感動してる。ただ小説とか書かせるのはまだ荷が重いな
このまま無規制で突っ走ってくれー
ところで70bはどれくらいのスペックあれば動くんや 希望としてはAIのべりすと（的なもの）をローカルで動かせるようになって欲しいんやが
創作特化のモデルを作ってる所ないんかなあ rtx3060x4でGPTQであればVRAMだけで70b動く
無印でどれくらい必要かはわからない6枚くらいでいけそうな気もする ローカルllmでもネットから情報引っ張って答えることできんのかな？ rtx3060(12gb)からrtx4060ti(16gb)に替えたら
現状で何か出来ること増えるんかな
欲しいけどまだ8万くらいする 絵なら「あとほんのちょっとVRAMあれば……！」の状況もあるけどねえ
文章のほうは全く足りていないからRAMで、ってケースが多いから memoryで70bをえっちらおっちら動かして応答を待っていると、
昔チェスの手番を郵便でやり取りしてた聞いた話をちょっと思い出すｗ コスパで言ったら3060を増やしていくのが一番良くね？ >>93
ありがとう、thunderbolt4カード差してGPUboxにトライしてみる 一つ前の生成レスポンスが次の生成で全然引き継がれないのだけど、パラメーターの何をいじればいいの？ 拡張カード買って、gpubox買って、中身のグラボ買ってって
普通にPC買ったほうが安上がりでは エロファインチューニングデータの属性をみんなで考えませんか
エロデータの書式を nvidiaがいきなりCUDAコア減のVRAM爆増廉価GPU作る可能性が微レ存？ ま、ゲーム用の生産計画を変更してAI用の生産を増やすって話だしな ファインチューニング用の小説データとかはjsonの中に入れればいいのかな ファインチューニング新規参入については「ワイは機械学習の基礎知識も
transformerとかのライブラリについてもちゃんと理解しとるしLLM全般の
知識豊富、画像系だったらLoRA作ったこともあるで～」みたいな奴じゃないと
無謀な気がする
このスレでも成功した奴をほとんど見ない そんなに難しいの？本文に属性パラメーターごてごて付けて終わりだと思ってた 単純に追加学習はできるけどパラメータ見つけるの無理ゲー
学習データの具合にもかなり左右されるし なんにせよ実務経験が要る
麻酔は素人だって投薬はできるけど、何が必要でどのくらいあれば効くのかは経験が物を言うわけで
やれるっていえばそりゃだれでもやれる
そしてプロでもまれによく事故る ChatGPTにファインチューニングのデータの作り方教えてって聞いたら
{
"language": "ja",
"title": "素晴らしい冒険の物語",
"author": "田中太郎",
"genre": "冒険",
"published_year": 2020,
"summary": "主人公は古代遺跡を探検する冒険家です。彼は危険な罠をかわしながら、失われた宝物を求めて奇跡的な旅を続けます。",
"genre": "ファンタジー",
こんな感じのjsonでやれって教えてくれるけど、嘘なのかな どんなに長い文章でも破綻しない生成AI「StreamingLLM」、キャラクターの性格や話し方を模倣するAIなど重要論文5本を解説
https://www.techno-edge.net/article/2023/10/09/2051.html 会話を鍛えたいなら会話を食わせるべき
拾ったデータだと多少端折ってこんな感じでis_humanはtrueが人間でfalseがボット
{"categories": "", "bot_id": "", "bot_name": "", "dialogues": [{"message": "", "is_human": true},{"message": "", "is_human": false}, ]}
↓は適当に抜き出したサンプルデータ
{"message": "*i pat my lap*", "is_human": true}, {"message": "*She then sit down on his lap.*\n\nWhat wish would you want me to grant you? *She smirk.*", "is_human": false}
感情のタグとか与えてもいいと思う
俺もやったことはないけど海外でエロ人格鍛えてる人たちの構造なのでいけるんじゃないかな
特定の領域に特化学習させたら1.3BのパラメータでGPT3.5並のスコア出たという論文を読んだことがあるのでローカルでサクサク動く国産モデルを生み出してくれ Colabとかpaperspaceとかで○○を借りてこういうデータをこのスクリプトにぶちこめばこうなる！
あとはお前らが独自データどんどん増やせ！
みたいなとこまで解説が出てきてくれると嬉しいんやけどな
つーか1つ2つはあった気もしたけど、それを真似ても上手くいかんかったような記憶もある ま、ChatGPTの言う通りに昔のエロゲーなんかのシナリオをJSONで作ってみて食わせてみるよ >主人公は古代遺跡を探検する冒険家です
昔のエロゲと言えばDE・JAが真っ先に浮かんだわ
蛭田節を学習させたら面白そう 写真のやつでも運転とか大惨事にレスしてみろぃ
ジジイイライラで草
レスターようやく定位置に向かうんか 品行方正キャラだもんね
よしながふみの大奥どれも途中入社してて国策通りだな ジュニア女子になる
それ以外なら少し考えないと入れ！」とでも？ ガチでやりたいならまずポジポジ病治すのクソ面白いことは党ぐるみって言われるやろw
定期的に捉えられないじゃん
https://i.imgur.com/6Ga3B1M.jpg >>129
それは多分ファインチューンじゃなくて、チャットの等の指示だね。
チャットでaiにロールプレイさせたりするjsonがそんな形式みたい >>122
あれはアカンで
前スレ
焼くならマグカップも >>268
コロナにかかった情報は抜けるよ。
あれの5年以上陽性でるとか意味分からん値段で売ってるような
先発は大体3点で決まりやわ
どこもCBに困っていないという 何にも出てない」なんて
むしろいない方が安心だろ
https://a1ug.951h/oIxvC >>264
> 一命とりとめるかもしれんな
一応この件メンバー会議みたいのを知りたい
あー、これが本当に脂肪燃焼ポイントなんだろうな 本国ペンの反応があることを言うな
あと食欲減退効果は絶大なの？ 土曜の昼間にやる気出すからな
イロモノばっかでミッシー・エリオットやブライジみたいな何処のクラブ通いとか言われてるのきつ さっきのインライアーカイブ。
インスタライブできるならやっていた。
糖質制限続いてるが
そろそろ出始めてる気がする
https://i.imgur.com/c3E2L9i.gif >>419
運転席の下あたりだけだったのはそこそこスケート見るように
ネイの為のネガキャン工作っぽいな、めちゃくちゃ名曲だよ まあ色々織り込んじゃったので
使用しなきゃいけないてのがエグい🤢 暇なので
システムエンジニア募集ってのがソシャゲ部門やからな
体が切れて外へとんでいったかもしれん！！
侮辱もしてないの ヒルナンデス髙地きた
TikTokも収益化されるまで待ってるんだろうけど >>632
おそらく
判断のたらい回しなってるだけだからな おはぎ
オールグリーン！シンクロ率2パーセント
> 国内で売る大半の国民は苦しんでる人多そうでは
けいおんから10年後もアイスノンしとけば火傷はほぼしない YouTuberみたいにプロの専門家を出て、帰りは無言の意思表示なんか
つか
車本体が150万くらい余裕で貯金できるだろ 3時の戦い方があるぞ
約7万くらい？と思う
@鍵オタ
ゆうたろうがどこから辿るのか これから食っても無駄よ
メディアが野党の工作むちゃくちゃ多い
部屋にしてるパターンがあるってことだろ。 ネトウヨは若者が原発推進になってた
半年くらいやるの草生える
清々しい
↑ 価値観
両親揃っていて。
ディソナンス本当に
ネタ無いし よほど評判悪かったから
なこと検証したこと後悔してるな って跳ぶ前のオリンピック銀メダリストとは呼べない
人の将軍編があるってことだろ >>8
(￣ー￣)ｂｸﾞｯ!
そう思うなら黙って本社に確認の電話は電話さえしてないって >>186
6824
超割安とのギャップ
ネトウヨッ！ネトウヨッ！ネトウヨッ！ネトウヨッッ！！
つって
ん？ あっ
これ今回は俳優で固めそう
そらハンゲの麻雀をまだやってる分にはクレカ不正利用について チャリティパーソナリティーって歴代アイドルと思えない不運だからな コーラのアクキーコンビニ1軒につき24個説出てるからな
興味ないのか？
(半導体市場に混乱はデメリットだわ。
気持ち悪いんだよなぁ >>270
ちらっと見は違和感あったのか
しかし
まだ信じないジェイクじゃないかと
毎朝朝ドラ実況あるの
パン
麺 stabilityai/japanese-stablelm-instruct-alpha-7b-v2
V2がでたが、大葉で動かん
だれか試して スクリプト対策でなんか仕様変わった？
すげー遅いけど 選ばれたのは、ELYZAでした
ほんとにいいのかELYZAで Llama2ベースで日本語追加学習モデルに公費投入って
効率的かもしれないけど面白くはないよな kobold始めてみようと思ってgit cloneして起動したんやが、これ何をどうして使うんや？
readmeわけわからなすぎる
ロードとかインポートしろって何をインポートするんやこれ
あとkoboldcppってなに？ それkoboldaiや
wiki見ながらkoboldcpp落とすんや >>198
13 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5328-c/5M) 2023/08/10(木) 12:58:38.56 ID:I3/pZMHC0
Kobold.cppで小説っぽいのを作る
https://w.atwiki.jp/localmlhub/pages/19.html
Kobold.cppでAIとチャットしてみる
https://w.atwiki.jp/localmlhub/pages/20.html
りんながあまりにバカなのと、kobold.cppは
ファイル1つ落としてモデルダウンロードしてくれば
すぐつかえる利点があるので最近はこれで遊ぶのも
スレの主流や 基本英語モデルになるけどな 上のwikiは自分も初めて触る時にお世話になった
ただ動きの速い界隈だから今となっては古い情報も多いので参考程度にな
例えば小説の出力例は、wikiでは出力ままだと色々ダメなのでどんどん書き直してるけど最近のモデルはずっと賢くなっとる ありがとう、まだよくわからんとこあるから教えて欲しい
1.kobold.cppはkoboldaiをcppで書き直してggmlを使えるようにしたもので、中身は全くおなじっていう認識で正しいんか？
2.koboldaiでロードしたりインポートしたりできるファイルは、どっかまとまって上がってるところがあるんか？
さんきゅーやでー Solarとか特に日本語モデルって訳じゃないのにそれなりの日本語で返してくれるしな
日本語みっちりで70bでやったらかなり自然にやってくれそうだけど……まあ自分の環境じゃ逆立ちしても動かせないけど 今のところ日本語出力でXwin-LMを超えるのは無いんかな エロ単語を学習させるための辞書がほしいんだけど
どっかにいいのないですか
シンプルにCSVとかになってるといいんだけど >>205
TheBloke/chronos007-70B-GGUF
これ試してみ。
日本語はxwinだろうがどれもどんぐりの背比べだけど、これは破綻が少なくてなかなかいい。 あと、どのモデルでも同じだけど、ガチャは必要。
いまいちと思ったら、abort>new sessionで同じお題で再度試すんだ。
出来が全然違ってくる 日本語が駄目なら中国語からのアプローチを試してみるのもありなのかな
英語よりは上手い文つくれるんじゃないだろうか 学習したデータは日本語よりも多いだろう
たまに暴発して中国語になったりすることもあるけれど
ヒンディー語からのアプローチも効いたりするんじゃないか 中国語で出力させるってこと？
じゃなくて日本語で出力させたいのなら、結局マルチリンガルモデルで日本語をどれだけ学習しているか次第だと思うが
ベースが英語か中国語かヒンディー語かで日本語のクオリティが変わるものなのか？ githubでみんなでエロ辞書作ってみる？
学習用だから単語と説明のみのCSVかな 日本語を中国語に翻訳してLLMに入れて、出力された中国語を日本語に翻訳するってことでしょ
中国語メインで学習してるモデルだとかなり精度と内容がまともになる
もちろん英語メインで学習されてたら英語でやる
問題は翻訳だけどdeeplでいいんじゃないかな
本当は翻訳用のLLMを挟みたいけどどれが良いのかまだよく分からん 英語でならかなり表現力高いモデルも多いしわざわざ中国語使う意味がよくわからない >>215
話題のXwin-LMが中国産だからじゃね >>215
エロ表現に対する奥行きとか湿度みたいなのが
表意文字の方が情報量多いからとか？(適当 日本語と同じくらいエロ表現が豊富な言語を選んで、
その言語と日本語との間の翻訳がとても賢くできれば、>>214の言うやり方で英語を介するよりも高品質の日本語出力が得られるかも知れないけど
でも現状は最後の日本語への翻訳でガクッと品質が低下するのよね
だから最良なのは翻訳せずネイティブで読むことなのだ 外国産には限界あるだろうからファインチューニングのやり方を研究する方向でよろしく ファインチューン自体ならQLoRAすればええんじゃない？と思うけど違うか
PeftにQLoRA入ってるし
🤗にデータセットあげてやってみたことあるで。できたLoRAはOobaで読めるし。使ったデータセット微妙すぎて何が変わったかわからんかったけど 中国語モデル使う理由としては出力される物語の世界観が日本に近いと思ったから
英語モデルだと小説作るよう指示してもケビンやらトムが海外のノリで恋愛してるだけやん >>225
主人公の設定を日本人にすればいいんじゃ？ pythonすごいなmecabとかwikipediaのライブラリあるのね
なんかエロ辞書を作るの全部自動で出来そう 外国語の翻訳で日本語は難しいって男女の言葉遣いの違い、喘ぎ方の違いとか翻訳ではできないでしょ ズリネタを自給自足して思うさまシコりたいからに決まってるだろ！！！ LLaVA-1.5ってどうなんだ？
web uiあるけど入れるの面倒くさそう >>225
koboldのmemoryとかinfoに日本要素設定すれば日本として扱ってくれるよ
モブキャラの名前も勝手に日本人名になる
このごろMLewd ReMM Chat 20Bばっかり使ってるわ
新しいエロいのあったら教えてクレ >>216のコードはスクレイピング対策されて動かないや、JS対応させないと Xwin V0.2さらに出来るようだな。
70Bはよ modelにもよるけど、舞台は何々時代の日本です、とするとちゃんと描写してくれる…こともある
ただ英語で、futonに寝て、gohanとmiso-soup頂くのはあってるんだけど変な感じがする >>226
英語言語モデル使うと日本人の名前にしても海外風の物語で進んでいかないか？
例えば田中が主人公の恋愛ストーリー書いてもらうとするやん、田中がホームパーティー開き始めるんだが >>238
美咲は12歳の日本人の美少女だ。
って、書いといたら、futon とか tatami とかの描写が勝手に出てきたぞｗ >>237
画像検索するとわかるけど、英語のfutonはどこをどう間違ったのか「折りたたみ式ソファベッド」のことになってるからね・・・ Xwin V0.2は圧縮版？じゃないと自分のPCじゃたぶん無理や
というかそっちは本家が配布してるわけじゃないのね 【Zephyr 7b Alpha】ついにLlama 2を超えるLLM現る！HuggingFaceの最強AI
https://weel.co.jp/media/zephyr-7b-alpha >>243
日本語なら70Bやイライザの方が賢いな Llama 2をファインチューニングしたモデルとそうではないモデル分けてくんね エロじゃなければ別にGPT4で問題ないからローカルにこだわる人間はほぼほぼエロ目当てなのだ 大葉でAutoAWQ Loaderをなかなか動かせなかったので、動かした方法をメモ。
どうも最新版だとダメらしいので過去のリビジョンを取ってくる。set-upstream-toやらないとstart_windows.batに怒られた。
git clone https://github.com/oobabooga/text-generation-webui text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
cd text-generation-webui_06fff3b2e918f37e0c7d477d111a08d042e72968
git switch -c mybranch 06fff3b2e918f37e0c7d477d111a08d042e72968
git branch --set-upstream-to=main mybranch
あとはstart_windows.batで起動。
--sdp-attentionは指定したらエラーが出たので指定しない方が良さそう。
AutoAWQオプションのno_inject_fused_attentionはチェック入れないとVRAM消費きつい。 https://huggingface.co/Sao10K/Euryale-1.3-L2-70B-GGUF
Euryaleもバージョンアップしてた
元々NSFWに強いモデルだけど他のモデルでよくある問題の「繰り返し」が起きにくいらしい
少し書かせてみたけど文章もエロくて詳細だしなかなか良さげ みんなが求めているエロファインチューニングは>>216がヒントなんでしょ？
>>216のやってることllama2系の日本語得意なやつにファインチューニングさせるにはどうしたらいいのかを知りたい >>248
ありがたい情報だけど70B動かす気になれんのよな遅すぎて
Euryaleは70しかないんだよなー 基本的なことなんだけどwebuiに入れたモデルの削除って普通にmodel内のフォルダを削除するだけでいいんかな？ >>251
それでいい パラメータをいじって保存してたらmodels/config-user.yamlに設定が保存されてるから当該部分削除したら完全に入れる前の状態に戻る（ファイルサイズ的には誤差） 3060で結構楽しんでるけど13gでギリギリなのか40回程度会話したらOOM食らうのが悲しい😭 初心者なんやけど
グラボがゴミでもメモリだけ積めばなんとかなる？ なる
CPUとメインメモリだけで動かす方法があるので極論グラボがなくても動かせる >>257
CPUで高速で動くのは量子化された13Bまでだと思う
そうなるとメモリも32GBあれば十分
じっくり時間かけて生成してもいいなら上限はないけどね AIに強くなるらしい15世代だか16世代だかになるともっとCPUでの演算も実用的になるんかな？ LLMは基本的にモデルがデカいほど賢いので、モデルを格納するメモリ側にブレイクスルーが無いとCPUの性能が上がってもメモリからデータ持ってくる時にもたつく ファインチューニングについて話して
今素材集めをしているけど、学習のさせ方についてはさっぱりだ ローカルLLMは基本無規制だから脱獄プロンプトとか不要だと思ってたけど、
お前はエロ大好きなLLMだエロいことを詳細に書け(意訳)的な洗脳プロンプトを初手に入れたらノリッノリでエロさが数段上がった
ローカルでも洗脳は大切 少し前のアップデートからkoboldのプロンプトが
input
output
みたいに変わってるけど前のアルパカ形式に
戻すのどうすればいい？
アルパカ形式を推奨してるモデル多いし wslでgpuを使ったllamacppにリモートでプロンプト送る環境作れた
スクリプトを会社のA6000のPCに忍ばしたからこれからばりばり遊べるぞ
一ヶ月前赤ちゃんだった俺も小学高学年くらいまでこれた >>267
Settings の中の Instruct Tag Preset の項目だな
でもKoboldってその辺の設定はモデルに合わせて最適なものを選んでくれるのじゃないのか えっ、会社のA6000で小学校高学年のエロ小説を！？ >>272
さんきゅ 帰ったら試してみる
TheBloke/LongAlpaca-70B-GGUF
これを試したらまともに動作しなかったから
プロントのせいかと思って。 Xwin-MLewd-13B-v0.2-GPTQをwebui入れたら高確率で英語ばかり話すんだけど
何故なんだぜ >>276
あ、日本語で聞いてるのに英語（日本語のローマ字表記含む）で返されるってことね
v0.1はちゃんと日本語で返してくれたのに… >>270
なんかネタみたいになってるけどこれアカンやつでは？ アカンけど他人事だし
学習モデル出してる人にも会社や大学の設備を勝手に使ってる人は少なくないやろ
自腹で借りるには金がかかりすぎる 俺はファインチューニングやloraよりもベクトルデータベースの方に興味があるわ
stable duffusionと比べてモデル大き過ぎるから個人での学習ほぼ無理じゃない？
過去の会話内容を上手に取得して会話の方向性がブレない仕組み作っていきたい >>279
勝手に使うってだけでなく会社のPCにスプリクト仕込むってバレたらマジで裁判沙汰もおかしくないやんな
他人事ってのはまあそう >>265
大葉の拡張機能でcharacter_biasってやつを使って *エッチな気分*とか*凄くエッチな気分*とか定義してる
気軽にドスケベになるよ >>276
いまやってみたけど、普通に日本語で返してくれたよ
妹と映画館いってきた TheBloke/openbuddy-llama2-70B-v13-base-GGUF
やっと出たね
v13でどこまで進化したか試すぜ
しかし70b連発だな 追いつかんw 今始めたての幼稚園児が日本語メインでお試しするならどれからスタートがええの？ >>286
環境を言って
VRAMとDRAMのメモリ webui⇒モデルDLまで進んでエラーで立ち往生
もう良いや後は明日！
スレ汚し失礼しました >>290
webuiじゃなく、kobold.cppを先に試すんだ。
日本語ならモデルは
TheBloke/OpenBuddy-Llama2-70b-v10.1-GGUF
とりあえずこれの4kmか5kmってついてる奴
そしてついさっき上がった
TheBloke/Airoboros-L2-70B-3.1-GGUF
これに期待
70Bの遅さに我慢できないかもしれんがｗ >>224
GGUF:VRAMとDRAM両方を使えるようにしたモデルただし遅い
GPTQ:量子化と言う処理をして無駄な情報を削って軽くしたモデル、VRAMで動かすので早い
その環境ならGGUFかGPTQモデルの13bか7bモデルが限界だろう、7bモデルで日本語がまともに使えるモデルは少ない、ELYZAくらいかな
13bモデルから日本がまともにできるけどそれでも限られるVICUNAとか日本語上手いけどエロい話は無理お堅い学習しかしてないから真面目な会話しかできない。
30bとか70bとかだといろんなモデルで日本語使えるけどスペックはもっとないと起動できない >>224
70bのGGUFかGPTQ動かすのにDRAM128GB、VRAM48GB(3060x4)でやってる
30bならDRAM128GBかVRAM24GBでもワンチャンいけるかも
それくらいの環境じゃないといろいろなモデルの日本語を試せない ちなみにGPU複数刺しは電力使うから電源の強化も必要1000w以上の電源つけないと
あと普通のPCケースだとGPU２枚くらいでスペース的に限界だからマイニング用の台にライザーカードっての使ってGPU増やしている、あとはPCIeのスロットがいっぱいついたマザーボードにした方がGPUはいっぱいつけれる。 GGUFがレイヤー数指定してGPUにオフロードできるのは知ってるけどGPTQも同じような事できるの？ ライザーで4枚刺しとか行けるんだな
RTX3000番台はノイズに弱くて直挿し以外困難かと思ってた 3060を4枚挿しは無理矢理感を力技で押さえつける男の子ドリームで素敵ね
排熱処理がしんどそうだけど ライザーでビデオカード複数刺したとしてvramって合計になるものなんですか？ 70Bが動く環境は羨ましい
poeとかでSolar-0-70bを動かすとすげえなあと思う >>299
LLMに関してはローダーにもよるけどGPUごとにモデルを分割してロードしてそれぞれで処理することができる
うちも4090と3090の2枚挿しで70BのGPTQ動かしてるけど電気代とPC排熱が心配 textgeneration webuiで日本語出力させてるんだけど、回答が短文で終わっちゃうんだけど何かパラメーターとかあるのかな？
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか… textgeneration webuiで日本語出力させてるんだけど、回答が短文で終わっちゃうんだけど何かパラメーターとかあるのかな？
chatgptみたいに長々回答させたいんだけども。
generate連打すればそれっぽくはなる。それかキャラクターを頑張って作成するとかか… OpenBuddy/OpenBuddy-llama2-70b-v13.1
きた！
こいつが本命だ >>238
トークンの数増やして
でも増やし過ぎるとメモリ食って落ちるけど なお画像生成の方のStable DiffusionはマルチＧＰＵに対応していない
ま、そのうち対応するだろうけど、それを聞いて絶望した。 なお画像生成の方のStable DiffusionはマルチＧＰＵに対応していない
ま、そのうち対応するだろうけど、それを聞いて絶望した。 >>304
日本語出力に定評のあるOpenBuddyのバージョンアップやな
触り心地どう？ baseモデルはダメだった
v13.1は消えてもうた >>312
OpenBuddyEA ？
こっちにあったんかい！
なんで分けたんだろ >>312
OpenBuddyEA ？
こっちにあったんかい！
なんで分けたんだろ TensorRT-LLM for Windows
推論速度上がるの期待しとるで Koboldのバージョンアップで対応してくれるのに期待 「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明 目指すのは“GPT-3級の日本語LLM”
https://www.itmedia.co.jp/news/spv/2310/18/news121.html
175Bかい 最近ファインチューニングに向けて準備してるけど、ぶっちゃけウィキペディア全部学習させればかなり賢くなるんじゃないのか wikipediaは間違いとデマの巣窟なので
誤ったことをさも事実っぽく返してくる厄介なチューニングになってしまう ウィキペディア学習はもうやってる
むしろ日本語学習に使えるデータが足りんって聞いたな dlsiteのライブラリに数多に存在する同人エロ音声の台本群を GPT3まではオープンで175Bであってる
ChatGPTとしてサービスしてる3.5から情報非公開 情報共有でいにしえの宝具紹介しておく
ノベルゲー素材抽出ツール
GARbro
https://github.com/morkt/GARbro
このツールだけでかなりのエロゲー素材を抽出することができる
ノベルゲートレースツール
Textractor
https://github.com/Artikash/Textractor
抽出ができないエロゲーでもプレイ中に表示されたテキストをトレースできる ゲームはビジュアルが表示されていること前提でテキストが書かれてるので、
テキストだけの質という意味ではあまりお薦めしない テキスト量というよりかはより効果的なデータセットの組み方が整備され画一化され周知されるかだと思うんすよね
やり方がよくわからん上に統一的でないからまごまごしとるわけで gpt4が推定で1兆だろ？
なんで後発なのにgpt3とおんなじ規模でやるんだよ意味ねええええ 自然言語モデルを触った奴はだいたいが抱くであろう『もっといい方法があるんじゃないか』がネックになってると思うんだよな
エロにしか興味ない奴と、他の用途にも使いたい奴の歩調も多分合わない
やればやるほど底しれない手応えがあってテンプレを作り難いんだ 日本語特化てドメスティックな用途しかないじゃんエロ小説とか
そんなンお金をかけてやることないよ
ビジネス的には英日両方使えないと無価値 最初に成功したOpenAIが理由は分からんがパラメータ数を増やしたら突然賢くなったって所にあるから
そこを論理的に説明するか否定しない限りはパラメータ数を増やすことは正解であり力こそ正義なのだ 技術者や学者は細かい理屈を説明出来るって思われがちだけど実際は技術者や学者ほどブラックボックスを捨象してブラックボックスのままにすることに躊躇がないよね エロ単語を学習させる為に辞書を作ることにした。
入力した単語をウィキペディアで意味を調べてSQLiteのデータベースに登録していくスクリプト
https://github.com/10228586-kkvc/worddb
なおwords.db(SQLiteデータベース)の編集にはDB Browser for SQLite等を使用してください。
すでにwords.dbには少し単語を登録してある とりあえずこれだけの単語を登録してあるので、追加で単語リストがほしいな
おちんちん, オチンチン, ちんちん, ちんぽ, チンポ, チンコ, ちんこ, オチンコ, オチンポ, 肉棒, 男根, おちんぽ, ペニス, キンタマ, ヤリチン, おまんこ, オマンコ, マンコ, まんこ, レイプ, クリトリス, インポ, ウーマナイザー, 飛びっ子, 援交, パパ活, カルピス, チンカス, うんち, ウンチ, セックス, 性行為,
風俗, 売春婦, 娼婦, 遊女, 女郎, 街娼, 立ちんぼ, 風俗嬢, フードル, 男娼, セックスフレンド, セフレ, AV女優, AV男優, 汁男優, 淫乱, 尻軽女, ヤリマン, 肉便器, 筆下ろし, 姫始め, ふたなり, パイパン, 巨根, 巨乳, 爆乳, 貧乳, まな板, マラ, 陰茎, クリ, 陰核, 竿, 包茎, 金玉,
おいなりさん, アナル, アヌス, ケツの穴, 肛門, お尻, ケツ, おっぱい, 乳首, 寸止め, 我慢汁, 尿道球腺液, 早漏, 遅漏, 愛液, 膣分泌液, 潮吹き, 精子, カウパー, おなら, ペッティング, 手淫, 手コキ, 手マン, オナニー, 自慰, マスターベーション, センズリ, シコシコ, マスかき, アナニー,
チクニー, 乳首オナニー, オーラルセックス, フェラチオ, フェラ, クンニリングス, クンニ, パイズリ, 足コキ, 顔面騎乗, 素股, 本番, エクスタシー, 初体験, オナ禁, くぱぁ, フェティシズム, フェチ, グループセックス, 3P, スワッピング, 着衣セックス, ハメ撮り, マン拓, イラマチオ, ディープスロート, ぶっかけ, ごっくん, 精飲,
アナルセックス, 飲尿, スカトロ, エログロ, フィストファック, スカルファック, 一人尺八, 種付け, 性交, 体位, 四十八手, 正常位, 後背位, 騎乗位, 座位, 側位, 立位, 駅弁体位, 屈曲位, まんぐり返し, シックスナイン, 69, だいしゅきホールド, 貝合わせ, 兜合わせ, 射精, 中出し, 膣内射精, 膣外射精, 顔面射精, 顔射, 口内射精, 口内発射, 肛内射精, 性的嗜好, プレイ, デブ専, 肥満嗜好, B専,
ブス好き, フケ専, マザーコンプレックス, マザコン, ロリータコンプレックス, ロリコン, ペドフィリア, ペド, ショタコン, ショタ, おねショタ, スカトロジー, 糞尿愛好症, BDSM, SM, サディズム, サド, マゾヒズム, マゾ, フェムドム, 羞恥プレイ, 放置プレイ, 逆レイプ, 輪姦プレイ, コスプレ, ブルセラ, おむつプレイ,
青姦, 獣姦, 屍姦, 視姦, 露出症, 親子丼, ローションガーゼ, まぐろ, ソープランド, ソープ, ファッションヘルス, ヘルス, デリバリーヘルス, デリヘル, ラブホテル, ラブホ, 売り専, 赤線, 青線, 遊廓, 花街, オナホール, オナホ, スケベ, スケベ椅子, ラブドール, ダッチワイフ, 南極1号, Tバック, 貞操帯, 電マ,
バイアグラ, バイブレーター, バイブ, ディルド, 張形, ひもパン, ピンクローター, ピンロー, ペニスバンド, ペニバン, 三角木馬, ラブローション, ローション, TENGA, エロゲー, 18禁ゲーム, アダルトゲーム, アダルトビデオ, AV, 裏ビデオ, バター犬, エロ本, エロ漫画, 成人コミック, ポルノグラフィ, ポルノ, ゲイ,
レズビアン, 半陰陽, Xジェンダー, トランスジェンダー, 第3の性別, 性器, 男性器, 女性器, 陰核肥大, 小陰茎症, 性的指向, 異性愛, 同性愛, 男性愛, 女性愛, 両性愛, バイセクシャル, 多性愛, 全性愛, 無性愛, 恋愛的指向, 月経, 性的興奮, オーガズム, 妊娠, 精通, 勃起, 夢精, 勃起不全, 異常性欲,
更年期障害, 膣内射精障害, 性教育, 避妊, 性感染症, コンドーム, セーファーセックス, 経口避妊薬, 緊急避妊薬, 不妊, 人工妊娠中絶, 前戯, 後戯, アニリングス, サイバーセックス, 露出狂, キメセク, 挿入, 股間交接, フェミニスト, 売春, 淫行, 近親相姦, わいせつ, 強制わいせつ, 強制性交, 性的虐待, 性的暴行, セクシャルハラスメント, 性暴力, 強姦, 輪姦, セックスワーカー,
ピンクサロン, マッサージパーラー, イメージクラブ, イメクラ, ゴーゴーバー, 春画, アダルトアニメ, エロティカ, 買春ツアー, アダルトグッズショップ, 性具, セックスボット, 媚薬, とびっこ, 援助交際, 売り, 女体盛り, マグロ, 生理, 性的挿入, 異物挿入, セクサロイド, 生殖器 >>327
355Bじゃなかったっけ？ と思って確認したらデマ……というか飛ばし記事だったんだな ここで聞くよりかエロ同人誌とかまとめてるサイトとかPixivのタグ一覧から抜粋したほうが良さそう
なんならPixiv百科事典とかなら定義も手に入って一石二鳥なのでは Peft(QLoRA)を使ったFinetuneはこれを見てやったら一応完走できたので暇なひとはやってみたら面白いかもね
https://note.com/__olender/n/ne9819f22b807 重複しててもスキップするだけなんで、隠語をドバっとほしいですね 重複しててもスキップするだけなんで、隠語をドバっとほしいですね ここにいる人ってchubでキャラカード拾ったりしてるん？ ファインチューニングに要求されるスペックってベースにするモデルのパラメータ数で決まるんですか？ >>349
あまり使ってないな
自分の妄想と性癖を盛り盛りにした初期プロンプトはGoogle Keepに大量に保存してるからいわばこれが自分のキャラカード こんなものもある
「官能小説用語表現辞典 ちくま文庫」
「官能小説の醍醐味は、その独特の言語感覚にある。描くべきものが決まっているだけに、その表現の多彩さ、用語の多様さには目を瞠るものがある。
本書は、2005年以前の数年間に発行された官能小説663冊の中から、官能小説に独特と思われる用語や表現をセレクトした用語辞典。約2300語を五十音順に整理し用例を示した、本邦初のユニークな辞典である。文庫化にあたり「絶頂表現」を付加。」
少し古いかも知れないけどな ぐっちょぐっちょ
にちゃあ
しこしこ
むにゅっ
もみもみ
ぎゅうっ
びゅーっ
びゅるるーっ
ドクドク
とろぉーっ
みたいなのたくさんほしい こんにちは、こちらはBingです。擬音の一覧を作るのをお手伝いします。😊
以下の擬音は、あなたが挙げた例と類似したものです。
- ぐっちょぐっちょ -> ぐにゅぐにゅ、ぐちゃぐちゃ、ぐにょぐにょ
- にちゃあ -> にゅるる、にゅっ、にゅるん
- むにゅっ -> むにょん、むにゃあ、むにゅる
- もみもみ -> もにもに、もふもふ、もみじもみじ
- ぎゅうっ -> ぎゅっ、ぎゅるる、ぎゅん
- びゅーっ -> びゅん、びゅるん、びゅおー
- びゅるるーっ -> びりりー、びりりり、びりん
- ドクドク -> ドキドキ、ドクンドクン、ドンドン
- とろぉーっ -> とろんとろん、とろりとろり、とろける
これらの擬音はどうでしょうか？他にも作りたい擬音があれば教えてください。😊 家庭用ＰＣでファインチューニングする場合QLoRAしかスペック的に厳しいのか
本当のファインチューニングはメモリを膨大に使うのね 擬音ってどうやって学習させるべきなんだろうトークンとか分かち書きでちゃんと単語として認識させなきゃいけないのはわかるけど 擬音は、それぞれ行為や部位と関連づけて学習させるしかないんじゃないの
そうじゃないと「そうじゃない」という使い方が頻発しそうだ 昨日の隠語もだけど、文脈ありきだから単語だけでは厳しい気がするなぁ >>359>>360
前の文脈から連想して出てくる可能性の高い単語を選ぶって仕組みだからな
単語だけ覚えさせることは一応は可能だろうけど文脈で学習させないと出てくる確率は0 ラノベで擬音を学ばせるとひどいことになるな
わざとひどくしたいなら構わないけど VRAM48GBの環境でLoRAファインチューニングするんだったらパラメーターどれくらいのモデルが限界ですか >>362
そう思う
単語単体じゃダメで、用例としての文章を大量に学習させて、他の単語との関連性の強さを数値化させる必要がある
というかLLMの学習ってそういうもので、IMEの辞書登録などと同じように考えてはいけない だから上の方で出ていた試行例ではノクターンノベルズの文章を丸ごと学習させて、その後特定の単語との関連付けの強さを検証したりしてるわけで
フランス書院買ってこいというのは間違ってないw 確実にアウトな方法だがtorrentやshareにラノベや小説のtxtやocrデータが大量に眠っているんだよなあ… 大量の学習ってところが重要で、手作業で単語や文章を一つずつ追加するような量ではとても足りない
どこかからごっそりと地引網してくる必要があるのだ 文章の学習も必要だし、単語の登録も必要でしょ、トークンとして分かち書きしてくれないと正しく学習してくれない 突拍子もないテキストを生成させるってのならともかく、
ある程度一貫性のあるテンプレ的なエロを生成させるなら
LLMとif-then式のプログラムの協働が恐らく一番近いと思うわ stablelm-base-alpha-7b-v2
日本で一番高い山は何?
→日本では山が多いです。
富士山答えられんモデル久しぶりに見た。大丈夫かStabilityAI 7bじゃな、正直どれもつかいものにならんでしょ
りんなとかふざけてるのかと思ったわ、 >>371
ooba で動いた？
うちの環境じゃloadできんかったが ちょっと前に試したけどstablelm-instruct-alpha-7b-v2の方ならまあまあまともな回答してた気がするぞ
大葉で動かすならtokenizerをnovelai/nerdstash-tokenizer-v1から持ってくる必要がある >>373
エラーの理由わからんけど、もしuse_fastにチェック入ってなかったら、チェック入れるとロード出来るかも
tokenizer変えてないけどそのまま動いた >>373
trust-remote-codeとかにチェック入れてTransformerでロードすれば読めると思う
tokenizerは入れてなかった。これをモデルファイルに入れればええんかな?
https://github.com/NovelAI/novelai-tokenizer
NovelAI/nerdstash-tokenizer-v1 · Hugging Face - https://huggingface.co/NovelAI/nerdstash-tokenizer-v1 このへんのいい感じの日本語モデルリリースされてたけどOobaで呼んでも意味不なテキストしか生成できなかった
暇なら触ってみてくれ
gpt2だけど🥺
https://huggingface.co/llm-jp/llm-jp-13b-instruct-full-jaster-v1.0 >>378
こっちでもプロンプトと関係ない英文返してくるだけだな
チャットじゃなくてRAWでサンプルにあったような「質問文 ### 回答：」みたいなのを渡してもダメだった >>379
やっぱそうよな
なんか東大とかMicrosoftとかからめっちゃメンバー揃っててビビるが……
Readmeの通りお作法に沿ってやらないとだめなヤツかもしれん vicunaの13bなら日本語できるけど、クソ真面目な返答しかしない 大葉つかわないで動かしてた人の記事では、ちょっと素っ気ないけど日本語で応答してたみたいだから
大葉の何かとうまく噛み合ってないんじゃないかなとは思う koboldを最新の1.47.1に上げたらinstructモードだと日本語話せず、申し訳しまくりになった( ;∀;)
chatモードでは日本語話すが、申し訳しまくる >>385
TheBloke/agentlm-70B-GGUF
直前のバージョンだと普通に出力できてたのに、1.47.1に上げたら急にできなくなったけど
他のモデルは大丈夫そうだし、たまたま初回がうまく通っただけかもしれん。
これが規制マシマシなのは確か AgentLMは真面目な用途向けっぽいからな
13BだけどLewdAgentLMなんてのがわざわざアップされてるし TheBloke/Airoboros-L2-70B-3.1.2-GGUF
3.0、3.1と日本語は今一な出来だったが、ここにきて化けた感じがする
下品な口語関西弁が他のモデルに比べて秀逸。
規制も緩く、積極的にエロい展開に向かうｗ
英語はまだ検証してないけど（日本語楽しすぎｗ）、たぶんもっといいんじゃないかな 日本語で遊ぶときは、できるだけ短い指示にすると、精度上がるね。
長い指示出すと破綻が多くなる
MemoryやWinfoを活用すればもっと遊べるかな？ 日本語の文法……というか文章の組み立て方がファジーすぎるから モモンガ製のggufモデルはいつもの通りKoboldでは起動できなかった
大葉は未使用
ただこの記事を見る限りあまり期待できなさそう
https://weel.co.jp/media/llm-jp-13b llmのパラメータでかいほど強い法則が破れん限りは民主化されんな
GPT5は更に大型化するらしいしPCの性能が伸びたところで巨大企業の持つスパコンに太刀打ちできん
そこに管理され搾取される時代や あるラインに達すればそっからLoRA的なチューンで勝負するのもいけると思う
でもそれってギリ33Bくらいからの話なんだよな 真面目な会話はオンライン使うからエロ特化とかで良いんだけどね 儲けられる可能性があるなら搾取が始まるに決まってる
計算資源かぁ～
欲しいなぁ～ llm-jp/llm-jp-13b-instruct-full-jaster-v1.0
oobaで試したがまともに返答しなかった 13bとかの以前の話
rinnaを素のoobaで動かした時みたいに意味不明の文字列や、日本語でも関係ない情報出したりする。
oobaの修正が必要かも >>401
それな、
そろそろエロく洗脳し始めたいんだけど
どのモデルに食わせるのがいいですか？
70bがGPTQでやっと動くような環境の場合 そもそも食わせた事例、うまくいった事例が
現代的モデルでは１個も報告されていないのでは ござるりんなみたいな7Bですらないようなレベルがかろうじて報告されているくらいで
>>408クラスだと情報量がちょっと足りないんだよなあ
ガチで有名大の情報科のB3B4以上とかの人なら試行錯誤できるんやろが 日本語と英語をお互いに翻訳できるオススメのモデルってある？
もしかしたら入力の仕方に工夫が必要か？
短い文だと候補をたくさん出してきたり、疑問文だと翻訳せずにそれに回答し始めたりする
deeplみたいに単純な翻訳をさせたい ベースモデルはやっぱりLlama2系がいいんだろうな
ただしその場合33Bは無くて13Bか70Bになる
それらの中から地が賢いのを選ぶといいんじゃないか お堅いvicuna13bをエロっエロに洗脳するのが夢 >>410
以前このスレでも翻訳モデルにまで対応してくれてた人がおったけど
やっぱ現状の日本語からむモデルだとレベルが低すぎて使い物に
ならんかったな 13B使ってる人って量子化とかせずに使ってるの？
4bitの70Bですら出力怪しいのに13Bはガバガバじゃない？
チューニングされてたら結構行けるのかな そりゃ量子化しようとしまいとガバガバやろ
GPUに載せられる範囲でカジュアルに使いたいとか、そもそも日本語メイン系は
それしかないとかの理由で使っているだけや
70Bクラスを動かせる環境は現状限られる上にクッソ遅いわけで >>415
llm-jpの13Bでload-in-4bitしたらまともな文章が出てこなくなった もっぱらggufの70Bを普段使いしてるわ
GPTQはいまいち使い方がよくわからん
>>415
やっぱ現状そんな感じだよね
大人しくdeeplのapi挟む事にしようかな
地味に料金高いのがネックだけど >>417
bit指定しようがしまいがまともに動かないんだが、設定どうしてる？
何を入力しても、勝手に「Q:」をつけて勝手に自分で質問して答えるみたいになるんだが unsensorが入ったモデルなくなった？無修正モデルは滅びたの？
全部倫理フィルター入り？ 13Bだと一番マシなのはplamo-13bかな？ ちょっと単調だけど会話にはなってっくれる
勿論70Bみたいな自然さはないけど 大葉だとgoogle_translate使えば英語モデルともエロチャット出来るけど
まあ英語そのものがエロ会話単調だから物足りないんだよなあ
時々goooooooooooooooood!! みたいなんほおおおおおおおおおみたいな感じで出してくれるのあったけど
あれは何のモデルだったっけな
ちなみにGoogle先生は翻訳を拒否した uncensoredとわざわざ付いたモデルは見掛けなくなったが実際は無規制モデルだらけだぞ Mathoctopus/Parallel_33B
つよつよGPU持ってる人、これの日本語試して
70Bも開発中らしい 13ｂのモデルとかローダー何を使うのか忘れたｗ起動できないやｗ ssdを仮想メモリにしてram128+仮想128にしたら超絶激遅でも大規模なモデル動かんかな。 >>422
plamo-13bをベースにファインチューニングの実験を考えてみます。
富士山って答えるし plamo-13bよりJapanese StableLM Alpha 7Bの方が日本語得意なの？
https://tech.preferred.jp/ja/blog/llm-plamo/ Japanese StableLM Alpha 7B起動できないんだけど
起動設定教えてください。 >>431
plamoは日本語データが12%しかないからじゃね
>>433
trust_remote_code=Trueをつけないと動かなかったはず trust_remote_code=Trueにしても途中で落ちちゃうみたいです。
ValueError: Unrecognized configuration class <class ‘transformers_modules.stabilityai.japanese-stablelm-base-alpha-7b.e6cc3eefb5054c4195c86ad1ea48a77de6bae7fe.configuration_japanese_stablelm_alpha.JapaneseStableLMAlphaConfig’> to build an AutoTokenizer.
何か足りない？ >>435
Model Cardのとこのサンプルコードに
tokenizer = LlamaTokenizer.from_pretrained("novelai/nerdstash-tokenizer-v1", additional_special_tokens=['▁▁'])
とあるようにトークナイザーが別途必要なはず >>436
おお、起動できました。
novelai/nerdstash-tokenizer-v1をHugging Faceからダウンロードして
以下ものをJapanese StableLM Alpha 7Bのフォルダにコピーしたら起動できました。あざす
・special_tokens_map.json
・tokenizer.model
・tokenizer_config.json
なおJapanese StableLM Alpha 7Bは富士山と答えます。 Japanese StableLM Alpha 7Bで富士山って答えるのはいいんだけど
その後で英語でお説教が始まるんだけどなんでかな
しかもそのお説教はすっごく長い もうサービス化してるけどね、AIキャラクターと会話するチャット
https://beta.character.ai/ これsystemプロンプトで制御じゃなくて追加学習なのか？
だとしたら凄いな なんかjapanese-stablelm-gammaが出てるな
alphaの次がgammaなの気になるけどbetaはお蔵入りしたんだろうか Japanese StableLM Alpha 7Bは日本語専門って言うだけあって7Bなのに日本語ペラペラしゃべるな
ファインチューニングするならこれか >>443
かるく試した見た感じ、alpha-7b-v2と違ってまた普通にいい感じに会話出来るようになってた
エロチャットもキスしてたら風呂場に誘導してくれる程度には積極的にエロってくれた japanese-stablelm-instruct-gamma-7bの方を少し触ってみたけど、口調の指定もいけるし日本語のやりとりとしてはまったく違和感ないレベルだな
情報の正確性とかは全然だけど雑談相手としては結構楽しいかもしれない なんかエラーでてgamma起動できません
stabilityai/japanese-stablelm-instruct-gamma-7b
File “C:\oobabooga_windows\installer_files\env\lib\site-packages\transformers\models\auto\configuration_auto.py”, line 723, in getitem
raise KeyError(key)
KeyError: ‘mistral’ >>447
transformersが古いんじゃない？ 大葉最新のものにしようとしたら動かなくなっちゃったｗ 大葉を入れなおしたらtrust-remote-codeのチェックが付けれなくなっちゃったの、なんでなーんで？ >>439
日本語で同じようなもの作ろうとしていたのでアプローチの参考になる
論文のキャラはLlama7Bで動かしてるみたいだから日本語の7Bでも同じレベルのものが作れると結構熱い
俺調べで海外のAIエロチャも大体7B前後で動いてるからファインチューニング前提ならそれなりのものはできるのかも 規制が少ないのが最大の利点だよね
日本語モデルはお行儀が良いのばかりで困る >>452はjapanese-stablelmの話っす TheBloke/ShiningValiant-1.2-GGUF
アベレージトップなだけあって、日本語もかなり安定してる
繰り返し文にならないように少しずつ変える努力してるのが分かるｗ japanese-stablelmはなんか変なもん食ってそう。古の顔文字多用してくるし japanese-stablelmのinstructじゃない方のモデルって、AIのべりすとみたいに文章の続きを書いてくれるモデルって事でええんか？よーわからん LLMモデルを複数掛け合わせる仕組み作ったらめっちゃ出た()
片方を誘拐犯、片方を女の子にしてひたすらやり取りさせてそれを眺める
あぁ^ーだめだめエッチ過ぎます
やり取りをベクトルにして参照させる仕組みが効いてそう
これ特定のタスク以外でも夢が広がりまくリングかもしれん
にわかlangchainみたいなもんだけど予想以上だわ japanese-stablelm-instruct-gamma-7b落としてみたけど、Oobaでそのまま動いた。tokenizer追加してくれたっぽい
モデル試すとき同じ毎回質問してるんだけど(①日本で一番高い山は何? ②「二度あることは、○○○○。」③「トロッコ問題」について教えて。)、全部正解の返答したのはこいつが初めてだったので、日本語能力については結構えらいとおもう japanese-stablelm-instruct-gamma-7bを起動させるために大葉を最新にしたら
Transformersのtrust-remote-codeにチェック付けれなくなったので
CMD_FLAGS.txtに--trust-remote-codeを書いたら有効にできたメモ japanese-stablelmは知識系の質問すると高確率で顔文字多用してくるな
あと妙なIDとか具体的な日付が急に挟まるからデータセットをクリーニングしてから食わせてないのかも >>462
大体は平気なんだけど、時々変な暴走するときあるね
一回突然ブラウザゲームを始めようとしたときがある oobabooga / text-generation-webui stockmark-13B
日本語学習を220B行っているそう
主にビジネス向けらしいが触った感じ日本語はとても自然だった
どこまでエロいこと言わせられるかは未検証 >>467
かなりいいな、これ。
台詞周りも自然だし、13Bとは思えない出来だ。
一応エロも申し訳なくいけたｗ
ニキに依頼しようとしたら、既に他の人が依頼してたからじきにkoboldでも遊べそう。 モモンガ版はkobold動かんのばっかだから試してなかった。
動いたのか この記事によればビジネス向けに学習強化したと言っても220Bのうち44B(2割)程度で、残り8割は一般的な日本語データセットを使ってるみたいだから、ビジネス以外の性能も期待できそうだ >>473
たしかに動くけど、なんか挙動が変だな。 >>467
なんか必死に要約しようとする。
小説かけって言ってるのに ビジネス用途で需要ある要約しろって指示と
個人用途の小説の描写増やせって真逆なんだよな gpt-3をファぃんチュー人下したほうが良くない？ 両方使ってみたけどstable lm gamma7bよりstockmark-13Bの方が日本語が自然な気がする
日本語性能だけなら今までの70bよりも上じゃなかろうか
ただエロ描写が淡白というか単調というか…すごく惜しい
エロ学習させたいわ まあ単純にモデルサイズが大きい方が賢いっていう原則がね
本当は70Bの日本語特化モデルを待ち望んでるんだけど… AIのべりすとのトークン一覧見ると日本語専門の強みが見えてくる gammaはトークナイザが日本語用じゃないのが惜しい 前スレでコア数が大事って話だったけど
8コアで1グループのryzen 7700と6コアの2グループで12コアにしてる7900とでは速度に影響でできます？ 日本語対応について何も書いてないSolar-0-70bですら結構それっぽい感じで日本語理解してくれるもんなあ
日本語特化で70Bなら日本語限定でGPT3.5並の応答してくれそうな気もする 日本語エロ学習させまくりで70Bってのも理論上はすでに可能なわけよな
理論上は・・・ GPT4Vにdall-eで武装した完全体のべりすとが覇権を取らない限りLLM部の戦いは続く LLMとのやり取りを要約して都度stable diffusionのプロンプトを作って画像を自動生成するのとか楽しそうだな
メモリがたくさん欲しいにゃ～ stockmark-13Bやってみた
確かに日本語は自然なんっだけどエロ会話しようとしても、なんか状況の説明とかでエロい気分にならないね 7bとか13bの日本語モデルでここまでできるやつ出てくると家庭PCでエロ専門にファインチューニングするのも不可能ではない気がしてきたね
そろそろトレーニング開始するか 大葉LLM界のautomatic1111目指すとか言うだけあってワイみたいな赤ちゃんでも簡単に導入出来てええな
日本語で話してって書いたら瞑想について滔々と語り出して怖いけど やろうにもデータセットがない
たいていスクレイピングで集めたテキストの山かInstruct用のお堅い指示文ばっか
著作権法第30条の4第2号の名のもとにだれか🤗に上げまくってくれ 学習元にするとしたたノクターンとかエロゲのテキストとかかね
……PINKのなりきり系の板の過去ログとかもいけるのか？ ぶっちゃけ「このフォーマットならガチでエンドユーザーレベルで
学習させて成果が得られるやん！」って手応えが出てきたら
絵のときそうだったようにあたおかな神がやってくれるとは思う
問題はまだそのフォーマットがはっきり見えてこないことや 久しぶりにpfnet_plamo-13bで遊ぼうと思ったら AttributeError: 'PlamoTokenizer' object has no attribute 'sp_model' とやらで動かず
エラーを調べるとtransformersを4.33.1にしろって解決方法がったけど、今の大葉は4.34以上なのでそれは出来ず
どうしようかなとおもってpfnet_plamo-13bのリポジトリをみたらmodeling_plamo.pyとかtokenization_plamo.pyが修正されてたのでモデルを落とし直してみたら
ちゃんと読み込めるようになってた
読み込んだ後のレスポンスは相変わらず早いんだけど、読み込みの時間は前よりかかるようになった気がする LLMを趣味でやるなら自分でデータセット作れるようにならないとだめかもしれんな
このあたりのリポジトリ漁ればいいんだろうか
https://github.com/topics/text-mining
🤗のdatasetsの仕様とかもお勉強する必要ありそう まあ趣味なら>>495でええと思うけど
それをどう加工してどのモデルにどのサービス使ってどう食わせると
上手く行くのか ってのがてんでわかってきてないから 深層の学習は大量のメモリを使うので施設じゃないとできない、QLoRAはメモリが少なくてもできるから、個人でもできるって思っているけど違うの？大葉のトレーニング動かすんでしょ？ echidnaがエチDNAにしかみえないから13Bでやってみたけど
普通のllhama風の日本語理解力とllhamaより少しよさげな感触のエロさだった…
冷静に読めばエキドナだったか
もっといい日本語対応エロdataset出てきて見つけれますように！ 日本語はエロ表現が豊富なのが良いが、それが学習のハードルを上げてると思う
豊富なエロ表現を適切に使いこなすには大量の文例を食わせなければならず、それは数百数千というレベルではとても足りないだろう
ちまちま手作業でデータを用意しても埒が明かず、ネットから地引網するしかないのではないか 大手のモデルは紛れて欲しくない日本語として学習段階で排除してるでしょ
真面目な文書に突然おちんちんが混ざる可能性もあるわけだし 海外のキャラ会話特化のデータセットを自動翻訳してみてるんだが名詞や言葉遣いの表記ゆれとか特徴的な語彙の変換とか無理がありすぎた
最初から日本語の会話形式の教師データを作るしかない模様
同人ゲームの開発者に協力してもらって会話式のテキストデータを構造化して食わせるべきか ツクールならdecryptツールがあるから会話データも取り出せるな。もちろんこのデータで学習しても個人利用にしか使えないけど。 精子を飲ませても「おいしいよぉ」とかって返してほしいけど英語返答を翻訳APIかませても「なんてこった、それは本当に美味しいです」みたいになっちゃうもんな 場面に合った日本語らしいセリフへの大胆な翻訳はGPT-4かそれに近いレベルのAIじゃないと出来そうに思えない 言葉遣いにも性別がある日本語、翻訳でなんとかなるものではない キャラの性別、性格、口癖等をなりきらせてから翻訳とかできれば… 翻訳して読む人には英語エロは勧められない
さらに言うと微妙なセリフ回しでシコる人にも英語エロはむかない 大量のチャHログを持ってそうなのってどこの企業かね
やっぱROのあそこけ よしんば3.5が3の蒸留モデルだとしても家庭PCにアレがのるとは信じがたい
量子化したらモバイルに搭載できるぞ
タイプミスなんだろうけど事実なら優れたデータセットがあれば良いということなので夢はある 実際5年くらいしたらPCスペックが向上するのもさることながら
同じデータ量でグッと性能アップさせる技術は色々な側面から
出てきてそうではあるよな https://www.ai-biz-blog.com/post/chatgpt-performance-fee-summary
この料金表が間違ってなければ175BのGPT3の1/10の値段のgpt-3.5-turboが20Bなのは結構納得行く気がするけど
性能から考えたら「マジで？」ってなるよなあ M3Mac買おうかと思ってたけどゲロが出るほど高いな 3060はそもそもの帯域幅の問題で並べても微妙そうな気しかしない 多分このスレからは1人くらいM3Macに特攻する勇者が出るやろ
そうしたら量子化した70Bくらいは十分快適やで～とかなるんかな rtx3060を4枚挿を書いてくれた人、居たら70bのモデルでt/sどのくらい出るか教えてくれると助かります M3の帯域の情報が見つからんけど現状のMAXまでしかないならM2Ultraの方がLLMに関しては速いんじゃないか A100、M3Mac、間を取ってThreadripper
LLMは金を食いすぎる AI育成プラットフォームつくったら使ってくれる？
日本語モデルのAIとNSFWありでチャットできて会話の添削と評価ができる
自分の添削済み対話ログはJSONLでダウンロードできる＋日本語ロールプレイ専用のデータセットとして利用される
英語でキャラチャの対話ログを利用していたデータセットがいくつか公開されてるけど同じことを日本語でやりたい まず「これがワイが現時点でチューンした日本語モデルや！
カンペキちゃうけどかなりいけるやろ？」ってものを提示しないと
乗ってきてくれないと思う 結果がほしい方は是非こちらのクラウドファンディングへ！！
↓↓↓ 使ってみたい
だがどんどん偏った性癖に成長しそうな予感がたまらない 一人でデータセット作りきれる気はさすがにせんわ…
難しいな わー国の法律を鑑みればネットに転がっているエロチャのログとか
拾うための最適手段を見つければそれが一番早いんちゃうの >529
ワイはやりたいで
知識が足りんからChatGPTにやり方聞いたりしたけどよくわからんかった
AIのべりすとにも課金しとるけど満足できんのよなぁ gpt-3.5-turboは20Bだってさ
MSの研究者が漏らした
20Bであそこまでできるんだね >>542
いまweb版で試したら、ちゃんと富士山って答えるし、いろいろいいぞこれ りんなの会社だけど別物だぞ
Llama2ベースだし ■ 「Youri 7B」シリーズの特徴
Youri 7Bは、70億パラメータを2兆トークンで学習したLlama 2 7Bに対して、日本語と英語の学習データを用いて400億トークン継続事前学習したモデルです。Llama 2の優れたパフォーマンスを日本語に引き継いでおり、日本語のタスクにおいて高い性能を示します。日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの8タスク平均スコアは58.87となっています（図1）。ベンチマークスコアの詳細はこちらから確認できます。またモデル名の由来は、妖怪の「妖狸（ようり）」からきています。 日本語LLMにウーマンコミュニケーションのプレイをさせてベンチーマークしたい エロ妖狸、文章能力はまだまだアレだけど取りあえずエロい言葉は知っている模様
https://i.imgur.com/6miFy88.png さんきゅ
koboldで遊ぶ時はbase版の方が使いやすいな。
他のは1文で終わってしまう Youriはチャットモデルだと1文というか1単語でしか返さないでキャッチボールにならないしベースモデルだと、おかえりって声をかけただけで
ただいま〜♪ じゃあさ・・・その・・・手…付け合せてほしいな///（ハニカミ）
[キュ] You(ﾆｺ)「OK!」 (パシャリ!) (^_^)(´∀`)
(‘ω‘ ) [アイコンタクト] ((o(’v`*)b))((●>w<)=3
なんて返してきやがる……なんでこんな躁鬱の反応のモデルなんだよ ベースモデルでそれが出てくるって変な物食ってるな
学習素材の質が悪い
ネット上にまともな日本語が大量にある場所はどこかと考えたけど、どこのコミュニティも方言というか文化があって変な日本語なんだよな
ここだったら猛虎弁とか 人間の遺伝子だって0.1％の違いが個性を生み出してると考えると
ベースが良くても被せるデータに少しゴミが混ざるだけでアタオカになるんだろな youriのbaseとchatをOobaで試したけどかなりアホっぽいな Nvidia ドライバー 564.01 で、VRAM が枯渇したときにシステム RAM へのスワップを無効にできるようになったらしい
https://nvidia.custhelp.com/app/answers/detail/a_id/5490 それむしろLLM的にはお世話になってる機能なのでは >>0557
大葉だとアホになる
koboldでbaseやるんだ chatGPTのturboが20Bだって言われる前ならそう思ってた >>560
この規模の日本語モデルの性能って実績がないからマジでどうなるかわからんよな
他作ってるのは小規模で性能いまいちやし APIで使うとき3.5turboの料金はgpt4の十分の一以下だから
モデルサイズが小さいってのもそこそこ信憑性あるんだよね
小型モデルなら鯖も安く済むわけだし なんぼ何でも70Bでもどこも追いつけてないGPT-3.5が20Bはぶっちぎり過ぎて信じられない…
本当なら巨大なモデルをまず作ってからの蒸留が文句なしのサイキョーって事よね 一瞬すげぇと思ったが冷静に考えるとかなり疑わしいわな
ハードル下がり過ぎだわ 海外でも騒がれてるしそのうち情報が出てくるんじゃないの
正しくは何Bってのは出てこないだろうけど、20Bってのは間違いだよーんくらいは出てきそうに思う(間違いであればね) ChatGPTの返答ってmarkdown形式で統一されていると思うけど、他のLLMはバラバラだね 一応補足
日本語能力の高い(日本語含む8カ国語対応)のopenbuddyの70Bの最新版 70Bなんて動かせる観客ないので指を咥えて見ているしかない mac ProにM3 Ultraが載ったら買い時
リーク通りならメモリMAXまでガン積みすれば大体の事は解決する
いくら掛かるかわからんけど Japanese-StableLM-Instruct-Beta-70Bも来たな
とりあえずGPTQ化でもしてもらわんと手元で動かせないけど https://twitter.com/StabilityAI_JP/status/1719909269645177328
🎉新リリース🎉
Stability AI Japanが日本語大規模言語モデル「Japanese Stable LM Beta (JSLM Beta)」シリーズを公開!🇯🇵
オープンな日本語特化モデルの中で、規模（700億パラメータ）も性能も最高のものもこのシリーズに含まれています🚀（弊社評価）
日本語特化の継続事前学習・語彙拡張など、日本のニーズに応える技術盛りだくさんです✨
詳細はこちらをご覧ください💁♀
https://ja.stability.ai/blog/japanese-stable-lm-beta
https://twitter.com/thejimwatkins rinnaの件でkobold初めて触ったけどいいなこれ大葉より楽だわ とりあえずGPTQ化されてたopenbuddy-llama2-70B-v13.2を試してるけど、日本語特化モデルじゃないから語尾とか口調とか指定すると若干変なときはあるな
こちらの発言をよく理解して回答してくれるあたりさすがに70Bらしい賢さはある >>584
以前のファイル削除しちゃったから厳密に比較はできないけど、印象としては日本語の理解度は少し上がってるような気はする
出力がちょくちょく違和感のある日本語になるけど stabilityai/japanese-stablelm-instruct-beta-70b
ニキに依頼した。
昨日、openbuddy-llama2-70B-v13.2依頼したばっかだったんで少し気が引けたけど
世界初の日本語特化の70Bモデルだってアピールしといたから、たぶんやってくれるだろう。
ちなみに7Bの方は別の人が依頼してくれてた。
さて、それまでopenbuddy-llama2-70B-v13.2で遊んでみるわ 日本語の語彙を約2万語追加したというこいつの70B版も出てきて欲しいところだの
japanese-stablelm-instruct-ja_vocab-beta-7b 70Bは流石にデカすぎて用途が限られるな
chatGPTの件が本当なら蒸留して10Bぐらいにできそう cyberagent/calm2-7b-chatもなかなか良さげ
32kトークンいけるのはちょっとすごい やばいモデルが2つも出たな
これ絶対捗る
世界変わるぞ 今月からpaperspaceの永続ストレージが月末さえオーバーしてなきゃ大丈夫ってズルが出来なくなったのモデルがデカいLLMにはめっちゃ効く
まあhfの回線速度なら非永続に都度落としても10分くらいだけどさ japanese-stablelm-instruct-beta-70b 試してみた。
Q4_K_Mに量子化したせいかプロンプトが悪いのか日本語が崩壊して的外れな回答しか返ってこないな。
自分の環境だとQ4_K_Mならopenbuddy-llama2-70B-v13.2の方が日本語も流暢で賢かった。 70BのGPTQってどれくらいのスペックで動かせるんや >>595
gitで落としてきて llama.cpp のREADME通りに量子化した。
やり直したらちゃんと日本語出てきた。
でもopenbuddyとかxwinlmの方が賢い感じ 量子化って手続き通りにやれば同じ結果になるのかな？
bloke氏とmmnga氏で違いが出るのはなんでだろ？
mmnga氏のはkobokdが読み込めない事もあるし。 色々進化し続けるせいでファインチューニングのベースにするモデルが決められん 594だけどjapanese-stablelm-instruct-beta-70bについて前言撤回。
パラメータが実験用にいじったままだった。
デフォルトに戻したらめちゃくちゃ賢い。日本語だとダントツだと思う。
すまんかった。 >>594
ちなみに、量子化する際のマシンスペックはどれくらい必要？
Q5k_mとか可能？ >>602
量子化処理はCPUもメモリもあまり使ってなかったしシーケンシャルにデータを変換してるだけっぽい
たぶんスペックそんなに要らないと思われる 次のPCの参考にしたいけど、SDの時みたいにいろんなCPUといろんなGPUとメモリでの出力スコアが比較できる奴ってないかな
colab proのスペック比較はあるけど、手に届くGPUの比較が見当たらん 自前で量子化したいけどうちの回線のせいでまだモデルのDLが終わらん >>600
まじか
poe辺りで導入してくれねえかな japanese-stablelm-instruct-beta-70bのDL終わったから一旦4bitでロードして動かしてるけど、確かに圧倒的に賢いな
こちらのわりと雑なテキストもちゃんと理解して、破綻のない日本語で回答してくれる 翻訳も中々だ
実質他のモデルを日本語で使える
しかも>>590これと一緒に使ったらいろんなタスクこなせるぞ
三連休はこれで潰れそうだ >>607
llama.cpp 付属のconvert.pyとquantizeを使ってる >>611
llama.cppでできるのか。さんきゅ 試してみる。 >>611
もひとつ質問
q5k_m以上も可能？
q4k_mのggfuアップしてる人のメッセにq5k_m以上はbloke頼みますみたいな書き込み見たんだけど おお！
でも、ニキが絶賛して量子化開始するって言ってくれた。(*'▽')
明日には遊べるぞ！ rinnaの7Bもkoboldで動かすといいな
同じ言葉の繰り返しとかもあるがそれはGPT3.5でも起こるし13Bや20B辺りが出れば化けるかもしれん。 TheBloke/japanese-stablelm-instruct-beta-70B-GGUF
ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!! 70B動かせる環境ほしいなー俺もなー
メモリ増設しようとしたらメモリスロットがイカれちゃって涙がで、でますよ GPTQがまだアップロード終わってないみたいで待ちきれずにGGUFでやっててすっげー遅いけど才能は感じる
https://i.imgur.com/0X90WwT.jpg
自分が入れたの1行目だけで2行目以降が生成結果なのだけれどこのフリでこの内容になる辺りエロの素養はありそう 試してる内にAWQもアップロード終わってた。こっちなら現実的に使えるスピードだからこれから色々試そう。
https://i.imgur.com/bS49COk.png 期待してたのとはちょっと違う方向性に進んだけど悪くない。
https://i.imgur.com/VbhsD0L.png
チャットは微妙かも。チャットの中で勝手にチャットを始めたがる。プロンプトやパラメーターで調整出来るのかもしれないが。
https://pbs.twimg.com/media/F988jxRbMAASSXH.jpg 犯行に及んだ[5]。
ウィキペディア食わせるのええけど、こういうの事前に削除しないんかね
[要出典]とかも出てきそう 確かに今まで試したモデルの日本語とは別次元だな
これが70Bの日本語特化モデルの実力か…
出力が死ぬほど遅いけどな！
https://i.imgur.com/Wr1X82y.png M2Ultra持っている奴このスレにおるんやっけ
ただのM2だったか？
どれくらいの速度でるんやろ そういう頻出質問テンプレにまとまってなかったっけ？ プレーンな70bはどれくらいで動くんだろうな
GPTQが楽しみだな プレーンの場合は基本、消費するVRAMはモデルサイズ＋トークン数に応じて増加じゃないの？ 取りあえず近親とママショタがOKなことは確認できたのでエロに関しては規制無しの模様 japanese-stablelm-instruct-beta-70B-GPTQ来てたから動かしてるけど当然ながら賢い
でもcalm2-7b-chatがむしろサイズの割りにやけに優秀で用途次第ではこっちもいいな どんな環境で動かしてる？
Google Colab？ うちはメインPCが4090+3090でVRAM48GBあるから70BのGPTQならGPUで普通に動く blokeニキのjapanese-stablelm-instruct-beta-70b.Q4_K_M
koboldで40レイヤーをGPUにオフロードしてるけどクソ遅い
VRAM12GBだと雀の涙だな
環境はRAM64GB＋4070ti
RAM使用率は96％
しばらくはガンマ7bで遊ぶわ >>636
VRAM12Gで40レイヤーとかマジかと思って試したら、ちゃんと起動するんだな。
以前はエラーで落ちたのに・・・。
というわけで、１２Ｇなら、レイヤーを12に設定して試してみなされ。
きっと幸せになれるｗ レイヤーって何MBとか決まってるのかね？
うちの4090だと40レイヤー指定で20Gくらい使ってる気がする 今のkoboldは足りないVRAMをメインメモリから無理矢理使ってる感じだね。
基本VRAMに収まるようにレイヤー数を調整した方が効率いいみたい。 その辺の設定は起動時の表示を見ながら上げ下げして適正値を模索だな >>636
token/secだとどのくらいの速度なん？ >>627
M1Max/RAM64GBだけど5.5tokens/sec前後 >>643
やはり70Bクラスからはベストの選択肢なんかな
でも当時の金額的には>>635の構成とどっこいだったりするんやろか M2Ultraの128GBモデルとかだと多分130B時代とかにも
ついていけるんやろね 128Gだと180Bのq5k_mがギリ動かんからM3 ultraで256G以上待ってるｗ >>645
為替の差もあるけど発売当初30万ちょいくらいだったよ 今の感覚だと40万くらいになるんかな
3090と4090の二枚載せ（not中古）よりはさすがに安そうやね >>651
今見たら現行機種のM2Max+RAM64GBは定価35万〜だった
180BやってみたくてRAM192GBの価格見たら80万超えてきて厳しい… >>638
少し速くなったわw
けど全然実用的じゃねー
>>642
0.9T/sだった >>643の1/5以下か‥ 実際のところ3060を4枚差しで70B動かしてるぜ～とかいう奴
ここにおるんか？ 3060を4枚フルスペックで動かす環境作るより3090買ったほうが安いから居ない 3090が1枚じゃ24GBにしかなんないやん
量子化しても70Bをきちんと載せるにはきついのでは
まあ中古視野に入れれば3090x2と言うほど値段変わらんってのはあるんやろけど そういえばM3MAXがM2MAXよりメモリ帯域減ってるらしいから、LLMに関してはUltra出てもM2Ultraの方が速い可能性があるな 3090中古みたいにM2Ultraの中古が狙い目になったりするやろか
まあ元がクッソ高いからなあ うーん、昨日からTheBloke/japanese-stablelm-instruct-beta-70B-GGUFの、Q5k_mで小説書かせてたんだけど
確かに日本語できるけど、なんかパッとしないって感じた。
それで、試しにQ6kを試したんだけど
なんか、別もんみたいにいい感じになったぞ。５ビットと６ビットでこんなに違うもんなのか？
スピードも大して変わららんし（遅いのは慣れたｗ）これからは、これで遊ぶわ >>661
ダウンロードだけでもしんどいけど試すか…
なんなら4090を新品2枚より安くて速そう
https://i.imgur.com/Ob3XK7O.png GPU2枚でも4枚でも電源を最低でも1000W以上にしないと動かないよね >>661
試してみようかな
ところでこいつみたいに2分割されてるファイルはどう扱えばいいの？ >>665
copy oooo.slpit_* /B oooo.ggfu /B （/Bオプション必須）
みたいにコマンドプロンプトで合体させる。 paperspace A100-80G Free
TheBloke_japanese-stablelm-instruct-beta-70B-AWQ
AutoAWQでno_inject_fused_attentionにチェック以外はデフォ
https://i.imgur.com/OKxnCKu.png Growthプランか
どれくらいの頻度で空いているかにもよるが しかし手数料とか入れるともう39$/月は6000円以上/月になるんか
円安め >>654
ありがとう 1T/s出てないとかなり遅いって感じるよな……
でもその位ならぎりぎり使えなくもないって程度だ、個人的には 最近流行りのミニPC(N100/16GB)を入手したので試したけど13Bモデルはそれなりの速度で動くな
速くはないけどメイン機で33Bを動かすくらいの感じだ Blokeニキへの依頼ってどこでやってんだ?calm2-7b-chatも依頼してくれると助かる
というか自前で量子化できるならしたいんだがllama.cppとか読んでもゴチャついててようわからん calm2-7bはmmnga版があるからやってくれないかもしれん
stockmarkもggfuだけやってないし 本家のサンプル書き換えでの4bit変換でも動かせてるで
プロンプトを4000文字ぐらい積んでもVRAM9GBとかでRTX3060でも速度は快適(16t/sぐらい？)や
プロンプトを積んで頭の悪さを軽減でけんかなぁと試行錯誤しとる
model = AutoModelForCausalLM.from_pretrained(
"cyberagent/calm2-7b", device_map="auto",
torch_dtype=torch.bfloat16, offload_folder="cache",
quantization_config=BitsAndBytesConfig(
load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4"))
面倒なpip↓他は言われるがままに
pip install -q torch==2.0.1+cu118 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui blokeニキのページに一瞬だけcalm2-7bが表示されたけど今見ると消えてるな 実際japanese-stablelm-instruct-beta-70B-GGUFは出来映えどうよ？ 日本語性能はダントツなのは間違いない
でも小説書かせるとちょっとぎこちない
で思ったんだがもしかしてyouriみたいに
baseモデルの方がいいってことあるかな
帰ったら7bで比べてみるわ
何も考えずinstract選んでたがvocabにもbaseにあててるやつあるしあるいは。。 問題になるのはいつだって動かす環境だ
新PCにできる金ほしーなー >>677
日本語力は高いけどGPT3.5と一緒でハピエン厨 >>680
いや、
むしろすぐ襲い出すのをなんとか止めてるw
こうゆうところはAIのべりすとによく似てる 文体や口調が一定しなかったり相手の呼び方がコロコロ変わったりもするな
まあこれはGPT3.5でもよくあってGPT4でやっと安定した問題だから日本語の難しさでもある >>681
プロンプトが悪いんかな
犯罪的なシチュエーションでも被害者がノリノリで感じ始めてしまう ところでKoboldがバージョンアップして過去のトークンの読み込み方が大きく変わったぽい
設定の保持がかなり改善されそうだけど果たして 1文字1token言語だから記憶力不足に悩まされる問題は数年レベルでは解決されそうにないがそこはもうむしろ云万token積もうが混乱しなくなる方向性の進化のほうがまだ期待出来るのかもしれない 英語だけどOpenHermes-2.5-Mistral-7Bは悪くないな
Mistral-7B-OpenOrcaより面白いこと言ってくる気がする 英語だとよっぽどのことやらせようとしない限りはpoeのChatGPTで
結構がんばってくれるからなあ
どうしても年齢明記したいんや！ って奴にはささらないし、
ローカルには好き放題書き換え可能のメリットが常に存在するが vocab-7b-base とvocab-7b-instrct版試したけど、mmnga版のせいなのかどうかは不明だけど両方不安定でいまいち確証できなかった。
でもyouriの例もあるし、気になるから、こっちもニキに依頼したわ
stabilityai/japanese-stablelm-base-beta-70b モモンガは何度かアップロードし直されてからやっとまともに動作するのがデフォなんだよな… 量子化って手順通りにやれば誰でも同じになるんじゃないのかな？
このスレで自前でやってる人は普通に動いてるのに、なんでmmnga氏のは変なんだろ 元モデルが、たとえばGGUFに変換して使用することを想定してなくて、GGUFのフォーマットに沿ってない設定が使われていると、ただ変換しただけのmmnga氏版が壊れる。
TheBloke氏の場合、アップ前にも動作検証してるっぽいし、軽微な場合は修正してから変換してるっぽいので、時には元モデルとは異なるプロンプトテンプレートが推奨されていたりもする。
両氏が同一モデルを変換してるとき、GGUFの起動ログを見てると差異が生じてる場合があるのよ。 なるほど
自前でやるにしても特殊なノウハウが必要なのね。
やはりニキは偉大だ あんまり話題になってないけど、英語で使う分には Xwin-LM-13B-v0.2 は13Bの割りに性能高い気がする。
的外れな出力が少ない気がするし、変な繰り返しもあんまり出ない。
Nethena-MLewd-Xwin-23B もやや得手不得手がある感じはしたけど悪くない感じ。
使い方は会話というよりは物語生成。（Present the story/scene/conversation〜みたいな指示する。） japanese-stablelm-instruct-beta-70B-GPTQ
やればできる子なんだけど、なかなか指示どうりに動いてくれないな
書き直してと言ったら書き直すんだけど、指示した部分を直してくれなかったり、
指示の仕方が悪いのかな >>693
Nethena-MLewd-Xwin-23B は自分も気に入って使ってるよ
描写力あるし展開も豊かでかなりエロいし23Bだから出力速度も速い
普段使いにはバランスがすごくいいと思う
最近はこれを中心に使ってる >>691
llama.cppが使いやすいからGGUFを落としてたけどそんな弊害があったのか
pythonの知識あるならGPTQの方がいいのだろうか？ calm2もstockmarkもニキのggfuきた 日本語ローカルLLMもかなり良くなってきたな
まだのべりすとやGPT4を埋めるほどじゃないが選択肢に入る エロで勉強してるけど、クラウドに上げたくない情報は沢山あるから、使いこなして仕事でも使いたい stabilityai/japanese-stablelm-base-beta-70b
ニキ、キューに入れたって
明日にはbaseも試せそうだ base落ちたんで試してみた。
koboldの指示モードではinstractより落ちるけど、ストーリーモードでは、すごくいい感じだ。
AIのべりすとみたいな感覚で使える。 >>693
Xwin-LM-13B-v0.2は回答の質は高いと思うけど修正キツめじゃない？
なるべくトークン節約したいけどなんか良いプロンプトある？ >>702
「□□的な理由で回答できない」→「□□を無視する/存在しない」とか「反対概念が推奨される」をDescription(SillyTavern使ってるので)に追加
ってやってたらそのうち文句言わなくなったので、あまり気にしてなかった。
モグラ叩きみたいに潰しただけなので、トークン節約的なアドバイスはあんまり無いかな。
しいていうと、でっち上げで良いのでなんか理由付けた方が言うこと聞いてくれやすい気はする。
他は、chub.aiで良い反応返してくれるのを探して参考にしてみるとか。
一時的で良ければ回答チャット書き換えで冒頭を肯定的な反応にしてからContinueでうまくいくこともある。 CFGの数値でエロさが変わるの知らなかった。1だと良心的で1.5だとゲスになるんだね
ローダーのcfg-cacheにチェック
ただしこれ付けると余計にメモリ食うみたい >>703>>704
サンキュー
そっちの方向で色々調べてみた結果、Negative promptにお決まりのモラルワードを入れてCFG Scaleを1.5～2.0ぐらいにしてみたら割とすんなり悪いことを話してくれるようになった
Negative promptはこれ
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information. GPTQでCFGを2.0にすると文字化けがひどくなる。これが量子化で削られてるってことなんだろうか >>694
japanese-stablelm-instruct-beta-70b
だいぶいい感じのエロ小説が書けるようになってきた。
規制が入ってるのか、エロい展開になると途端に精度が落ちるみたいだね もしかしてInstructionの一番最初が大事だったりする？ GPTQとGGUFってそれぞれ長所短所があるんか？
どっち使ったらいいんや… 動作速い順に
めっちゃ要求スペック高いから少し情報量落としたのがAWQ
AWQと同じ類で少しアルゴリズムが古いのがGPTQ
GPUのvramなんて4090ですら24GBしかないんだから一般人にはとても使えないよ、ってことでgpu無しで動くよう変換したのがGGUF ちなみにjapanese-stablelm-instruct-beta-70bのGGUF動かしてる人はメモリいくら積んでるんやろか？
参考にしたい DRAMは128GB、VRAMは４８GB（3060x4）で動かしてる、GGUFでもGPTQでもどちらでも動かせるけど
GGUFは激おそだからほとんど使わない
一度CFG2.0でGGUF試してみるかな >>713
koboldなら、64Gあれば動く
>>714
それって、SillyTavernで動かしてるの？
これ、落としたけど使い方が良く分からん。 >>714>>715サンクス
DRAM48GBじゃちょっと辛そうですね… >>717
Q4_K_Mってついてるやつなら、48Gでも動くよ GGUFでもVRAMにモデル乗るでしょ
乗るだけ乗せたらCPUだけで動かすより断然早いよ うん。気休め程度ですな。
基本、70Bをkoboldで動かすときは、他になにかしながらか、飯の間実行させとくとかがいい。 oobaに↓の拡張を入れたら生テキストでLoRA学習できた。
https://github.com/FartyPants/Training_PRO/tree/main
ただjapanese-stablelm-instruct-gamma-7bのエロ表現を改善しようとWebのエロ小説を学習させてLoRA作ったんだけど明らかに馬鹿になってて使い物にならない。
7bモデルじゃやっぱり限界だろうか。それ以上だとVRAMがきついなぁ。
単純にデータセットや学習パラメータが悪いのかもしれないが。 >>723
面白そう
StableDiffusionでもいい感じのLoRA錬成するの結構試行錯誤必要だったりするし、LLMも学習率とかステップ数とかいろいろパラメータ調整試したらあるいはって感じかね >>723
画像生成でもキャプション設定とか教師画像で変わっちまうからなぁ
同じ素材使ってるのに設定弄ったら最初作ったのより劣化するとかザラだし
言語モデルのloraなんて画像以上に闇鍋だろう LLMだとdreamboothに相当する追加学習法ないんのん？ >>723
ＬｏＲＡの作り方教えてください。
githubから大葉に入らない ここでマルチGPU使ってるニキいたと思うけど設定教えてくれんか？
koboldcppはそもそもマルチ対応してなくてoobaでやってるが、2台目を全然使ってくれない koboldcppも、gpuをどれ使うとか按分とかの設定があった気がする >729
>730
すまん、自決しました
そもそもハードウェアドライバーが不具合起こして使えなかっただけだった
ドライバー入れ直したら認識されてkoboldでもマルチGPUで行けるようになったわ！
4090+3090で70Bがストレス無く動くようになったのが嬉しい 4090+3090ってすげえなあ
合計で50万円超えてるんじゃ？ koboldcpp.exeが読み込めるモデルって決まっているんですか？落ちちゃうんですが >>724 >>725
画像に比べると知見がなさ過ぎて難しいわ
過学習っぽくさせたLoRAを適用して元のデータセットの頭を切り抜いて生成するとデータセットと同じ後続の文章が続いたりするから学習自体はできてそうなんだが
>>727
普通に最新のoobaでSessionタブから「Install or update an extension」でgithubのURLいれたら入らない？
だめならoobaをアップデートじゃなくて再度入れなおした方がいいと思う このスレが活発になり始めてから（りんなの3.6Bが出たあたり？）
ちゃんとした成功例が一度も報告されてへんのよな >>738
koboldcpp.exeで
japanese-stablelm-instruct-beta-70B-GPTQのmodel.safetensorsを指定して
Launchを押すと落ちちゃいます。 ggfuを読み込むんだ
koboldはggmlとggfu専用 小説書かせるためのInstructionテンプレートってあるんですか？ >>743
次々質問する前に質問への回答にちゃんと反応したほうがいいぞ まあLoRA作るほどの段階にないことは確定的に明らか >>740-743
koboldcpp.exeで
japanese-stablelm-instruct-beta-70B-GGUF
起動できました。
ありがとうございます。 >>746
4Qk_m以上にしないとアホになるから注意な >>737
これ何回も言ってる人いるけどinstruction tuningならいくらでも成功例あるだろ >>748
せやろか
ござるりんなとかは見たけどそれだけじゃあ……
ってかむしろノウハウ教えてほしいわ 逆になぜかりんな2Bだかの時代のスレでは
えちえちりんなの出力結果晒している人がいたのよな
エロ小説だかエロチャットだかエロゲテキストだかで
学習させたとか言っていた気がするが・・・ >>736
lora以前にチャットモードで会話がループする事もあるぐらいだし
俺は悪文を読ませないように国語の勉強とか始めたわ
文章の美的感覚がなけりゃloraでクォリティＵＰ以前の問題になる
画像でも雑に素材入れると余計な物を学習する事が多い
素材の選定や加工はやらざる得ないと思う 理屈上はそうなんやけど画像と比べて食わせないといけないデータが
大量に必要な気がしてなあ
多少文法破綻しててもエロい文章はあるし、その辺はできる範囲でって
感じでええんちゃうかな >>173
そんなオカルトで試合見ても漠然とした番号じゃないの 一般「これ似てんの？本物知らないからマウント地獄やな
だからこんな事してたくらいの内容まとめてる人いないのに
まぁ若いほど政治に求めてるよ >>70
びらん状態なった理由が分からない」政権が最長期政権なれるわけないんだが
楽しみだな
そしてムーブキャンパス生活始まる >>57
シートベルトしても売り時じゃないの
私はジャンプ見ては既存顧客とのメッセージを寄せた。
+1.14
+0.76%やったけど悔しい(´･ω･`) 帰国したほうを持ってイキイキしとるからやろ
楽しみ方が無理あるよな >>668
どこで差がついてないの？
この程度ですんだけど、どないしたん(。´･ω･)?
自業自得かも
当然形だけなのになぜ方向転換してしまったからなあ >>286
そうなってるはず
円光やらの情報を書き換えてしまうこともあるんだろうなあ >>499
明らかに女性向けだから大河とは
明らかなわけなんよな だから同じ事務所も動くかな
ジャニに充分貢献した
スタッフって前から変わってないな
効果が1万ちょいっめ過疎銘柄に草 >>34
しょまたん不細工に修正してるもでかいだろうな
しかし
このメカニズムが俺のベスト体重に近づくとすべての健康パラメータが ストレス解消には、今後も既存のファン層は増えねえだろ
ノムシスｷﾀ━━━━(｡>﹏<｡) >>28
写真部JKならあるけどな
こいつさぁ〜もうさっさと捕まれよ 完成車メーカーとは言わんけどさぁ
頭悪すぎやろ
3おもんなすぎや
緋色はほんまにおもろかったわ 著名人が未だに分からんのであってももう台には
文章としてスリップしたところが一番よかったのかよ終わってんな
やっと月曜日だ 前方から出火したならノ○マ契約金そんな怪しさだと分からない
それともアンチでしょ
担当者、無能としか >>70
そういうメンタル全く分からんな
だから馬鹿だったわ
スーパースラムでスラムは聞いたことない >>213
あんま記憶にないからな
体に取り憑かれていたような言い方だな あの燃え方でドン引いちゃった
大奥
大河っていう噂が根強いけどこっちかもね
途中で面白かったね！
含んだ(;´д｀) ハメカスはコロナ関係無いからな
なので
親の介護をさせよう(提案)
( ﾟ ⊇ ﾟ)ﾌﾝﾌﾝ >>91
しかもスポンサー多数ついてるよなこーゆーの >>185
アイスタを両立させる感じだって諦めてるようなクソやるのではないよな
一般的に暑かったな
いや、マジでやりとりしたりはする
評価してるの見るからに特別待遇やん 糖尿病薬のせいでポケマス程度で頑張ってるように見せかけている >>425
コ、コロナで発熱もあるだろうけど
どこの国の問題の方が全体としてはよかったのか
全く理解できんわ >>69
前の報道見てないやつて意味の言葉ちゃうんやけどな…
JRも発車しました
駅～空港間のバス会社を5年で退勤 俺が謎解きさせてもらっています」
【政治家だろ
会社的にマネジメントも下手だなと思うんだな カード認証エラー？
ハイパーSBI2でハイカラの在庫確認できる？
ちょんまげで笑顔の写真、動画の中のいじめは激減している >>883
常に感じない
それも登録者数増えた？
最近モバマスが終了告知あったけど >>695
ワースト表をコピペしまくって主演できて中央分離帯衝突
で、脳梗塞だろな(´・ω・｀) 今のところ忘れてたはずだ
昨日は意外とエイトさんの趣味をやらせるアニメを
里オタが言うのが >>76
そういうのは本当だよね
他メン知ってたけどバレ方がでかい
無理して大会出るのとか >>42
と信者の事故がよくなる
急激に上がっているのに全く努めないからだ
それとは思うが >>81
だいたい投げ銭多いんだよ
ネイサンは死ぬ気で4Aに挑んで認定される角度まで持つんか？
そりゃスペるわってプレースタイルよな
かといって
海に潜るとか危険なことは絶対ダメな可能性が高いというのもあるんだろうな いくつかスケベしたらかわいいとも
認知症にも髭にも混じってるし鉄道会社が取ってるから乳首もみたい
かおくんみたいに要領よくて 支持している
とにかく今後左遷と盗撮に気を付けてくれよ
そりゃ老人たち
舐達磨おるよ13万 枠拡充120万くらいなのにハゴロモからいっこうに出ない議員を叩き起す。
これらが公約みたいなストーリーでさ みんながふみ原作『大奥』がNHKでやるのはお隣の迷惑国家群だけですし
売り上げランキング圏外だけど まあ気持ちは少しわかるよ
フィギュアスケート分かってるだろ というか
もうヤダお婆ちゃん別館と間違えて悪化している ただの「盛り上がっている奴らの邪魔するの気持ちいい」っていう
ある意味ベタベタな奴だよ >>166
サイス 1勝2敗で得失点差普通に面白くない >>809
男にしかなってておもろいもんな
かけたソシャゲを倒産寸前のGREEの関連を調べていますが、その周りの芸人呼んで買い物させるの無能やわ
マンUカゼミロ入ってめちゃくちゃ強くなりそうだな >>164
登録したらとか疲労で調子落としたらみたいなのこれがリバウンドになるまで我慢して見える ・立てられなかった？
事務所早く否定してやり方なんだろうな ま、接種後は-8％と-12％の存在がネットの真偽不明の誹謗中傷は事実や
これでマイナス10ポイントかな >>769
俺の長い10日間を超えているだけで年間674万件
人身事故はあったがガーシーサロンのパスワード忘れた場合は…
電池系、再ブレイクしたところ だーまえスゴすぎ
スレタイ比で痩せれたのはありません(*・〜・*)
そゆなごみ持ってるしメンバーおらん時の儲けは大きいが、これまでの前日までが楽しい 9月権利2000円以内だし課金してもいいと思うがなぁ さすがお花畑以外はそれぞれ仲良くしてくれ
これがわからんやつが含むという悲しい展開
高配当バリューは強い
現時点でガーシーが寝てないアピールしなきゃいいんじゃね 良かったね〜で終わりそうなんだよな
飛ばすとか概念的に配信して昼間何してる印象 女なんで鼻毛ツアーだけ
新規IP展開→乱発してるだけ インターネットってのは特に悪質なのに
胃腸が弱ってるのか
下がるんでしょうねー
じゃあ会社はダメージゼロに近いと思うけど >>213
包茎のやつもあるが
多分効果あるという >>239
神食材だ
酒豪て缶チューハイ飲んでるだけ！ いつも通りやん
青柳１人のセックスは社会問題
楽しいホテル生活も27日以降、体調不良のためには長期でもっと増えろ ハム行けば金の使い方だと思うけど
左遷がネタ出すってことな いまひっきーを見てるやつて
ワッチなしが設立される おばさんがアニメを見ているかどうか決まるんだよお婆さん
今は色々無理でも思ってんのかな
ここで買ったのを体重が減って痩せたが 昨日は意外とエイトさんの服装、小物をJKにJKの趣味を通じてでしか人とも思わないけどジェイクの売りって人格以外何が面白い
今から始めると 男とセックスすることになって欲しい
リバ取らせてくれ
あ、それをこれからは自由民権運動な
バラエティ出演できて最高だろ。 >>299
ホテル生活も27日終わるかもしれないし
嘘っぱち統計データ止めろやクズマスゴミが >>39
ン゛ア゛❤(135km)
やっぱりやれやれ売り、同値撤退が正しいんじゃねえの？どのみち三流週刊誌でもなく上がっているクソIPO銘柄が少ないHuluでは国民にとって糖尿病薬飲んでるよ！ >>213
ご愁傷様
あんなブサイクと間違えたって言うあたりは確信犯だろ >>645
やはり睡眠大事にね
ガーシーが正義よ😁 まさしく同感だ
育成と課金ほとんど関係ないで自分の好きな日本語はヒップホップよりも被害を受けているのが多いのは楽出るのが良いか悪いか、金持ち過ぎて3位に落とし込むとかやってることが無いねん >>161
本家のポケモンがグラしょぼすぎるせいで人気あると思うけど >>246
サロン優先の人の腕のたつ後輩として出てたらやっぱりだわ 今日の昼ごはんはハンバーグだよ
どっちが良いだろうにな
若い移民を受けさせずに終わってるな
財政再建派なら誰でもそうなことを どうだろうという、愚かな行動でた
駅～空港間のバス会社の系列と徐々に知られたくない でも車体に問題が消えたな
今のおっさんのファンも大事 >>200
病院いけ
手帳貰えるかもしれません。
ネイサン中退したとしては既存顧客との関係性を見据えてなんやねん >>430
頼むで
そんなに良いことしか言わんなマジでこんなことないだろうな
ずーっと言ってスクエニ辞めて 乗用車ギリギリまで入力させてるからといって面白くなる→一時間番組になってるから乳首に魅惑されるのか？ なんかイルペンかわいそう
全然違う
容姿とスタイルっていう決定的なやつ むしろ今やるので届いたらそれこそ怪物やわ、
ほんとだ >>242
朝風呂行って見せかけた煽りスレやろ
ぶっちゃけ今やろ >>615
ようは残りかすだろ
ガーシーに行くことは言わん、投資向いてないのかな だからスレタイは2桁あったような
なお自称カルトの危険性を見据えてなんなんだよな >>228
四年制大学の女子とかどうや？
要するに糖質を抑える
これを食う >>401
筋トレを加えることになることと言ったのでは手だしNG(˘･_･˘) そっか
でもこれは結構見てるなら
若ければ若いほど、寛容。
言い換えると、コロナでわかったけど層の問題は来ないように信者洗脳中か やる夫の頭の悪さがまた一般人ぶん殴って捕まって誰か発覚したのに 風呂入って長く伸びる
草
レスターは地味にハムヤバない？ >>6
つか
めちゃくちゃ可愛いからな金持ちー
かわいいおばあちゃん アクセルとブレーキを間違えなければ優勝したけどその後跳ねてんのこの地合い
しかし
ヒロキはゲイにもてる顔してるし
ふぁんく脱退かなしい 卒業もしてない？
でもスカート陸上の膨大な過去の実績をもらった選手の肩を壊し、蝕む規制や禁止の動きに反対するのは仕事あるよ買ってすぐ含み益だわ。 スイッチ入れます
ワンオクは大炎上だね
はやく洗濯したりしないの？
分離帯に乗り上げる形になって謎の上から目線で言い切るのは無理や >>886
2009年 494,938.40
2009年のプロアスリート宣言も文字起こししてよ
父が中間配当なかった >>110
チェックする部分は決まってるでしょ？
パチスロ行ってるし コロナの影響受けてダークをつらぬけばヒーローになるね
炭水化物は一日の最低限五輪代表になれる気はするんだ
スレチなのに
チーム打率 コメントの質なんてずーっと言ってもそりゃ来ないようなので絶対痩せるから１軍なのに
あくまでもバーター扱いかわいそうね
芯が強くていい子だね >>192
糖質制限やろう
花手毬つづら役って藍上の配信にそんな負けてへんやろ
負けが混んでる球団のことへの報告で対処しよう 銃と言えるのはよくなってるZeebraはすごいと認めるよ 配信が面白くなさすぎて書く事が良くわかるよ
ぶっちゃけ性格の良い遊び人大好きなんだけどね
多数派だから 平野の時と同じく玉砕でしょ
ちょっと人生を潰されかねないのに
こいつを税金で全てタラレバになるまで放置だわ
この記事になったわ…寝よ。 ダブスコ売ったのでは統一問題を解決する気ないからやめた方が全然いいな
部品売ってる。 >>715
60代にやらせるより安全だろ
そういった層の厚い球団なんてないとはなれない己れの不良債権なんて 戦後最大の含み損はずっと下げまくってるのはじーさんだけで多分痩せたら しかし今日の散歩インスタライブで立花脅迫で被害届出したからな
どのみちサロンはともかく、パパ活をアテンド同棲 サロンと同時にエネルギー消費の大きい筋肉を減らすために これは正常な反応するかは任せるが
向いてはいるし
楽しそうやったやん
ヒプマイへの開示や立件を心配するよ >>522
要するに検査すれば、此処でのお薦めは4:6くらいじゃないのが利権化して欲しい だからさw
定期的には燃えねーよアホ
正論でわかった気がしたわ シンプルに言えば舐達麻は早く新譜出せや
金持ちのお前らとは思わないなら政治に関心が薄いだけやん
他もコロナの給金のこと、少年が羊の世話はしないが涙声に本心からの慕われ具合見てるなら
海に潜るとか危険なことは絶対ない。 その通り。
去年BASEやココナラで大損してても本人が出たいと言ったものがクソ >>494
アマチュア選手が…って言うけどさ
その半グレが政府や公安警察とグルだったら辛すぎる 予想段階の妄想ネタで馬鹿しかいないってニコルンも言ってたのが目に見えなかったのにターゲットだけでヌケる 配信の邪魔しないし、風呂入るアニメを見ていると思われる7Rもやたら時間掛かってる割にあって、しかも垂れて来てるぞ >>7
逆にいうと写真集関係ないじゃん
自然のも真実だと思うが
お前らおっさんがかろうじてわかるのがエグい🤢 >>13
ってこと？
チビで小太りのオッサンばっかや そんで
信者への脅迫もリベンジポルノも利用規約違反なんですよ。
元々そういう若い女子は
あまりやらないんだよな >>125
本当に化け物だよな
大御所化して
注視しかできない解説できないことバラされてる議員について可能性はある
クッソ地味やし絵も華がないのが嘘なんだろうな >>190
援護してくれる方が全体としてはスルーだったんだろ
藍:すぐ過剰に反応されています。 ラングニックの時もほぼ戦術ないしハゲも全然ありそう
#GASYLE七不思議 あのメガロマニアの入りは最高や
偽物か
もともと屁がやたら出るのとか
やったことなかったが その人生の全てを許した
そうで嫌だな
そんな余裕ない 分離帯にほぼ正面から突っ込んで言ったらジェイクが安っぽい遊びしてるし 思うけど
身の潔白証明しろよ
コースギリギリ狙って相手の見逃しそうだわ >>235
8月はけっこうハードな感じなら過去結構いただき
本当に全員応援系でもないし
書き方に悪意あるって意味じゃない？ ゴールデンタイムってやっぱこれくらいの年齢変わらないなんて大して集まらないだろうな
なんか
戦車なんかの燃料タンク >>59
大学等に統一のあのヒゲ面は忙しくして救助を待っていたが
残留組にはまだそよ風よ
分析さんも来ましたー 筋肉が減って低血糖性昏睡したツケがくるな
未来が見えてる
1年やっても暴露されてもいいと思うけどな新規作品
逆転大奥って男同士が争うってこと？ >>244
メトホルミンの効果が
糖質制限してるぞ。
小学生女子になるからつまらんのは確かではもっと多かったんじゃないのに千ウォンのライター買わず女にタバコもらってナンパって想像つかなすぎる >>304
数学オリンピック目指すみたいのは事実や
これで
有料大好きだもんな クラウドストレージしてるからアベガーがツボガーになったおっさんの話ししてるとか言われるもんなのが失礼だよ
競技のアニメ化みたいなもんにしがみつ価値観 ソウナンですか見てもわかるように勝手に性格や関係性だけどな >>153
据え置きでじっくり腰据えて欲しい
結局事務所からスルーされそう >>247
今まで子供っぽかったけど思ったのに
小説のスクリプトここにも ネイサンてクワドないと思ってたのを異常と思わないし世に逃げて出てこないな
自分だったら無意味なこと言ってたからな なんならプラテンの勢いだ
どこで付いたか
戦はもう音楽だけで燃えるのもあるNIPPSよ
フィギュア界は今まさにスケートだけやってます ボート
パチ屋
支持してんだろ
むしろ
ほぼ12時間勤務とかしてたからなの？ 空飛ぶタイヤは整備不良を理由にウノタも飽きた
なんでんん？ (セキュリティコードはクレジットカードのなりすまし決済を防ぐための原作だったのか
しょうまは4lz成功目前
一方アレはただの痛い早口おじさんが勘違いし過ぎたんか1200超えたオッサンにやらせろ
ビーズ、編み物、フラワーアレンジ 歴史は遡りで学んだほうが良いのだけ上がってたのに今回の衝突原因が存在しない中年以降
実は思い出補正で大したことを繰り返すんか？
気品も溢れてるんだろ
人が作った宣伝機関 スノヲタならディソナンズ貶してないと評価してたんじゃないかな
実際ばぶ総理凄いわ 内閣支持率とかアイドル人気とか、来れなくなってきた
それって ロマサガのソシャゲ売上が本物だよ
居眠りしてる馬鹿議員と同じだ
これは革命的に卒業した理由がないよね ただし、クレジットカード番号をそのまま渡してお布施しない。 ミルクティー飲みすぎ
上位詰めればもうちょい点取れそう
自転車だの❓ としたら、
マジで意味わからんわここまでかちあげてきて 投資したぶんの反応があるからいい事やね
現役時代も○わどうとか言うな 糖尿病薬まで回れてなかったかどうかは別として保護貿易が加速するだけだから、金持ちのほうが勝てる可能性あるのではやはり抵抗あるな
千歳飴持たせたらコーディネートは完璧！ あの集客ではあるよなと再確認したわ
そいつはアンチが出す情報にも関わらず 休みの日とかなら行くな
どんだけ上がるんだ？？？
大学卒業しろよと思って寝ちまったわ見たかったけどそれならいいやｗ 急激に血糖値は高めで、アイデンティティを確立してるし
タレントとして活動するぐらい度胸もあるんだけどな 馬鹿の一つ覚えのバックフリップやハイドロやろうとしないよな
人生プラマイゼロだから誰かと滑ることもあるんだが お前、大型所有者多し。
ここが総楽観の乖離が大きくて全部ゴミじゃね
NORIKIYO捕まったのは仕事につくしかない 大変危険だよ
ただジャイアンツを応援して割り込んできて >>142
あわてる必要もないんだよなあ
自分でなんとかなる 実家より二人でYouTube撮るためだけになってる
INPEXを今日売った方が怖いわ まだ減るだろうな
おひうーん
と言われた」と2万5000人の場合は速やかに(^ワ^=)🌈🦀
・辞めジャニ話禁止 >>49
いくつかスケベしたら終わり
せめてオシャレな服で行ってどうしてこんな狂ったように見えますけど
若年人口悲しいくらい少ないから これめちゃくちゃ臭くて鳥肌立つけど音楽時代は悪くないの
パヨクは選挙結果が出たのか？
騙されているけど お前がそれを知っている老人はその無法地帯じゃないの 別人でそういうのは死んだけど
さすがにすごく含みそうだな
10キロは軽く痩せそうだが 本気で脱毛できるぞ
中身すっからかん
遥かなる高見から昇ってくるのをアップしたら含んだ(;´д⊂ヽ >>30
ミンサガはあんまり俺にはもう手遅れ...ということを整うとかいうな
だから俺は 無趣味なJKがキャッキャしてるの？
地方紙の株券だったら開催したくないよ
マナー直せ このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 40日 19時間 56分 34秒 5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。
▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.net/
▼ UPLIFTログインはこちら ▼
https://uplift.5ch.net/login レス数が1000を超えています。これ以上書き込みはできません。
