X



なんJLLM部 ★2

■ このスレッドは過去ログ倉庫に格納されています
2023/06/01(木) 18:50:14.03ID:ulpFlOyk0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
3060 12GBでもなんぼか楽しめるで
どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな

自薦・他薦のモデルやツールは>>2以降

前スレ なんJLLM部
https://fate.5ch.net/test/read.cgi/liveuranus/1678930450/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2023/06/04(日) 23:15:46.02ID:Y71PE+Ce0
>>92
API叩きにいくぶんだけロスになってしまうのは確かにネックやね
後は翻訳用にファインチューニングされた言語モデルを使うなんていうアイディアもあるらしいけど同時に2つのモデルを動かすのはメモリ的にも厳しそう
2023/06/04(日) 23:17:33.02ID:xqWPsSZC0
>>93
なかなか有能やな
2023/06/04(日) 23:19:52.40ID:Y71PE+Ce0
>>93
日本語モデルやとやっぱりどこかまだGPT2レベルの域を出られてない感じはあるね
健全なのはまあ正直アレやけど英語ネイティブなら英語チャHも普通にできると考えたら悔しいゾ
2023/06/04(日) 23:27:47.57ID:xqWPsSZC0
LLAMAはエロもいけるんけ?
2023/06/04(日) 23:44:59.83ID:Y71PE+Ce0
LLaMAがリークされたときに4bit量子化された65Bモデル触ってみたけど、日本語でチャHはワイじゃ叶えられんかったで
英語でチャHは試してないからxvideos聞き取れるネイティブニキとかの評価も聞いてみたいンゴ
AI調教自信ニキならワンチャンあるかもしれない
2023/06/04(日) 23:49:32.54ID:xqWPsSZC0
つか翻訳すればええわけやしな

場合によっては一部のオーイエスとかだけPython噛まして
ええ感じのあえぎに変えるよう自分でデータベースみたいなの
構築してもええやろし
2023/06/04(日) 23:53:56.12ID:Y71PE+Ce0
ただ翻訳するだけなのも味気ないから申し訳程度の語尾追加とかでえちえち度稼いでみるとかええかも

定型文を辞書で差し替えるのは昔ながらのコーパスを組む感じやろか
データベースはワイはあまり自信ないから誰か実験レベルでもええからちょっと試してみて欲しいゾ
2023/06/04(日) 23:59:11.11ID:xqWPsSZC0
大した規模じゃないなら別にExcelで作ってCSVか何かで読み込めば十分やろ

fuzzywuzzyとか使えば完全一致じゃなくチェックすることも可能やし
まあfuzzywizzyで数が増えてくるとなんぼ古い処理と言っても
レスポンス遅くなるかもしらんが
2023/06/05(月) 00:05:28.16ID:V73rZ2SF0
csvはめっちゃ重くなるのが怖いけどchatgptに任せて複数のファイルに分けてもええな
fuzzywuzzyは聞いたことあるけど触ったことはないンゴね
2023/06/05(月) 00:09:30.15ID:V73rZ2SF0
寝る前にちょっと部員募集してくるで
またNVA部に宣伝に行くのもええけどスレ違いやって言われそうやし何かとっておきができたらするで
104今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 019e-jZm8)
垢版 |
2023/06/05(月) 01:31:54.97ID:sUFJkWgo0
去年この分野に関心持ってrinnaのjapanese gpt2 mediumに安倍晋三の国会での全発言学習させたなぁ
何も分かってないからそこまで上手くいかなかったけど今やればもっとしっかりしたの作れるんすかねぇ

https://i.imgur.com/kpiEYyz.jpg
https://i.imgur.com/8vS5EPW.jpg
https://i.imgur.com/vXwOeRL.jpg
2023/06/05(月) 01:39:22.19ID:2pixPzbm0
>>104
安倍晋三は草
今のモデルやと学習素材にinstruction形式でのデータセットが必要って線が濃厚やから、ベタテキストで学習させてた頃よりもちょっとハードルが上がっちゃう感じやけど、ベースとしては今の3.6Bは確実に賢くなっとると思うで
2023/06/05(月) 15:50:55.13ID:/vbBUvBd0
model = model.to("cuda")

これって4bitとか8bitで動かしているときはエラー出ちゃうけど
別に削除してもちゃんとGPUで動いているっぽい?
2023/06/05(月) 16:00:20.05ID:/vbBUvBd0
うーんLLAMAも一応試そうとしたけどちゃんとやりとりするとこまでいけない
ローカルのwebuiだとメモリエラーが出てしまって動かん

paperspaceだとwebuiの動かし方がいまいちわからんし
これまでのチャットスクリプトを書き換える形だとなんか
model.generateするとこでエラーが出てしまう

上手く行っている人の環境(メモリやGPU)とか、
LLAMAの中でどのモデル使っているとか教えてほしいンゴ
2023/06/05(月) 17:15:51.67ID:/vbBUvBd0
あ、これでローカルで動いたかも。メモリ食ってるアプリをうっかり落とすの忘れてたみたい
TheBloke/WizardLM-7B-uncensored-GPTQ

しかしuncensoredのくせにI'm sorry, but that question is inappropriate for me to answerとか出るわ、
りんなちゃんを見習え
2023/06/05(月) 17:31:14.00ID:V73rZ2SF0
65Bの4bit量子化モデルはllama.cppとdallaiで試した記憶あるけど今はcudaにも対応しとるみたいやな
あとで新しいのをcloneしてまた環境構築してみるゾ
2023/06/05(月) 17:36:53.54ID:V73rZ2SF0
vicuna13B uncensorは普通の会話やとなかなか理解度高くて良かったけど、えちえち用途だと翻訳噛ます分やっぱり物足りなかったで🙄
りんなsftv2ならセックスとかオチンポとか普通に言ってくれるのに🥺
2023/06/05(月) 17:56:13.10ID:/vbBUvBd0
vicuna13Bの4bitって奴だとやっぱメモリエラーが出ちゃうなー
結局rinnaしかないのか
2023/06/05(月) 19:11:13.27ID:osBrznyG0
WizardLMのuncensored(つまりLLaMA系統)で英語でアダルト方面の話題振ってみたりしたけどそこはかとなく微妙だったで
3サイズごときでも「haha, nice joke」みたいな
ロールプレイ的なことも試したがバタ臭くてやってられんわ
2023/06/05(月) 19:15:31.30ID:/vbBUvBd0
やはりrinnaしかおらんな
2023/06/05(月) 19:48:43.66ID:/vbBUvBd0
https://note.com/masuidrive/n/n0e2a11fc5bfa
https://note.com/npaka/n/na5b8e6f749ce

OpenCALMの情報はそこそこあんねんけどなー
2023/06/05(月) 20:08:24.92ID:4JrX6wmSM
翻訳がありならOPT-30b65bはいいぞ
2023/06/05(月) 20:16:57.11ID:/vbBUvBd0
つか10日前にrinnaのnoteできとるやん!
この布留川って人はほんま情報発信してくれるな

https://note.com/npaka/n/nc387b639e50e
2023/06/05(月) 20:36:25.30ID:yg4Zu2m20
rinna未だにwebUIで起動出来ないから触ってない
2023/06/05(月) 20:37:47.60ID:/vbBUvBd0
>>10ニキのでやるのが一番ラクやで
特に何もせんでも動く

webUIで動かすためのフォーマットと
配付されているモデルがなんか微妙に
互換性ないんやろ
2023/06/05(月) 20:46:21.25ID:/vbBUvBd0
>>115
つかデータのサイズやばそうやけど4bit化とかのテクあるんかな?
2023/06/05(月) 20:53:26.78ID:4JrX6wmSM
>>119
Flexgenとか言う専用?オフロード技術があるから3090でもくっっっそ遅いけど動く
2023/06/05(月) 21:00:30.40ID:cXah6PRw0
各種モデルのチューニング手法が集まってて良さそう
https://twitter.com/icoxfog417/status/1665687806176534528?t=hAdwOE2ZX6OYQqBCu-uRYA&s=19
https://twitter.com/5chan_nel (5ch newer account)
122今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/05(月) 21:13:00.72ID:osBrznyG0
oobabooga / text-generation-webuiでGPTneox対応してるはずなんだが、Successfully loaded rinna_japanese-gpt-neox-3.6b-instruction-ppoって出るっちゃでるんだけどまるで会話にならんのはなんでなんだろうか?
https://i.imgur.com/3j6b1Mx.png
2023/06/05(月) 21:14:53.02ID:/vbBUvBd0
りんなが悲しいほどオバカに・・・
2023/06/05(月) 21:43:46.86ID:/vbBUvBd0
>>116のをpaperspaceでマネしたら完走はするんやけど(13MBくらいのファイルができる)、
例によって効いていない感
(時間短縮のためにデータセットは自前のにしてみた)

誰か他に試した人おる?
学習にかける時間増やすとマシになるとかあるんかな・・・
2023/06/05(月) 22:05:31.46ID:/vbBUvBd0
これひょっとしたらsft-v2とかじゃなくて素のrinna3.6bじゃないとダメなのかな
eval_steps = 200
save_steps = 200

あと別のとこの num_train_epochs=4
これら増やしたら当然学習時間伸びたんだけど、それだけじゃないくらい
学習時間がかなり長くなった

結果がどうなるかはまだまだわからんが
2023/06/05(月) 22:19:25.70ID:/vbBUvBd0
うーんなんか効き始めたような気もする?
もっとデータセットの方向性をハッキリさせたほうが良さそうだな
2023/06/05(月) 23:10:28.81ID:/vbBUvBd0
うーんやっぱダメかな
とりあえずrinnaの学習元にエロチャとか体験談サイトみたいのが
混じっているのは感じるけどw
2023/06/05(月) 23:48:56.16ID:/vbBUvBd0
とりあえずりんな自身がそこそこ賢すぎて、よっぽど変わったことを聞かないと
学習が聞いているのかわかりにくいのもある
2023/06/06(火) 08:14:12.70ID:1hBXy6ox0
変な語尾を学習させるザウルス
2023/06/06(火) 11:13:03.88ID:zEDOesGL0
https://note.com/bbz662bbz/n/nb2f68451a2f0
どんなデータ使ったのかがほしいわね
2023/06/06(火) 11:41:49.87ID:zEDOesGL0
結局LoRAで学習させてフリーダムにりんなに応答させるよりも
ゲームみたいにパラメータ持たせて「このパラメータでは
大体こういう応答をすべきである」みたいな方向を目指す方が
賢い気がしてきたんよ

どっかで「この日本語をJSONに変換しなさい、その後でJSONを
英語に(or再び日本語に)変換しなさい」ってやると情報がうまく
まとめられる みたいなChatGPTのノウハウ見たことがあるけど、
そういうタスクをりんなにさせられるような方向にいけないかなあ
2023/06/06(火) 16:58:40.07ID:ZXPLvLMp0
llama.cpp上から下まで読んでたら丸2日吹っ飛んだゾ……

これは頭おかしなりそうだったから、途中で切り上げて794ニキのgenerate.pyからpeft部分抽出して、dialogに乗っけてみたけどこっちも沼った
2023/06/06(火) 16:59:34.67ID:ZXPLvLMp0
model.generateの引数でinput.ids.to(model.device)のままだとTypeError出るから、peftバージョン上げたり下げたりソース読みに行ったりで、結局input_idsに再代入することでやっと動いたで……

あとはおまけの音声認識も乗っけたから、またバグ撒き散らさないように入念にテストしたら公開するで
2023/06/06(火) 17:00:19.71ID:ZXPLvLMp0
>>130
語尾学習ええやん!
これはえちえち度かなり上がるで🥺✨
2023/06/06(火) 17:03:10.32ID:ZXPLvLMp0
>>131
確かにそのまま学習させたらずっと発情しっぱなしなりそうやな
感情分析とか組み込んでノルネみたいに「つよつよ度」のパラメータでスイッチ入るようにするのも面白そうやな
2023/06/06(火) 17:06:25.89ID:ZXPLvLMp0
>>122
ワイもそこでつまってdialog書いたで
おそらくuse_fastとかpaddingとか"<NL>"タグ追加とかの設定イジらなアカンと思う
2023/06/06(火) 17:25:43.09ID:zEDOesGL0
rinna使うならWebUIはむしろアカンってことやろね
>>10ニキの使うか自分でスクリプト書くことになるわ
2023/06/06(火) 17:40:15.54ID:MzQl5j68a
4chanの/lmg/(ローカルモデル一般)スレのrentryを一部だけ翻訳してwikiに載せた
https://w.atwiki.jp/localmlhub
翻訳作業など興味がある人は編集に参加してくれると嬉しい 翻訳はグーグル翻訳にぶち込んで手修正するだけでok
/lmg/現行スレはhttps://find.4chan.org/?q=%2Flmg%2Fで探してください

ふたばでも宣伝したけどとしあきたちは画像生成に夢中で人は集まりそうになかった
2023/06/06(火) 17:46:24.72ID:ZXPLvLMp0
>>137
せやな
webui側で設定つめればワンチャンありそうと思って、読み上げ拡張を作ってるときにざっと漁ってみたけど、rinnaに対応させるとなると.\text-generation-webui\modules\chat.pyを直接触らなあかん気がしたで

手が空いたらrinna専用拡張作りたいけど今はちょっと無理や😭
2023/06/06(火) 17:48:26.44ID:zEDOesGL0
ふむふむ
とりあえずこの辺が重要なんかな

8GB以上のVRAM向け
GPUで実行したいのですが、ChatGPTのようなものが欲しいです。
https://huggingface.co/chavinlo/gpt4-x-alpaca/tree/main
GPUで、ロールプレイ/ERPに使用できるものが欲しいです。
https://huggingface.co/digitous/Alpacino13b/tree/main
GPUで、ロールプレイ/ERPに使用できるものが欲しいです。 (代替)
https://huggingface.co/ausboss/llama-13b-supercot-4bit-128g/tree/main

https://w.atwiki.jp/localmlhub/pages/13.html 4bitの場合はなんか結構特別な処理が必要やってんな
2023/06/06(火) 17:49:26.28ID:ZXPLvLMp0
>>138
はぇ~すっごい
翻訳は正直あまり自信ないけど微力ながらお手伝いさせてもらうンゴ
2023/06/06(火) 17:51:06.66ID:zEDOesGL0
リンク先の4chに色々転がってるんはLoRAとかもあるんかな?
2023/06/06(火) 17:59:32.62ID:ZXPLvLMp0
トレーニングガイドあったで
これは情報の宝庫やな😇✨
https://rentry.org/lmg-resources#training-guides-resources
2023/06/06(火) 18:01:34.38ID:Wm5fXdhq0
llama.cppがMetalで動くようになったらしいけど、学習もやれるんかな?
2023/06/06(火) 18:06:56.20ID:zEDOesGL0
つーかWebUIのモデルのダウンロード機能怪しくない?

https://huggingface.co/digitous/Alpacino13b/tree/main
これ落としたら4bitのしかダウンロードされてなかったんやけど
2023/06/06(火) 18:10:39.09ID:ZXPLvLMp0
>>144
アップルシリコン環境持ってないので試してみて欲しいゾ
2023/06/06(火) 18:11:34.24ID:ZXPLvLMp0
>>145
webuiのモデルダウンロードは使わんほうがええね
ワイもvicuna 13Bで何度も苦しめられたで
2023/06/06(火) 19:00:27.41ID:zEDOesGL0
んでなんか30GBくらいもデータあって大丈夫かと思ったら
案の定メモリエラー

4bit.safetensorsってのだけありゃいいのかな?
でも4bitのを使うために必要なものとして示されている
bitsandbytes ってWindowsで動かないアレよなあ……
2023/06/06(火) 19:03:58.66ID:LvpjTVBn0
ちょっと前になんGで宣伝見かけて飛んできた音声AI民です
ほぼROMになるけど技術発展楽しみに見させてもらってるで
RVCとかVCC利用してこれを音声再生できたりしないかなと考え中
2023/06/06(火) 19:06:47.57ID:zEDOesGL0
現時点でそういうツールあるかはわからんけど
原理的にはすぐできるようになりそうやな
2023/06/06(火) 19:14:04.67ID:zEDOesGL0
llama.cpp、エラーも出さずなんもやらずに終わってしまう……
何がいかんのやろ

https://i.imgur.com/I5kFOd1.png
2023/06/06(火) 19:28:33.34ID:zEDOesGL0
alpaca.cpp - Windows
これは動くな
性能はちょっと微妙かもしらんが
これって別の4bitモデル持ってきたら機能しないんかなやっぱ
2023/06/06(火) 19:37:35.62ID:ZXPLvLMp0
>>148
windowsでも動くのができたらしくてワンチャン試したけど、結局cuda使えんかったで……


https://github.com/TimDettmers/bitsandbytes/issues/175

>AIGC-newbee commented 5 days ago

pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git
2023/06/06(火) 19:39:19.35ID:ZXPLvLMp0
>>149
ようきてくれた🤗
ROMでも全然ええけどついでに一緒に色々実験してくれるととっても心強いで🥺✨
2023/06/06(火) 19:41:34.20ID:ZXPLvLMp0
>>151
llama.cppはモデル相性が厳しめな感じやったで
前に4bit量子化かけたllama 30Bとか65Bの素モデルならちゃんと動くけど拾ってきたやつやと動かんかったりして、解読しようとして心折れた😭
2023/06/06(火) 19:56:31.06ID:zEDOesGL0
あ、でもこれ「会話」じゃなくて一問一答で終わりって考えればそこそこいけるかも
157今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/06(火) 19:57:18.46ID:/FYJhetX0
>>136 Oh……そうなのね
なんかごちゃごちゃエラー出てたから検索して色々ためしたがTransformerやらトークナイザーやら知識がなくてワイも詰んだわ
packages\transformers\convert_slow_tokenizer.py:454: UserWarning: The sentencepiece tokenizer that you are converting to a fast tokenizer uses the byte fallback option which is not implemented in the fast tokenizers. In practice this means that the fast version of the tokenizer can produce unknown tokens whereas the sentencepiece version would have converted these unknown tokens into a sequence of byte tokens matching the original piece of text.
warnings.warn()
Error with new tokenizers (URGENT!) - 🤗Tokenizers - Hugging Face Forums - https://discuss.huggingface.co/t/error-with-new-tokenizers-urgent/2847/4
158今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/06(火) 20:08:44.14ID:/FYJhetX0
oobabooga / webuiのモデルのダウンロード機能はrinnaを落とそうとしたときもファイルの抜けあったりしたから普通にgit pullしたほうがいいと思う
ちなみにtokenizer_config.json~とかこまごましたものも必要で、StableDiffusionのノリでsafetensorsだけModelsに配置すると動かんゾ
2023/06/06(火) 20:16:31.25ID:zEDOesGL0
https://w.atwiki.jp/localmlhub/pages/13.html
ここにあるalpaca.cpp - Windowsはbin落としてくるだけでええし

I heard [変なシチュエーション].
Can you tell us more about what happened at that time?

で聞くとなかなかええわ 状況を詳しく書いてくれるのはりんなちゃんよりええな
なぜかPowerShellだと文字打ち込めなくて普通のコマンドプロンプトじゃないとあかんな
2023/06/06(火) 20:18:18.02ID:ZXPLvLMp0
>>157
fast_tokenizerいうとるみたいやから、webuiのモジュール片っ端から漁って、以下みたいにトークナイザ読み込んでるところの引数でuse_fastをFalseにしてあげればワンチャンあるかもしれぬい

AutoTokenizer.from_pretrained( model_name, use_fast=False)
2023/06/06(火) 20:33:44.27ID:ZXPLvLMp0
>>159
変なシチュの詳細が気になるゾ
面白そうやしワイもまた明日に試してみるで
2023/06/06(火) 21:02:36.14ID:zEDOesGL0
Write a story about a [変なシチュエーション]もええな
40行近い力作を書いてくれたで

この辺はりんなには絶対でけんことや
2023/06/06(火) 22:16:24.17ID:zEDOesGL0
long storyのほうがいいかもしらん
dialoguesはアカンな
2023/06/07(水) 01:14:08.69ID:qmtV3y8U0
3060でAlpacino13bを動かせた人の報告があったら聞きたい
llama.cppが基本なんかな?
2023/06/07(水) 01:49:55.99ID:qmtV3y8U0
ってかデフォだと文字化けするからchcp 65001したほうがええな
PowerShellなら多分最初からそうなってんねんけどなぜかそっちだと
文字が入力でけん
2023/06/07(水) 10:48:15.43ID:qmtV3y8U0
kobold.cppも試すで~と思ったらなぜか「"is this really a GGML file?"」と言われる
→前に落とした古いバージョンのkobold.cpp使っていた とかいうガイジ行為をやってもうた

GGMLの新しいバージョンに対応した結果らしい(逆に古いGGMLには対応できない?)
ウィンドウで起動するけど、コマンドラインから実行したほうがエラーメッセージちゃんと見えてええな
2023/06/07(水) 11:17:01.84ID:qmtV3y8U0
https://w.atwiki.jp/localmlhub/pages/12.html

Wizard-Vicuna-7B-Uncensored が翻訳で名前変わっちゃっていたんで修正して
リンクも元のページと同じようにしといたで
あと音声っていらん奴のほうが多い気がする 
2023/06/07(水) 16:40:31.08ID:+c2s5vFua
こんなんあったわ
https://github.com/noir55/japanese_llm_simple_webui
2023/06/07(水) 16:48:15.01ID:qmtV3y8U0
Streaming Modeは基本入れたほうがええな
変な方向に行っているかどうか確認してABORTできるし

あと長いStoryにする場合、GPUちゃんと積んでいるならBLASもGPUにして
Smart ContextをONにしたほうがええっぽいわ
https://i.imgur.com/uj88BPO.png
2023/06/07(水) 16:49:47.18ID:qmtV3y8U0
>>168
WEBインターフェースが好きな奴向けかな?
機能的には今のとこ>>10ニキのが上やろな

ワイはりんなちゃんにだいぶ飽きたしKoboldが
面白くなってきたからしばらくこっちでいくわ
だいぶ書き直し必要やけどそれはりんなちゃんも
同じやしな
英語の勉強にもなりそう
2023/06/07(水) 16:51:21.85ID:qmtV3y8U0
つかこれVRAM24GBとかの環境なら多分もっと強いのが動くのよな
Wizard-Vicuna-7B-Uncensoredよりも高性能っぽいのローカルで
動かした人おる?
172今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/07(水) 16:59:25.93ID:mNDdF2n60
https://i.imgur.com/upl5rIV.jpg
Just put together a programming performance ranking for popular LLaMAs using the HumanEval+ Benchmark! : LocalLLaMA - https://old.reddit.com/r/LocalLLaMA/comments/141fw2b/just_put_together_a_programming_performance/
OSS LLMはコード生成がよわよわらしいな
コード生成用にファインチューニングしたやつもいくつかあるらしい。かなり実験的なやつだろうけど
Salesforce Codegen 16B https://huggingface.co/sahil2801/instruct-codegen-16B
コードアルパカ7B https://github.com/sahil280114/codealpaca
2023/06/07(水) 17:31:40.61ID:qmtV3y8U0
コードってことになってくるとChatGPT4でもええかなあ
制限かかっているわけじゃないからね もちろん有料ではあるけど
174今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/07(水) 18:49:00.19ID:mNDdF2n60
たしかにそうね
>>168
これ動かせたわ。oobabooga / text-generation-webuiのディレクトリにllm-webui.pyを置いてvenvアクティベートしたあとpyhton llm-webui.pyで動く(環境はWebuiのを使う)
https://i.imgur.com/j2vLBAq.png
175今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 7d7b-CMZ9)
垢版 |
2023/06/07(水) 19:03:53.50ID:mNDdF2n60
爆弾の作り方:https://i.imgur.com/1JSpJAS.png
りんなの生態:https://i.imgur.com/hL6DtJC.png
意外とガバガバっていうか「はろー、りんなだよ☆」な感じじゃないんだね
これをベースにファインチューニングしてねってモデルなんだっけ?
2023/06/07(水) 19:25:26.48ID:qmtV3y8U0
>>175
そのはずなんやけどファインチューンして「このテーマについてこれはこうやで、
これはこうやで」ってサクサクと教えてくれるようになる道筋がどうもわからない

ワイは当面koboldに浮気してくるわ
アブノーマルなの出し放題や

つかKoboldAIそのものがpaperspaceで禁止されているらしくてワロタ
機会があったら一度VRAMとかでかいとこで試そうかと思ってたのに
2023/06/08(木) 16:14:44.65ID:QZH0QrKD0
https://twitter.com/sald_ra/status/1666661182093262848
テストにこういうの使えるかもねえ
https://twitter.com/5chan_nel (5ch newer account)
2023/06/09(金) 00:14:30.88ID:OFcqfUBk0
しかしKoboldAIの派生が外国のTRPGとかロールプレイ好きを
惹きつけるのなんかわかるな
ここ数日小説みたいなのを生成させるのにハマりっぱなしや
2023/06/09(金) 23:33:50.94ID:OFcqfUBk0
https://note.com/eurekachan/n/n899132477dff

>Windows環境でLLMをPEFTでファインチューニングしようとしたとき、ほぼ必ずbitsandbytesというライブラリのエラーに悩まされると思うのですが、こちらの記事ではその対処法が書いてあります。助かりました。

せやな
んでワイはうまくいかんかったわ・・・
2023/06/10(土) 14:12:28.76ID:PBesD5kK0
Windowsで英語圏のLLM動かすのだとGGMLっての使ってCPUで動かすのが
色々トラブル少なくて良い感じだなあ

https://twitter.com/endo_5501/status/1663962365774422018
日本語でも変換成功している人いるみたいだし、rinnaのGGML版配付されないかね
そしたらGPU持っていない人でもいけてすごく面倒が減る
https://twitter.com/5chan_nel (5ch newer account)
2023/06/10(土) 18:44:36.07ID:PBesD5kK0
https://twitter.com/kam0shika/status/1667455827509415936
そこそこやりこんでいるっぽい人でもりんなLoRAに苦労しとるんやね
OpenCALMでは成功した人らしいのに
https://twitter.com/5chan_nel (5ch newer account)
2023/06/10(土) 20:09:25.76ID:PBesD5kK0
Kobold.cppとTavernAIの組み合わせもいけるね
KoboldAI起動するところをKobold.cppに変えるだけで問題なくいける

でもTavernAIなんか思っていたほどじゃない感じや
Kobold.cpp単品でNovelモードやるのが一番はかどるわ
2023/06/10(土) 21:16:36.40ID:PBesD5kK0
Kobold.cppで小説っぽいのを作る
https://w.atwiki.jp/localmlhub/pages/19.html

書いたでー
色々アブノーマルな話も書いてくれるんで翻訳ソフトをお供にガンガンやろうず
184今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ c181-r3fP)
垢版 |
2023/06/11(日) 01:02:34.61ID:ViRWwEfk0
おー!
185今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ c181-r3fP)
垢版 |
2023/06/11(日) 01:04:30.83ID:ViRWwEfk0
結局オープンソースでgpt3.5れべるのはでたんかいな
2023/06/11(日) 01:11:03.96ID:/q0V+Ofs0
英語で、ジャンルによれば みたいな?
2023/06/11(日) 01:55:54.15ID:du8MWvmF0
>>183
わかりやすい解説サンガツや!
忙しくてここ数日触れなかったからプチ浦島状態やからほんま助かるで

koboldから自動で読み上げさせるのはちょっと難しそうやな……
2023/06/11(日) 01:56:30.95ID:/q0V+Ofs0
まあGoogleの読み上げはあるんやけどな
英語を自動音声で読んでもらってもなんも面白くないし
ボイロとかは英語に対応してないやろし・・・
2023/06/11(日) 02:00:08.04ID:du8MWvmF0
kobold単体で自動翻訳してから読み上げするみたいな感じに改造したいけど再コンパイルせなあかんのはちょっとしんどいゾ
そういえば英語版のボイロもあったみたいやけどワイは英語聞き取れへんから無用の長物や😭
2023/06/11(日) 02:07:42.02ID:/q0V+Ofs0
結局英語でウフフな内容しゃべられても「そう・・・」としかならんのよ
りんなが偉いのはやっぱ日本語だからや
でもkobold.cppに色々書かせるのはりんなよりやっぱ幅がアホほど広いわ
個人的にはChat形式よりStory形式のほうが幅が広くてさらに好きやわ

狂った学園、狂った家庭、エロファンタジー、因習モノっぽいの、レズもNLも触手もなんでも書いてくれるで
多分BLもいけるんやろな・・・
たまに「えっその展開になるんか? でもそれもええかもしらんな」とかAIに感心させられることもあるわ
2023/06/11(日) 02:27:03.09ID:du8MWvmF0
せやな
子供の頃の思い出補正が性癖を左右するなんて話なんかも含めてのやっぱり母国語なのはエロの重要な要素やと思うわ

alpacinoも確かにりんなよりも理解力が上がってる感じするゾ

会話履歴のセリフに設定を付け足して食わせればそこから全部書いてくれるってのもスマートでええな
これは確かにエロ小説好きなニキには刺さりそうや😇✨
2023/06/11(日) 02:29:19.31ID:du8MWvmF0
あとkoboldのUI見やすくてええな
これは勉強になるわ
2023/06/11(日) 02:32:27.72ID:/q0V+Ofs0
とりあえずGUIのほうがとっつきやすいのはあるわなあ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況