X

なんJLLM部 ★4

■ このスレッドは過去ログ倉庫に格納されています
2023/09/30(土) 08:32:45.60ID:wbO7dX6P0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
英語ならそこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
日本語は、どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな

自薦・他薦のモデルやツールは>>2以降

なんJLLM部 ★3
https://fate.5ch.net/test/read.cgi/liveuranus/1691639766/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
2023/10/29(日) 02:10:41.20ID:ppbXevNd0
まあ趣味なら>>495でええと思うけど

それをどう加工してどのモデルにどのサービス使ってどう食わせると
上手く行くのか　ってのがてんでわかってきてないから
501今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6be6-OtU0)
垢版 |
2023/10/29(日) 05:47:56.42ID:dAjhL5O30
深層の学習は大量のメモリを使うので施設じゃないとできない、QLoRAはメモリが少なくてもできるから、個人でもできるって思っているけど違うの？大葉のトレーニング動かすんでしょ？
2023/10/29(日) 13:06:03.23ID:du3BziBv0
echidnaがエチDNAにしかみえないから13Bでやってみたけど
普通のllhama風の日本語理解力とllhamaより少しよさげな感触のエロさだった…
冷静に読めばエキドナだったか
もっといい日本語対応エロdataset出てきて見つけれますように！
2023/10/30(月) 08:54:02.07ID:gb0EgM7Z0
日本語はエロ表現が豊富なのが良いが、それが学習のハードルを上げてると思う
豊富なエロ表現を適切に使いこなすには大量の文例を食わせなければならず、それは数百数千というレベルではとても足りないだろう
ちまちま手作業でデータを用意しても埒が明かず、ネットから地引網するしかないのではないか
2023/10/30(月) 09:12:41.44ID:abuoAFJ1M
大手のモデルは紛れて欲しくない日本語として学習段階で排除してるでしょ
真面目な文書に突然おちんちんが混ざる可能性もあるわけだし
505今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 297d-zW/F)
垢版 |
2023/10/30(月) 14:32:20.10ID:wZKaVkz+0
海外のキャラ会話特化のデータセットを自動翻訳してみてるんだが名詞や言葉遣いの表記ゆれとか特徴的な語彙の変換とか無理がありすぎた
最初から日本語の会話形式の教師データを作るしかない模様
同人ゲームの開発者に協力してもらって会話式のテキストデータを構造化して食わせるべきか
2023/10/30(月) 16:17:31.08ID:UpbR0VCD0
ツクールならdecryptツールがあるから会話データも取り出せるな。もちろんこのデータで学習しても個人利用にしか使えないけど。
2023/10/30(月) 17:01:05.35ID:mc2Q1vtk0
精子を飲ませても「おいしいよぉ」とかって返してほしいけど英語返答を翻訳APIかませても「なんてこった、それは本当に美味しいです」みたいになっちゃうもんな
2023/10/30(月) 18:17:48.84ID:mUDI853IM
そりゃしゃーないだろ
2023/10/30(月) 18:35:12.75ID:6tNe9i6ia
場面に合った日本語らしいセリフへの大胆な翻訳はGPT-4かそれに近いレベルのAIじゃないと出来そうに思えない
2023/10/30(月) 19:23:38.12ID:0RDVjE5+0
言葉遣いにも性別がある日本語、翻訳でなんとかなるものではない
2023/10/30(月) 19:34:29.28ID:6RF4eQ1s0
キャラの性別、性格、口癖等をなりきらせてから翻訳とかできれば…
2023/10/30(月) 19:35:55.06ID:puQ2yktK0
何個もLLMを挟むんだよ
2023/10/30(月) 19:48:31.71ID:jewMGd5H0
エロチャットのバイトしてデータ収集しろよ
2023/10/30(月) 20:08:35.98ID:+SmsiZO20
翻訳して読む人には英語エロは勧められない
さらに言うと微妙なセリフ回しでシコる人にも英語エロはむかない
2023/10/30(月) 20:08:47.46ID:j98i4bIRM
大量のチャHログを持ってそうなのってどこの企業かね
やっぱROのあそこけ
2023/10/30(月) 21:54:02.33ID:zoXShGHK0
https://twitter.com/Teknium1/status/1718945379612610565
20Bであれだけ性能出るもんなん？
https://twitter.com/thejimwatkins
2023/10/30(月) 22:36:32.63ID:OlCDW58M0
いわゆる蒸留モデルってやつでは
518今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 297d-zW/F)
垢版 |
2023/10/30(月) 23:56:02.17ID:wZKaVkz+0
よしんば3.5が3の蒸留モデルだとしても家庭PCにアレがのるとは信じがたい
量子化したらモバイルに搭載できるぞ
タイプミスなんだろうけど事実なら優れたデータセットがあれば良いということなので夢はある
2023/10/31(火) 01:53:43.87ID:Khl/P/oA0
実際5年くらいしたらPCスペックが向上するのもさることながら
同じデータ量でグッと性能アップさせる技術は色々な側面から
出てきてそうではあるよな
2023/10/31(火) 09:22:00.25ID:K8g5rCoT0
https://www.ai-biz-blog.com/post/chatgpt-performance-fee-summary
この料金表が間違ってなければ175BのGPT3の1/10の値段のgpt-3.5-turboが20Bなのは結構納得行く気がするけど
性能から考えたら「マジで？」ってなるよなあ
521今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4130-7+TG)
垢版 |
2023/10/31(火) 09:47:43.43ID:KE0blMAR0
M3Mac買おうかと思ってたけどゲロが出るほど高いな
522今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0bfe-93cA)
垢版 |
2023/10/31(火) 10:31:13.00ID:3/do1OYl0
A100グラボ1枚より安いやんw
523今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4130-7+TG)
垢版 |
2023/10/31(火) 10:44:04.67ID:KE0blMAR0
rtx3060を4枚挿に比べてコスパが悪そう
2023/10/31(火) 11:00:25.39ID:OKcSdhkQ0
3060はそもそもの帯域幅の問題で並べても微妙そうな気しかしない
2023/10/31(火) 11:15:08.14ID:Khl/P/oA0
多分このスレからは1人くらいM3Macに特攻する勇者が出るやろ
そうしたら量子化した70Bくらいは十分快適やで～とかなるんかな
526今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 4130-7+TG)
垢版 |
2023/10/31(火) 11:18:39.46ID:KE0blMAR0
rtx3060を4枚挿を書いてくれた人、居たら70bのモデルでt/sどのくらい出るか教えてくれると助かります
2023/10/31(火) 11:47:26.32ID:OKcSdhkQ0
M3の帯域の情報が見つからんけど現状のMAXまでしかないならM2Ultraの方がLLMに関しては速いんじゃないか
2023/10/31(火) 12:29:08.27ID:eL5fXVYc0
A100、M3Mac、間を取ってThreadripper
LLMは金を食いすぎる
529今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 297d-zW/F)
垢版 |
2023/10/31(火) 13:03:47.41ID:upmA/udy0
AI育成プラットフォームつくったら使ってくれる？
日本語モデルのAIとNSFWありでチャットできて会話の添削と評価ができる
自分の添削済み対話ログはJSONLでダウンロードできる＋日本語ロールプレイ専用のデータセットとして利用される

英語でキャラチャの対話ログを利用していたデータセットがいくつか公開されてるけど同じことを日本語でやりたい
2023/10/31(火) 13:09:56.27ID:Khl/P/oA0
まず「これがワイが現時点でチューンした日本語モデルや！
カンペキちゃうけどかなりいけるやろ？」ってものを提示しないと
乗ってきてくれないと思う
2023/10/31(火) 13:38:47.21ID:K0t1wjvHM
結果だけ欲しい
2023/10/31(火) 13:57:39.91ID:1wsqmn2A0
結果がほしい方は是非こちらのクラウドファンディングへ！！
↓↓↓
2023/10/31(火) 14:28:14.86ID:A3sz3Q7Md
使ってみたい
だがどんどん偏った性癖に成長しそうな予感がたまらない
534今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 297d-zW/F)
垢版 |
2023/10/31(火) 14:28:19.23ID:upmA/udy0
一人でデータセット作りきれる気はさすがにせんわ…
難しいな
2023/10/31(火) 14:35:00.76ID:A3sz3Q7Md
ところで、りんなからyouriがリリースされたで
2023/10/31(火) 14:50:14.51ID:eL5fXVYc0
npaka氏いつもありがとう
2023/10/31(火) 15:01:49.60ID:Khl/P/oA0
わー国の法律を鑑みればネットに転がっているエロチャのログとか
拾うための最適手段を見つければそれが一番早いんちゃうの
2023/10/31(火) 15:32:44.95ID:eUK6HYcaM
>529
ワイはやりたいで
知識が足りんからChatGPTにやり方聞いたりしたけどよくわからんかった

AIのべりすとにも課金しとるけど満足できんのよなぁ
2023/10/31(火) 16:06:12.01ID:K0t1wjvHM
gpt-3.5-turboは20Bだってさ
MSの研究者が漏らした
20Bであそこまでできるんだね
2023/10/31(火) 16:07:43.85ID:K0t1wjvHM
220Bの間違いじゃねえかな
541今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1388-IMF7)
垢版 |
2023/10/31(火) 17:14:08.34ID:G4utkR660
>>535
rinnaの7Bきたか
llama2ベースなんだな

https://rinna.co.jp/news/2023/10/20231031.html
2023/10/31(火) 17:39:33.69ID:23idwXXs0
りんなアホだからな
富士山って答えないだろ
543今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-zW/F)
垢版 |
2023/10/31(火) 17:43:06.03ID:eWM13k7P0
>>542
いまweb版で試したら、ちゃんと富士山って答えるし、いろいろいいぞこれ
2023/10/31(火) 17:52:47.78ID:6uVo61h5d
りんなの会社だけど別物だぞ
Llama2ベースだし
2023/10/31(火) 17:53:56.19ID:eL5fXVYc0
温度調整とか真面目にやればあるいは？
https://i.imgur.com/gELrcx0.png
2023/10/31(火) 18:28:51.85ID:6uVo61h5d
■ 「Youri 7B」シリーズの特徴

Youri 7Bは、70億パラメータを2兆トークンで学習したLlama 2 7Bに対して、日本語と英語の学習データを用いて400億トークン継続事前学習したモデルです。Llama 2の優れたパフォーマンスを日本語に引き継いでおり、日本語のタスクにおいて高い性能を示します。日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの8タスク平均スコアは58.87となっています（図1）。ベンチマークスコアの詳細はこちらから確認できます。またモデル名の由来は、妖怪の「妖狸（ようり）」からきています。
547今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b23-eepm)
垢版 |
2023/10/31(火) 18:54:23.32ID:eWM13k7P0
youri 大葉で挙動がおかしい。回答が変
548今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 297d-zW/F)
垢版 |
2023/10/31(火) 19:09:17.95ID:upmA/udy0
日本語LLMにウーマンコミュニケーションのプレイをさせてベンチーマークしたい
2023/10/31(火) 21:18:04.69ID:H3XKBOGc0
エロ妖狸、文章能力はまだまだアレだけど取りあえずエロい言葉は知っている模様
https://i.imgur.com/6miFy88.png
550今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-zW/F)
垢版 |
2023/10/31(火) 22:00:00.05ID:eWM13k7P0
>>549
これ、kobold?
2023/10/31(火) 22:04:15.49ID:H3XKBOGc0
です。モモンガ版GGUF
552今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-zW/F)
垢版 |
2023/10/31(火) 22:25:18.52ID:eWM13k7P0
さんきゅ
koboldで遊ぶ時はbase版の方が使いやすいな。
他のは1文で終わってしまう
2023/10/31(火) 23:13:23.73ID:K8g5rCoT0
Youriはチャットモデルだと1文というか1単語でしか返さないでキャッチボールにならないしベースモデルだと、おかえりって声をかけただけで

ただいま〜♪　じゃあさ・・・その・・・手…付け合せてほしいな///（ハニカミ）
[キュ] You(ﾆｺ)「OK!」 (パシャリ!) (^_^)(´∀`)
(‘ω‘ ) [アイコンタクト] ((o(’v`*)b))((●>w<)=3

なんて返してきやがる……なんでこんな躁鬱の反応のモデルなんだよ
2023/10/31(火) 23:22:59.62ID:Khl/P/oA0
センスが20年前やな
2023/11/01(水) 06:38:05.77ID:EHBK4phN0
ベースモデルでそれが出てくるって変な物食ってるな
学習素材の質が悪い

ネット上にまともな日本語が大量にある場所はどこかと考えたけど、どこのコミュニティも方言というか文化があって変な日本語なんだよな
ここだったら猛虎弁とか
2023/11/01(水) 08:12:47.40ID:tSVRIEI00
人間の遺伝子だって0.1％の違いが個性を生み出してると考えると
ベースが良くても被せるデータに少しゴミが混ざるだけでアタオカになるんだろな
557今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d102-zW/F)
垢版 |
2023/11/01(水) 09:08:15.53ID:dDFwPm2O0
youriのbaseとchatをOobaで試したけどかなりアホっぽいな
558今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d102-zW/F)
垢版 |
2023/11/01(水) 09:15:32.86ID:dDFwPm2O0
Nvidia ドライバー 564.01 で、VRAM が枯渇したときにシステム RAM へのスワップを無効にできるようになったらしい
https://nvidia.custhelp.com/app/answers/detail/a_id/5490
2023/11/01(水) 10:01:54.08ID:3WRUMYdV0
それむしろLLM的にはお世話になってる機能なのでは
2023/11/01(水) 10:20:32.74ID:3WRUMYdV0
https://www.itmedia.co.jp/news/articles/2310/31/news169.html
我々が使えるものかは別にして企業はこれくらい目指してもらわんとな
561今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5154-93cA)
垢版 |
2023/11/01(水) 11:29:22.64ID:/uF9OgKS0
>>0557
大葉だとアホになる
koboldでbaseやるんだ
2023/11/01(水) 12:41:22.77ID:e/K2P35vM
70B以下じゃ創造的な会話はムリ、じゃね？
2023/11/01(水) 12:48:53.24ID:fdSHNUCEM
chatGPTのturboが20Bだって言われる前ならそう思ってた
2023/11/01(水) 13:01:06.92ID:9UZjiHd/M
>>560
この規模の日本語モデルの性能って実績がないからマジでどうなるかわからんよな
他作ってるのは小規模で性能いまいちやし
2023/11/01(水) 13:29:29.70ID:3WRUMYdV0
>>563
誤植だと思うけどなー
2023/11/01(水) 13:41:09.96ID:C2bE2JpQ0
APIで使うとき3.5turboの料金はgpt4の十分の一以下だから
モデルサイズが小さいってのもそこそこ信憑性あるんだよね
小型モデルなら鯖も安く済むわけだし
2023/11/01(水) 13:45:11.45ID:BFhWj71m0
なんぼ何でも70Bでもどこも追いつけてないGPT-3.5が20Bはぶっちぎり過ぎて信じられない…
本当なら巨大なモデルをまず作ってからの蒸留が文句なしのサイキョーって事よね
2023/11/01(水) 14:53:37.45ID:ALbvp/BDM
一瞬すげぇと思ったが冷静に考えるとかなり疑わしいわな
ハードル下がり過ぎだわ
569今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0bd3-8OQx)
垢版 |
2023/11/01(水) 15:00:19.44ID:AeKCWOr+0
まあウソでしょう
2023/11/01(水) 16:20:16.14ID:f4yLTegF0
海外でも騒がれてるしそのうち情報が出てくるんじゃないの
正しくは何Bってのは出てこないだろうけど、20Bってのは間違いだよーんくらいは出てきそうに思う(間違いであればね)
2023/11/01(水) 17:00:06.32ID:5kvOpebH0
ChatGPTの返答ってmarkdown形式で統一されていると思うけど、他のLLMはバラバラだね
2023/11/02(木) 09:39:07.49ID:3Vf62eZVM
そやね
2023/11/02(木) 10:10:29.54ID:PcOH0RkU0
ようやく来たか？
https://huggingface.co/TheBloke/openbuddy-llama2-70B-v13.2-GGUF
2023/11/02(木) 10:12:59.67ID:PcOH0RkU0
一応補足
日本語能力の高い(日本語含む8カ国語対応)のopenbuddyの70Bの最新版
2023/11/02(木) 10:59:25.01ID:lWpnxrZ10
70Bなんて動かせる観客ないので指を咥えて見ているしかない
2023/11/02(木) 11:27:18.08ID:RMaRC4fg0
mac ProにM3 Ultraが載ったら買い時
リーク通りならメモリMAXまでガン積みすれば大体の事は解決する
いくら掛かるかわからんけど
2023/11/02(木) 11:30:15.16ID:QstbbwMA0
Japanese-StableLM-Instruct-Beta-70Bも来たな
とりあえずGPTQ化でもしてもらわんと手元で動かせないけど
2023/11/02(木) 11:54:27.09ID:PcOH0RkU0
ニキがgguf化してくれるのに期待
579今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b8f-93cA)
垢版 |
2023/11/02(木) 11:56:20.62ID:oYTRanYU0
帰ったら依頼するわ
2023/11/02(木) 12:21:38.83ID:aii+VREN0
https://twitter.com/StabilityAI_JP/status/1719909269645177328
🎉新リリース🎉
Stability AI Japanが日本語大規模言語モデル「Japanese Stable LM Beta (JSLM Beta)」シリーズを公開!🇯🇵
オープンな日本語特化モデルの中で、規模（700億パラメータ）も性能も最高のものもこのシリーズに含まれています🚀（弊社評価）
日本語特化の継続事前学習・語彙拡張など、日本のニーズに応える技術盛りだくさんです✨
詳細はこちらをご覧ください💁‍♀
https://ja.stability.ai/blog/japanese-stable-lm-beta
https://twitter.com/thejimwatkins
2023/11/02(木) 12:48:33.06ID:InY/84M80
rinnaの件でkobold初めて触ったけどいいなこれ大葉より楽だわ
582今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b8f-93cA)
垢版 |
2023/11/02(木) 13:07:43.24ID:oYTRanYU0
vocabの70bが本命か
2023/11/02(木) 13:42:40.13ID:QstbbwMA0
とりあえずGPTQ化されてたopenbuddy-llama2-70B-v13.2を試してるけど、日本語特化モデルじゃないから語尾とか口調とか指定すると若干変なときはあるな
こちらの発言をよく理解して回答してくれるあたりさすがに70Bらしい賢さはある
584今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b8f-93cA)
垢版 |
2023/11/02(木) 14:12:30.51ID:oYTRanYU0
>>583
v10に比べて進化してる？
2023/11/02(木) 14:32:23.74ID:QstbbwMA0
>>584
以前のファイル削除しちゃったから厳密に比較はできないけど、印象としては日本語の理解度は少し上がってるような気はする
出力がちょくちょく違和感のある日本語になるけど
586今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 5154-eepm)
垢版 |
2023/11/02(木) 17:14:45.04ID:gtLjjTw60
stabilityai/japanese-stablelm-instruct-beta-70b
ニキに依頼した。
昨日、openbuddy-llama2-70B-v13.2依頼したばっかだったんで少し気が引けたけど
世界初の日本語特化の70Bモデルだってアピールしといたから、たぶんやってくれるだろう。
ちなみに7Bの方は別の人が依頼してくれてた。

さて、それまでopenbuddy-llama2-70B-v13.2で遊んでみるわ
2023/11/02(木) 17:21:08.53ID:PcOH0RkU0
よくやってくれた
2023/11/02(木) 17:31:34.48ID:PcOH0RkU0
日本語の語彙を約2万語追加したというこいつの70B版も出てきて欲しいところだの
japanese-stablelm-instruct-ja_vocab-beta-7b
589今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1388-IMF7)
垢版 |
2023/11/02(木) 17:43:30.28ID:Y4ZJOM890
70Bは流石にデカすぎて用途が限られるな
chatGPTの件が本当なら蒸留して10Bぐらいにできそう
2023/11/02(木) 17:57:46.98ID:QstbbwMA0
cyberagent/calm2-7b-chatもなかなか良さげ
32kトークンいけるのはちょっとすごい
2023/11/02(木) 18:33:56.17ID:woGt1e2g0
やばいモデルが2つも出たな
これ絶対捗る
世界変わるぞ
592今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-eepm)
垢版 |
2023/11/02(木) 18:51:19.17ID:Vz7SvSSK0
7Bガンマ版ですら、かなりの出来だったからね。
593今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0bd9-8OQx)
垢版 |
2023/11/02(木) 18:55:50.00ID:50Dsnwyv0
今月からpaperspaceの永続ストレージが月末さえオーバーしてなきゃ大丈夫ってズルが出来なくなったのモデルがデカいLLMにはめっちゃ効く
まあhfの回線速度なら非永続に都度落としても10分くらいだけどさ
594今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1b9d-PNV+)
垢版 |
2023/11/02(木) 18:55:50.22ID:Us5TqARN0
japanese-stablelm-instruct-beta-70b 試してみた。
Q4_K_Mに量子化したせいかプロンプトが悪いのか日本語が崩壊して的外れな回答しか返ってこないな。

自分の環境だとQ4_K_Mならopenbuddy-llama2-70B-v13.2の方が日本語も流暢で賢かった。
595今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-eepm)
垢版 |
2023/11/02(木) 19:20:22.03ID:Vz7SvSSK0
>>594
自前で量子化したの？
2023/11/02(木) 19:40:11.69ID:yTTg3NcV0
70BのGPTQってどれくらいのスペックで動かせるんや
597今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1b9d-PNV+)
垢版 |
2023/11/02(木) 19:51:19.27ID:Us5TqARN0
>>595
gitで落としてきて llama.cpp のREADME通りに量子化した。

やり直したらちゃんと日本語出てきた。
でもopenbuddyとかxwinlmの方が賢い感じ
598今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 0b39-eepm)
垢版 |
2023/11/02(木) 20:32:23.44ID:Vz7SvSSK0
量子化って手続き通りにやれば同じ結果になるのかな？
bloke氏とmmnga氏で違いが出るのはなんでだろ？
mmnga氏のはkobokdが読み込めない事もあるし。
2023/11/02(木) 20:34:08.03ID:yALJ48nf0
色々進化し続けるせいでファインチューニングのベースにするモデルが決められん
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。