最初にいじるのは33Bか13Bのモデルがいいだろうな
品質重視なら33B 速度重視なら13B
33Bの速度を受容できるかはニキのPCのスペック次第だ
https://huggingface.co/models?sort=modified&search=ggml
Koboldを使うならここでGGML形式のモデルを落とすんだ
1000個以上あるから好きなのを選べばいいが、取り敢えずこのスレで名前が挙がったやつから試すとハズレが無いぞ
ファイルがいくつもあるが4_K_Mか5_K_Mって付いてるやつ1個でいい
5の方がちょっと賢くてちょっと遅い
なおモデルはSSDに置くのを強く推奨 HDDは起動が遅すぎてしぬ