kobold.cppは本体ファイル1個とモデル1個
合計2個のファイルで動くのでお手軽や
本体はここ
https://github.com/LostRuins/koboldcpp
モデルはここから良さげなのを落とす
https://huggingface.co/models?p=1&sort=modified&search=gguf