https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGML/tree/main
これのQ6_k試してみた
まあ特にいいこたないけど単純にサイズ小さいから速くはあるな
同じ5.5GBくらいのモデルと比較してどうかはわからん