>>376
大きいモデルを小さくするために量子化ってのをするんやが
例えばStableDiffusionだとfp32がデフォルトやが、ごれをfp16やfp8等の小さい形式に変換することを
量子化って言うんやな

で、LLMの世界では量子化が当たり前に行われてるんやけど
GGUFはその中の方式の一つで、一般のローカル勢にもっとも使われとる形式や
8bitだけでなく、6、5、4、3、2、1bit、さらにはそれぞれのbit数の中でも
さらに細分化して細かくサイズ違いを作れたりとかなり使い勝手のいい量子化手法やねんな

今回のFLUXのGGUF版はそのLLMで使われてるGGUFをFLUXに適用してみたってことやねんな
そんなんできんねやって正直驚いてるところやねんけど