safetensorsって.ckpt/.ptのファイルフォーマットがpytorchデフォルトのpickleからsafeternsor形式に変わるって話だから
モデルとかVAE側をsafetensor形式で保存しないと早くならないのでは