出力画像を学習に回すなというのは
・VAEから出てきた画像をVAEで戻すのでほぼロス無く認識できてしまう
・同じモデルなら当然ながらその画像を出す能力が元々あるので学習が極端に進みやすい
・違うモデルでも元はNAIなので結局似たような状況に陥る
という話やったはずやで

つまりSDXLであるNAI3からSD1.5のNAIへ持ってくる分にはVAEもモデルもアーキテクチャも根本的に違う物やからまあ大丈夫なんやないか