>>512
で、続けていくうちに見つかったのがepsの数値や。調べたら計算時に分母に加算される項らしく、この値が高いと学習しにくくなるようや
RedRayzニキの配布プリセットでは1e-06となっとるんやが(AdamWとかDadaptlion向けやからノータッチなんやと思う)、Prodigyでのデフォルト値は1e-08らしくこの差が影響しとった
とくに序盤ステップでのLRの上昇力に差がでるようで(TensorBoard画像参照)、『少ステップで学習』かつ『cosineのような終盤にLRを抑える』という設定やと学習ステップが足りんくなることもあるみたいや
ただ逆に言えば数千ステップとか回す場合にはこの差は小さくなるんやと思う

https://files.catbox.moe/o2muev.jpg
TensorBoardグラフ。epsが小さいほど早いステップでLRが上がる

https://files.catbox.moe/vtte9n.jpg
参考までに各epsでの生成画像