>>512
今回の検証をまとめるとProdigy使用において
・Weight decay(0以外)を使うときにはDecouple=Trueにすること
・主に総ステップ数に応じてepsの値を調整すること
やな
ただepsの値はデータセットの内容にもよるやろうし、小さすぎると安定性が下がる(発散しやすくなる？)っぽいから小さくしすぎるのも良くないかもしれん

ちなみにKohyaSSGUIでは手動で記述せん限りDecoupleもepsもoptimizer argsに追加されんから、デフォ値のTrue, 1e-08が使われとるはずや

スレ汚しすまんやで