ebaraで2.5セミリアルlora作ろうとしてる人いるかな？
ワイは以下のパラメータでやってるんやけど、他にいいパラメータあったら教えて欲しい
LR 0.0001
dim 32
batch size 1
optimizer AdamW8bit

Prodigyとか試してみたいけど、難しそうやから二の足踏んでます