そういえば農地に家が建つとこの間ツイッターで言っていましたが農地法を調べると地目は関係なく農地の場合農地法が関わってくるようです
つまり山林であろうが田であろうが現況が農地であれば農地を転換しなくてはならず農業委員会の許可がいると思います(市街化区域ではないと思うので届け出では済まないと思います)
その辺の手続きなどはどうなっているのでしょうか？
城を建てるみたいなんで