何もしてないのにいきなり攻められてくる例なんていくらでもあるんじゃね。
日本でも弥生時代には、もう堀を掘って物見櫓を建ててた。
ヴァイキング戦士なんてイカれた集団じゃなくても、集団間で争い事が起こるなんて生活の前提として当然あった。
当然、ヴァイキングに襲われた村々でも最低限の武装をしていて、塀ぐらいは建てて生活してただろう。
それこそ居住区や船着き場をもっと頑丈に固めていれば、女子供を避難させて守り抜くなり脱出させるなりできたのでは。
そして餓えれば、被害者みたいな村民も一転して襲う側になるのはご指摘の通り。
トルフィン達とは別の、餓えて武装した移民団がやってる可能性も充分あり得る。