向こう三軒両隣(三国)

毎日の生活で、ちょっとした せわになったりせわをしたりして、つきあう範囲の家。

解釈している感じですね
普通は言葉通り周囲5軒です

不動産的には境界を考えるので
家の裏手に接している家も入れたくなるのは自然です