記憶忘却魔法で消した記憶を思い出すきっかけになる他の記憶も一緒に消える
って設定が伏線だと思う
帰還する時になんらかの記憶を消して、それでそれに関係する後半あたりの記憶がごっそり消えてる可能性がある
実際はおじさんは仲間と一緒に何年も過ごしてエルフと結婚して10年ぐらい夫婦として暮らしてたけど
その記憶が消えてるからほとんどの時間ソロで過ごしてたことになってるとかもあり得る