執権北条氏は伊豆の土豪の出とされるが、時政以前の親族が伊豆に見つからないこと、一方で時政は無位無冠ながら一族が政治的な振舞いに優れ京の都慣れしていること、時の字を通字とすることなどから、平時忠や清盛継室の平時子などの堂上平氏かそれに近い血統の出で時政の代に都から流されたか飛ばされたとかで伊豆に下向したんじゃないかと思ってる。