若桜神社は若桜部朝臣や阿部朝臣の祖神といわれる伊波我加利命（いわかがりのみこと）を祭神で「大和志」には「在桜井谷邑　今称白山権現」とあり『延喜式』神名帳城上郡の若桜神社に比定されますが、大字池ノ内の稚桜神社とする説もあります。

　高屋安倍神社は『延喜式』神名帳に登載されている名神大社で、祭神は屋主彦太思心命（やぬしひこふとしたまのみこと）・大彦命（おおひこのみこと）・産屋主思神（うぶやぬしおもひのかみ）の三座で、名神大社として崇敬され天慶三年（940年）頃までの記録はあるようですが、その後、歴史上消息を絶っています。

  尚、この地を履中天皇の磐余稚桜宮跡に充てる説もあり、書記に履中天皇が皇后と磐余の市磯池（いちしのいけ）で遊宴中に、桜の花が盃に落ちた事を天皇は珍しい事と喜ばれ、この桜のあった御所の掖上の桜を清水湧き出る泉のそばに植えられ、宮の名前も磐余稚櫻宮にされたといい、桜井という名はここからきているといわれています。この井戸といわれるものは、当神社のすぐ近くにありますが近年、若櫻神社にも復元されています。

また、この場所は中世には谷城という城跡の築かれた場所で、今でもその名残を見ることができます。神社の南側と西側を土塁で囲み、更に外側を堀が巡ります。東側も階段下との標高差が６～７ｍあり尾根先を巧みに防御に利用しているのがみて取れます。