創建の年代は詳しくは判っていませんが、次のようないい伝えがあります。

　高幡不動金剛寺の不動堂の本尊、不動明王の傍らの二童子を彫刻した旅僧との出会いから祀ったといわれています。

　若い旅僧が金剛寺を訪れた時、不動明王に脇士がないのは残念だから、わたしが作りましょうと、住職の承諾を得て一室にこもり、数日して二童子を完成させたとのことです。　

　そのみごとなでき栄えに住職・村人・参詣人は驚ろき、旅僧がいよいよ出発という時、村人たちは送別の宴を開き、村境まで送ることになったそうです。ところが、その旅僧が立去るときに数百メートル見送ったら、突然、その姿が見えなくなったといいます。　

　そこで、村人はこの旅僧こそ神仏の化身に違いないと、、忽然として消え去った地に社を建てたとのことです。　

　その社は別旅明神と名づけられ、地名も別旅（わかたび）村と名前をつけました。後にこの別旅明神が現在の若宮神社となりました。

　現在では高幡不動尊がある高幡山麓にあった愛宕神社を合祀し若宮愛宕神社と呼ばれることもあります。祭礼の際には御神輿が不動尊境内まで巡行しています。