社伝によると大鷦鷯尊の後裔が祖神として祀ったのが始りであるとされる。