Cuenta la leyenda que en 1070 un caballero llamado Hernando de Azcón se encontró con la virgen en las Roques Trencadas, por lo que el noble decidió construir una ermita en el lugar. Fue su descendiente, Pedro de Azcón quien amplió la iglesia. Cuando estaba rezando en la ermita, entraron dos jóvenes y entablaron conversación, en el curso de la cual el noble comunicó sus intenciones. Los muchachos se ofrecieron a ocuparse del asunto y las obras avanzaron de una manera incomprensiblemente rápida hasta dar forma al templo actual.
Cuando el noble quiso pagarles su trabajo, se negaron a aceptar ninguna remuneración, nunca más se supo de ellos. La tradición local sugiere que los envió el mismísimo Dios por intercesión de su madre. Desde entonces, el santuario, compuesto por la residencia prioral y por la iglesia en cuyo altar mayor se conserva un delicado retablo renacentista que narra la Vida de la Virgen.