Les moines de l’abbaye de Saint Gildas, fondée par l’abbé Gildas en 536, venaient faire procession sur ce rivage. Ils construisirent le premier oratoire au début du 6ème siècle pour y abriter la croix de procession, d’où le nom de Croes-Ty, c’est à dire maison de la croix en breton. C'est ici que, selon la légende, le 11 mai 565, jour des Rogations, l'on trouva le corps intact de Saint Gildas dans une barque échouée sur les rochers. Le corps du saint, décédé le 29 janvier, avait été abandonné au gré des flots depuis trois mois, conformément à sa volonté.

Depuis lors, les moines de Rhuys ont fait procession à Arzon le lundi des Rogations jusqu’à la Révolution.

​

Cet oratoire, placé trop près de la côte, fut détruit et reconstruit maintes fois du fait de l’érosion par la mer. En 1666, selon Joseph Couëdel, ancien maire d’Arzon, la chapelle comportait trois parties d’époques différentes. Cette dernière a disparu et la chapelle actuelle a été reconstruite en 1826 plus en retrait du rivage bien que le linteau de la porte sud indique 1822 ! 

Elle a été restaurée entre 2012 et 2014 par la mairie d’Arzon et sa cloche, démontée en 1978, a été remplacée et bénie le 15 août 2014.

La chapelle, dédiée à Notre-Dame, est tout autant vouée aux marins d’Arzon péris en mer selon une longue tradition. Elle comprend, de ce fait, de nombreux ex-voto.