Le domaine de Notre-Dame-d’Olon (Alaunium) appartenait à l’évêque de Sisteron, qui l’échange au milieu du XIIe siècle avec les Templiers contre La Brillanne. La chapelle actuelle est construite entre 1662 et 1674 comme chapelle du couvent des récollets. Au XVIIIe siècle, elle est augmentée de six chapelles latérales voûtées d’ogives de type archaïque pour cette époque, puis subit d’importantes réparations au début des années 1750.
Cependant, cette chapelle est construite sur une bien ancienne, qui peut remonter au XIe siècle.
Le chœur est construit en hauteur, au-dessus d’une crypte qui s’étend au-delà des limites de la chapelle actuelle. Elle fait l’objet d’un pèlerinage après la Peste noire. En 1660, la Vierge Marie est apparue miraculeusement, et la chapelle est agrandie l’année suivante. C’est un monument historique inscrit depuis le 13 janvier 1997. Elle contient de 43 ex-votos classés au titre objet sur la Base Palissy du Ministère de la Culture.

Une association créée en 1992 , "Les Amis de Notre Dame des Anges" a entrepris des travaux urgents de restauration :

° la toiture ,
° la Voûte d'une chapelle latérale ,
° la restauration des vitraux ,
° la restauration de tableaux dont celui dit "des miracles" ,
° l'installation d'une alarme et de grilles , ...

Cette Association a réedité un opuscule de 1926 écrit par le Père Léon Maurel ,
cet édifice a fait également l'objet d'un petit livret édité par "l'association pour l'étude et la sauvegarde du patrimoine religieux de la Haute Provence" , N° 21bis de 1998 .