La chapelle est placée sous le vocable de saint Pancrace de Rome. Une première construction, remontant au XII °, servit d'abord d'église au sein d'un village aujourd'hui disparu. Jadis appelé Toutes-Aures, cet ancien village compta même deux églises et un château. "Toutes Aures" signifie exposé à tous les vents, ce qui s'explique par sa situation sur la colline.

Abandonné en 1377 à cause du danger des bandes armées, le village se déplaça avec plusieurs autres pour former la ville de Manosque. L'une des deux églises fut cependant restaurée vers 1423. En 1561, les premières violences des guerres de religion causent la profanation de l’église : les statues sont brisées, les tableaux déchirés .

Sur son emplacement, la décision de construire une chapelle est prise en 1634, à la suite d'un vœu prononcé au moment de la peste de 1631. L’édification est achevée en 1637 placée sous la titulature de la Vierge Marie, elle changea pour Saint-Pancrace, devenu patron de la ville à la place de saint Sébastien.