Selon Daniel Thiery =

" ... Le Château Saint-Didier est situé en limite avec la commune de Sisteron sur la terrasse dominant le cours de la Durance, sur un éperon barré sur trois côtés par des ravins abrupts.
Une église, ecclesia Desiderii, est citée en 1208 faisant partie des possessions de l’abbaye de Saint-Guilhem en Languedoc.
Elle est mentionnée dans les comptes des décimes en 1274, desservie par un procurator Sancti Desiderii .

Le château, centre d’un vaste domaine s’étendant sur la terrasse, passera ensuite dans les mains de l’abbaye Sainte-Claire de Sisteron en 1452, puis dans celle des Ursulines de Gap .
A la Révolution le domaine est vendu en totalité à un seul acquéreur .

Une chapelle dessert le domaine , élevée près du château. Rebâtie entièrement, mal orientée, il n’est pas sûr qu’elle soit l’église originelle du prieuré.

En effet, à 800 mètres au nord du château, en plein champ, s’étale un immense pierrier où l’on découvre des fragments de tegulae, d’imbrices et de dolia.
Les cartes modernes indiquent St-Didier à son emplacement, de même le cadastre napoléonien de 1836. Il est probable, faute de témoignage plus fiable, de pouvoir situer le prieuré originel à cet endroit, non défensif, en milieu ouvert et sur un site antique .... "