D.Thiery précise :

" ...Le castrum du Rousset est cité en 1225 lors de l’hommage prêté par Boniface de Castellane pour plusieurs castra dont celui du Rousset

Rousset est situé à l’extrémité ouest de la commune, non loin de la Durance. L’habitat est dispersé et le site dominant est celui constitué par le château que l’on date du XVe, mais surtout du XVIIe siècle .
Il abrite une chapelle qui renferme une belle toile représentant l’Assomption. Dédiée à saint Pierre, ce fut l’église paroissiale d’origine.

L’abbé Féraud rapporte qu’au XIXe siècle la paroisse de Rousset comporte une fraction de la commune de Gréoux et une autre de Valensole et que le service paroissial se fait dans la chapelle Sainte-Madeleine près de Villedieu sur la commune de Valensole, la chapelle du château n’étant qu’une chapelle domestique... "