Voilà ce qui est dit dans : Wikipédia :

Le Palais de la Berbie et ses jardins forment avec la cathédrale l'ensemble de la cité épiscopale édifiée après la croisade contre les Albigeois. L'édification d'une telle construction permet de protéger les évêques d'Albi, devenus les maîtres de la ville, des hostilités des cathares et des bourgeois d'Albi.
Elle permet aussi de se protéger d'éventuelles attaques extérieures et de renforcer la présence de l'inquisition. Le nom de Berbie vient de l'occitan bisbé qui signifie évêques. Au XIIIe siècle, l'évêque Bernard de Castanet est le personnage décisif dans la construction de cet ensemble. Il fait construire le donjon haut de cinquante mètres, les quatre tours et les murailles. Il entoure le palais de courtines et de remparts extérieurs jusqu'au Tarn.

C'est à l'origine un château-fort qui se transforme au fil des siècles en résidence. En 1905, le palais devient le domaine du département et le maire Andrieu y installe le musée d'Albi. Il devient ensuite après la mort d'Henri de Toulouse-Lautrec en 1922 le musée en l'honneur de Toulouse-Lautrec avec la dotation de ses œuvres par sa mère à la municipalité.