Les troubadours d’Ussel, s’étant rendu compte que le château fort d’Ussel n’offrait pas une sécurité absolue cherchèrent un autre emplacement.

Situé sur la commune de Saint Exupéry, près d’Ussel à 20 km de Neuvic, la forteresse de Charlus-le-Pailloux dominait la Diège sur un éperon rocheux. Sur la face Nord, l’accès était de plain-pied. Un système défensif fait de palissades ou pieux fixés en terre et reliés par des chaînes de fer ou de tresses de bois le renforçait, d’où le qualificatif de « pailloux ». Un fossé complétait le dispositif.

Les co-seigneurs d’Ussel le possèdaient en indivision avec les Ventadour en 1215.

Source Chanoine Léon Billet : Les quatre troubadours d’Ussel, la Maison d’Ussel, édité par Imprimerie Orfeuil, 1982.