A la fin de la croisade, en représailles, les troupes royales détruisent le village et les châteaux qui sont alors reconstruits sur la crête. Le roi affirme sa suprématie en faisant construire un quatrième château, Tour Régine, donnant ainsi au site sa morphologie actuelle.
Les châteaux deviennent alors le centre administratif et militaire de 6 communautés formant la châtellerie du Cabardes. Ses habitants sont tenus à un service de garde et d'entretien des châteaux moyennant l'exemption de la taille.