Il existait peut-être à l'emplacement de l'actuelle forteresse, un poste de surveillance ou de défense avancé dès la seconde moitié du IXe siècle. Cette construction devait verrouiller la vallée de la Dordogne contre les incursions des Scandinaves, très présents dans la région entre 845 et 865. Le premier château n'est cependant attesté qu'aux alentours de 1100. A cette date, il est détruit par Raymond Ier de Turenne, venu prêter main forte aux seigneurs de Bergerac dans un conflit féodal.