Le château était le siège de la Baronnie de Fumel mentionné dans les textes depuis le XI° siècle dont la ville fut, en 1265 dotée d'une Charte de Franchises et Coutumes. Lechâteau médiéval, très endommagé pendant la "Guerre de Cent Ans", notamment par les raids du mercenaire Rodrigue de Villandrando, fut remanié dans la seconde moitié du XV° siècle. Pendant les Guerres de Religions, il fut le théâtre de cruels affrontements (1561) consignés dans les commentaires de Monluc. Au XVI° siècle, d'autres travaux transforment et modernisent le château de Fumel.

L'importante bâtisse du XVI° siècle fut radicalement modifiée, mise au goût du jour, dans la seconde moitié du XVIII° siècle, où l'on créa des jardins et des terrasses qui surplombent le Lot. C'est sous cet aspect que nous le voyons aujourd'hui, en moins, les cinq tours ramenées au niveau du corps de logis à la fin du XIII° siècle (1793). La famille des Fumel posséda le château du XI° au XIX° siècle ou il passa, par mariage, à la famille des Langsdorff. En 1950, cette famille vendit le château à la commune de Fumel. Le château de Fumel est inscrit depuis 1951 à l'inventaire supplémentaire des Monuments Historiques ainsi que le parterre et les terrasses.Daniel Frugier