El castell de Castellfollit del Boix, del qual tan sols en resten ruïnes dels seus murs i una torre al costat de l’antiga parròquia de Sant Pere , es troba en un paratge de bosc, que algú ha volgut veure com l’origen del nom del poble, essent follit sinònim d’enramat o boscós.
El castell de Castellfollit del Boix, en terra fronterera de la Catalunya Vella, apareix documentat el segle XI (1063), quan Bernat i la seva muller fan donació al comte Ramon Berenguer I de Barcelona del castell de Grevalosa que limita amb el terme de Castel Fulit.
Entre els segle XIII i XV la jurisdicció feudal del castell estigué en mans dels senyors del castell d’Òdena. Segons l’historiador Sarret i Arbós el 1228 era senyor d’aquest castell Guillem d’Òdena. L’últim dels Òdena que tenim constància documental com a senyor de Castellfollit és Berenguer d’Òdena, entre els anys 1431 i 1445.
El senyoriu de Castellfollit passà després a mans dels Administradors de l’Hospital General de Barcelona fins a la fi del règim feudal.
