El castell de la Selva, bastit probablement al segle XII, pertanyia a la pabordia de l’arquebisbe de Tarragona, i durant molts segles fou residència senyorial dels prefectes de Tarragona i els arquebisbes metropolitans, i encara que el paborde hi feu estada, l’edifici féu més les vegades de magatzem.
Amb l’abolició dels drets senyorials i les desamortitzacions dels bens eclesiàstics, a mitjans del segle XIX el castell passà a mans del comú de la vila de la Selva del Camp. El nou propietari vengué part de l’hort així com uns locals a la banda de ponent i construí uns safareigs, i a partir d’aquest moment el castell passà a tenir diverses funcions com escoles o caserna de la guàrdia civil.
El conjunt està format per dos edificis de dues plantes. A la part baixa es troba la portalada d’entrada i diferents dependències que l’envolten, així com el celler i el graner. La part alta ha sofert transformacions que han alterat la funcionalitat dels seus espais. El conjunt s’ha convertit en un espai d’ús cultural (sales d’exposicions).
