La Chiesa di San Silvestro risale al XV secolo. L’edificio che è possibile vedere oggi è, però, il risultato dei lavori di rifacimento voluti dal Duca Fabrizio Orsini all’inizio del XVII secolo. La Chiesa fu ampliata ed il suo ingresso fu spostato sul lato Nord. Originariamente la struttura aveva, infatti, la sua entrata ad Est lungo l’attuale via del Carmine.
Fu costruita per i monaci Benedettini Silvestrini che occupavano il vicino convento ed intitolata a San Silvestro. È chiamata anche Chiesa del Carmine perché, prima dei Silvestrini, il Convento ospitava monache Carmelitane, devote, quindi, alla Madonna del Carmelo la cui statua è tuttora collocata dietro l’altare maggiore.
La facciata ha subito un ulteriore rifacimento all’inizio del XVIII secolo per opera del Conte Francesco Cerbelli, il cui stemma nobiliare è collocato sopra l’arco d’ingresso.
All’interno la Chiesa si presenta ad un’unica aula, con sei cappelle laterali. Alcune di queste sono sicuramente risalenti al XVIII secolo. Le opere pittoriche di maggior pregio sono una raffigurazione di San’Antonio Abate e una di San Biagio, proveniente dall’omonima chiesa.
A partire dal 1951 l’edificio è stato oggetto di importanti lavori di restauro che ne hanno interessato sia la parte interna che quella esterna.