Esisteva in loco un'antica chiesetta semidistrutta, già di proprietà della Confraternita della Madonna del Carmine di Castagneto e, dal 1790 circa, di proprietà della famiglia Millanta.
Stando al dettato di un'epigrafe, un loro discendente, Niccola (1818-1884), donò la chiesa alla Confraternita della Misericordia, più specificatamente Niccola destinò alla costruzione un lascito del fratello Don Giuseppe (il "Maestro" del Carducci), ma la morte lo colse qualche mese prima dell'ultimazione della chiesa e la donazione fu effettuata a suo nome dai figli Francesco (detto "Cecconaso"), Maria Annunziata, Agata ed Evaristo (detto "Marcellino"), i quali avrebbero quantomeno ricordato nell'epigrafe quello zio Don Giuseppe che aveva finanziato l'opera. 
Elegante edificio di origine incerta, la Chiesa della Madonna del Carmine si trova in una zona abbastanza periferica, il che ne aumenta il già interessante prospetto architettonico. 
Dotata di un piccolo campanile "a vela" e di un esonartece (è un tipo di nartece rivolto verso l'esterno della chiesa) a tre archi a tutto sesto.
La Chiesa appartenne alla Confraternita del Carmine e, dopo il 1786, anno di soppressione degli ordini religiosi, alla Confraternita della Misericordia. 
La Chiesa della Madonna del Carmine ospita attualmente (dal febbraio 2000) un museo a carattere religioso, intitolato Centro per la conservazione dell'arredo sacro e del costume religioso, nella cappella della Madonna delle Rose, che fu sede della Confraternita del Carmine, fino alla soppressione leopoldina del 1785. L'interno della cappella presenta un aspetto neogotico conferitole nei primi decenni del Novecento. 
Raccoglie gli arredi liturgici e paramenti e altri oggetti sacri della Confraternita della Misericordia, della famiglia Della Gherardesca e di Chiese della zona.
Gli arredi sono esposti a rotazione in collegamento alle feste triennali in onore del SS. Crocifisso. L'esposizione degli oggetti è corredata da didascalie che ne illustrano l'uso liturgico. 
Tra i paramenti legati alla famiglia Della Gherardesca, si segnalano, la statuetta devozionale del Bambino Gesù in cera con abito ricamato del Settecento ed il busto reliquiario barocco di San Bartolomeo in lamina d'argento.