La struttura, semplice e rude, priva di ornamenti, immette in un quartiere un tempo povero, abitato quasi esclusivamente da agricoltori, non ha subito rimaneggiamenti nel corso dei secoli ed ha conservato la sua purezza duecentesca.
Da questa porta entrò a Viterbo papa Urbano V, il 9 giugno del 1367, qui sostò, insieme ad un imponente corteo di Cardinali, corteo che condusse il papa da Avignone a Roma, sbarcato a Corneto attuale Tarquinia.
Il nome di porta del Carmine le derivava dal vicino convento dei Carmelitani Scalzi i cui resti oggi sono adibiti a sede di un Istituto bancario. La porta venne eretta nel XII secolo. Più volte questa porta venne chiusa e manomessa insieme alle mura.
Nel sotto arco interno si notano i resti di un affresco raffigurante la Madonna del Carmelo di Filippo Caparozzi degli inizi del XVII secolo. L'affresco, conservato in pessimo stato, fa ancora intravedere una Madonna in trono con Bambino tra due Santi, posti all'interno di una finta architettura.
La torre che la sovrastava crollò nel 1567. La porta, costituita da due archi sovrapposti a sesto ribassato e a tutto sesto, conserva le sue caratteristiche medievali e nessuna epigrafe o stemma, in cui siano menzionati data della fondazione e artefici. Era l’unica porta di Viterbo a cui era possibile accedere attraverso un pone levatoio. Su di essa è ancora visibile lo spazio, nel quale passava la saracinesca che serviva per bloccare il passaggio in caso di pericolo: essa, come per tutte le altre entrate alla città, fu sostituita dalla porta una volta terminata la funzione difensiva delle mura cittadine.
Il 25/07/1988, in prossimità della pota, fu deposta una lapide, per conto della Ditta Luigi Anselmi e Figli a nome del Comitato Permanente Festeggiamenti in occasione della visita della Madonna della Quercia alle Parrocchie S.Andrea Apostolo e Sacra Famiglia.