Carovigno ha origini antichissime, risulta, infatti, abitata fin dalla prima età della pietra, come attestano diversi ed interessanti ritrovamenti del paleolitico e del neolitico. Il paese è molto rinomato per la produzione di olio extra vergine di qualità.
Notevole è il suo Castello "Dentice di Frasso" a pianta triangolare del XV secolo, con torrione che forma uno sperone a mandorla rivolto a nord.
Il Comune, che ne ha la concessione ed ha curato i restauri, ha destinando l'edificio a museo, biblioteca e archivio comunale.
Nelle immediate vicinanze l'interessante chiesa di Sant'Anna eretta come pertinenza del Castello tra la fine del Seicento e l'inizio del Settecento.
Sempre nel borgo antico la chiesa Matrice dedicata all'Assunta.
Davvero suggestivo il centro storico , denominato "la terra", che si è sviluppato sul sito dell'antica acropoli. E' caratterizzato da strette viuzze con case bianche o in tufo grezzo, realizzate in epoche diverse
Nella piazza principale spicca la chiesa del Carmine , edificata nel 1625 per ospitare i Padri Carmelitani.