Nel 1349 il duca Cantelmo, sul sito in cui sorgeva l’Atina romana, diede inizio alla costruzione di questo magnifico edificio definito due secoli più tardi da Giulio Prudentio “una Corte a forma di Castello d’Alvito, comoda per il Capitano et altri”. Abitato in maniera saltuaria dai Cantelmo fino al 1458, alla fine del XV secolo fu ceduto al Conte Diomede Carafa di Maddaloni che lo adibì a residenza per i luogotenenti e i maestri di campo della casa ducale.
Successivamente passò ai d’Aquino, ai Borgia, ai duchi di Montecalmo e nell’Ottocento ai signori Paniccia di Vicalvi, che nel 1870 lo vendettero al Comune. La sua elegante sagoma si erge al centro del borgo antico. La facciata è protetta da due torrioni aggettanti ed è ingentilita da bifore e rosoni strombati.
Il palazzo è a pianta quadrangolare, presenta un prospetto con pietre bugnate sul quale si aprono tre bifore al piano nobile. Il portale d’ingresso, in stile gotico, è sormontato da un bassorilievo romano; ai lati si notano una iscrizione romana con fregio dorico proveniente da un monumento funerario tardo repubblicano ed una statua di togato con testa non pertinente. Di particolare interesse è il salone principale, che custodisce un imponente mosaico a tessere bianche e nere, rappresentante quattro gladiatori nell’atto del combattimento. Dal salone si accede alla cappella di Sant’Onofrio, decorata con affreschi della seconda metà del secolo XIV.
