Nel 1498 Carlo Pandone morendo lascia erede della Contea il figlio Enrico al quale va attribuita la capacità di aver determinato nel territorio venafrano una ventata di rinnovamento che si inquadra nel più vasto clima culturale del Rinascimento italiano del primo ventennio del secolo. Fu soprattutto dal 1520 che al castello di Venafro furono apportate sostanziali modifiche che lasceranno indelebile il suo ricordo nella storia della città. Abbandonata l’idea di trasformarla in una fortezza bastionata, fu operata una serie di lavori per trasformarlo in una piacevole residenza rinascimentale. Sul piano architettonico sono due le parti che rinnovano, in maniera consistente, l’antico apparato difensivo: il grande giardino all’italiana, sul lato orientale, ed il luminoso loggiato, ad occidente. Proprio l’aver commissionato la costruzione di ben nove padiglioni in legno lavorato, da sistemarsi lungo i percorsi del giardino e collegati tra loro da pergole anch’esse in legno, dimostra inequivocabilmente che si era creato un nuovo tipo di rapporto con l’ambiente circostante. Veniva insomma a privilegiarsi una visione paesistica che comunque risentiva delle nuove idee che ormai circolavano presso tutte le corti italiane. Il maestro Giovanni da Sulmona, carpentiere, si impegnava a fare un altro padiglione fuori dalle mura del giardino, davanti ad una cappella che se farà. Di questa cappella rimangono i segni di una monofora esagonale che sopravvive nella facciata laterale della casa che fronteggia l’ingresso dell’antico ponte levatoio.
Ma oltre le trasformazioni architettoniche, Enrico Pandone curò che si decorasse tutto il piano nobile del castello con una serie di pitture di cui ci sono rimaste significative tracce dopo le pesanti manomissioni operate a più riprese nei secoli successivi per adattare gli ambienti ai più disparati usi. Si tratta di un ciclo di raffigurazioni interamente dedicate ai suoi cavalli, che costituisce una straordinaria ed originale documentazione della passione che il conte venafrano aveva per essi.