Dalla metà dell’XI secolo, infatti, si cominciarono a perdere le tracce dei conti longobardi di Venafro, ormai sostituiti da rappresentanti normanni, ma dobbiamo ritenere che la nuova conquista non abbia comportato un granchè di cambiamenti nelle strutture castellane preesistenti, anche perché le armi e le tecniche militari non erano sostanzialmente cambiate. A farci comprendere quali trasformazioni si siano effettuate tra i primi anni del nuovo millennio ed il XIV secolo non ci vengono incontro né elementi architettonici, né una sufficiente documentazione epigrafica. I restauri dovettero avvenire intorno al 1275 e consistettero non solo nella creazione di alcuni ambienti (come il portale con architrave in pietra su mensole della grande stanza a piano terra che si apre nell’androne del cortile –una delle parti organicamente riutilizzate nelle sovrapposizioni successive, ma comunque riconoscibili), ma anche nella riorganizzazione dei sistemi di avvistamento che, pur preesistendo all’intervento angioino, dovettero essere integrati nella nuova realtà amministrativa.
Fin dai primi anni del dominio angioino appare chiara la volontà di re Carlo e dei suoi successori di dare massimo impulso alla ricerca di metodologie di difesa castellane che non fossero solo di tipo passivo: la struttura longobarda, avendo caratteri di geometrica regolarità, si prestava ad una ricomposizione architettonica adatta alle nuove tecniche di guerra. Per individuare un termine il più possibile certo per la datazione delle torri, si potrebbe far riferimento all’anno 1349 quando, secondo le cronache del tempo, dell’abitato di Venafro, scosso da un disastroso terremoto, rimase in piedi solo la Cattedrale. Ne consegue che potrebbe essere attendibile l’ipotesi che grosse trasformazioni al castello siano state effettuate subito dopo il 1349, quando ancora l’organizzazione della difesa del Regno era affidata a Corrado Lupo, pur se i caratteri stilistici si rifanno a tutta l’architettura castellana dei primi anni del dominio angioino e soprattutto del periodo di Carlo II d’Angiò. A questo periodo deve dunque farsi risalire la costruzione delle fondamenta, delle tre grandi torri circolari che vanno ad integrare il sistema di difesa passivo longobardo, utilizzando anche il preesistente mastio quadrato. In questa fase il complesso assume così un carattere di particolare imponenza perché viene operata non solo una trasformazione della sua architettura, ma viene altresì avviata l’opera di modellamento dell’area circostante con la creazione di un fossato che avrebbe reso più difficoltoso qualsiasi attacco.