In seguito al declino e alla successiva caduta dell’Impero Romano d’Occidente (476 d.C.), Ruvo subì la stessa sorte distruttiva delle altre città pugliesi, dovuta alle numerose invasioni barbariche. Dominata dai Bizantini, quindi distrutta dai Goti nel V secolo, Ruvo venne conquistata dai Longobardi nella seconda metà del VI secolo. Alla dominazione longobarda seguì l’occupazione dei Saraceni, i quali dopo aver preso Bari nell’847, costituirono a Ruvo una stabile guarnigione, a cui seguì la nascita del quartiere urbano posto a nord-est dell’antico centro abitato, tra la Cattedrale e la chiesa del Purgatorio, ancora oggi denominato “Fondo Marasco”, alterazione del nome “Moresco”.
Sino al IX secolo la città ruvese attraversò un periodo abbastanza controverso dovuto alle frequenti lotte tra Longobardi e Bizantini, i quali si contendevano il territorio pugliese.
Secondo la storiografia locale, si deve aspettare l’inizio dell’XI secolo per avere a Ruvo la stabile presenza di una sede vescovile che oltre a dare prestigio alla città, determinava conseguentemente un flusso di interessi sia culturali che economici. La scelta per tale sede vescovile ricadde proprio su Ruvo, poiché il suo territorio, notevolmente esteso e ricco di risorse agrarie, dove probabilmente la proprietà fondiaria della Chiesa era già di una qualche consistenza, costituiva una garanzia per le necessità a cui il vescovado doveva far fronte. Lupo Protospatario ne da testimonianza nella sua “Chronicon”, dove riferisce che il vescovo di Ruvo Gilberto nel 1089 aveva donato al priore di Montepeloso (attuale Irsina), la chiesa di San Sabino. Inoltre l’abate G. Ursi, in un suo manoscritto del 1834, riporta la notizia della esistenza nel 1009 della chiesa di san Giovanni Rotondo, per un episodio legato proprio alla presenza del vescovado ruvestino.
Con l’avvento intorno al 1040 dei Normanni in Puglia, Ruvo venne conquistata da Ruggero. Degno di nota appare l’episodio, riportato costantemente dagli storici locali, circa il fatto che solo con la resa di Ruvo, ottenuta dopo un lungo combattimento, i baroni pugliesi accettarono di sottomettersi a re Ruggero. Tale episodio induce a pensare che Ruvo fosse già munita di un efficace sistema difensivo, tra cui probabilmente erano compresi il primo impianto del Castello e la torre Campanaria della Cattedrale, sorta originariamente (XI secolo) come torre di difesa.
Risale al periodo normanno ed in particolare all’epoca in cui era feudatario Roberto di Bassaville, conte di Conversano e Loretello la notizia circa l’esistenza del Castello di Ruvo, in quanto questi, per in ingraziarsi Daniele, vescovo della città, concesse dal suddetto Castello nel 1179 alcuni beni alla chiesa di S. Leonardo di Siponto.
Questo è il contesto storico-sociale e culturale che prepara alla fondazione della Cattedrale di Ruvo, completata durante la dominazione sveva.
L’autonomia del feudo di Ruvo terminò nel 1269, (inizio del regno angioino) con Carlo I d’Angiò, quando esso fu inserito nel giustizierato di Terra di Bari e concesso a Rodolfo de Colant. L’infeudazione di Ruvo alla famiglia De Colant costituì uno dei periodi più tristi della città, ridotta in povertà a causa delle continue vessazioni del feudatario e del Re.
Seguirono poi, le alterne vicende legate al regno della Regina Giovanna I (succeduta nel 1343 al nonno Roberto d’Angiò) ed al re Luigi d’Ungheria, sbarcato in Puglia per vendicare la morte del fratello, consorte di Giovanna I, il quale sembra sia stato ucciso da Gazzone de Denysiaco, conte di Terlizzi e feudatario di Ruvo, su istigazione della stessa regina, che per sfuggire al re fu costretta a rifugiarsi in Provenza.. Il ritorno di Giovanna a Napoli nel 1348, dopo la partenza di Luigi d’Ungheria, determinò la riconquista delle città pugliesi fedeli all’ungherese, tra cui Ruvo. In tale circostanza le fortificazioni del borgo antico ed il Castello non riuscirono a fermare Roberto Sanseverino, alleato della regina Giovanna, che espugnò la città e cacciò da questa gli ungheresi. Probabilmente proprio in questo periodo si provvide alla risistemazione del castello e alla costruzione della Torre di Pilato (crollata nel 1881).