Con l’arrivo degli Angioini e poi degli Aragonesi Venosa, come quasi tutte le città del Regno, fu ceduta in feudo dapprima agli Orsini, antica famiglia romana di curia, poi ai Del Balzo, nome italianizzato dei De Baux, arrivati al seguito di Carlo d’Angiò. Esponente principale fu Pirro del Balzo,che edificò l’omonimo castello e la cattedrale di Sant’Andrea in epoca aragonese, agli inizi del ’500. Quest’ultima ospita una cripta con la tomba di Maria Donata Orsini, moglie di Pirro. A causa della sua partecipazione alla congiura dei baroni fu rinchiuso nel Maschio Angioino di Napoli, dove morì. Il castello, a pianta quadrata con quattro torri cilindriche e un fossato, comportò l’abbattimento dell’antica cattedrale romanica. Nei ridotti delle torri è collocato il Museo Nazionale.

Ai Del Balzo subentrarono altri feudatari, dell’antica famiglia dei signori di Gesualdo, discendenti da un figlio naturale di Ruggero Borsa e quindi direttamente dagli Altavilla e Roberto il Guiscardo. La dinastia si chiuse nel 1613 con il suo esponente più tormentato e significativo: il principe Carlo Gesualdo. Nato a Venosa, Carlo fu il più celebre madrigalista del suo tempo, riscoperto soprattutto nel XX secolo. E’ ricordato anche per l’episodio di sangue legato all’assassinio da lui compiuto a 24 anni di sua moglie Maria d’Avalos e dell’amante di lei Carlo Carafa, scoperti in flagrante adulterio nel palazzo San Severo, sede napoletana della famiglia a fianco della chiesa di San Domenico Maggiore. Le leggende popolari sul palazzo ispirarono Eduardo De Filippo per la commedia Questi Fantasmi.

Grazie anche a Carlo Gesualdo, a differenza di gran parte del Sud Italia Venosa conobbe l’influsso del Rinascimento, con la nascita nel 1582 dell’Accademia dei Piacevoli e dei Soavi e nel 1612 dell’Accademia dei Rinascenti, fondata dal figlio del principe, Emanuele Gesualdo, che aveva sede nel castello abbellito da una loggia interna.

Durante i moti del 1848 si distinse Luigi La Vista, giovane poeta e scrittore venosino ucciso a Napoli. Dopo l’Unità la città subì il fenomeno del Brigantaggio in cui perse la vita Francesco Nitti, liberale e nonno dell’omonimo statista che, a causa del trasferimento di suo padre, sarebbe nato a Melfi.