Fu città peuceta dal IV al III secolo.a.C. anche se le prime tracce dell’uomo su questo territorio risalgono già al IX secolo a.C. Intrattenne scambi commerciali e culturali con la Magna Grecia, con la Grecia stessa e con l’Etruria.
Dopo le guerre Sannitiche e di quella contro Taranto entrò a far parte dei territori sotto il dominio romano e da essa passò l’importante via Traiana.
Caduto l’Impero romano fu anch’essa oggetto delle invasioni barbariche (Goti). Successivamente passò ai Bizantini e durante il loro dominio più volte passò ai Saraceni fino a divenire parte dei possedimenti del re di Sicilia Ruggero il Normanno. Successivamente, fu sotto il dominio del Regno di Napoli e quindi degli Angioini e degli Aragonesi. Nel 1510 il feudo fu acquistato dal cardinale Oliviero Carafa che unì Ruvo alla contea di Andria (già possedimento della famiglia Carafa); fu questo il periodo di maggiore splendore della città che si arricchì economicamente e urbanisticamente con la costruzione di numerosi palazzi (“palaziate”) e conventi. Nel 1806 si affrancò dai Carafa e divenne libero municipio.
Da segnalare l’importante ruolo che Ruvo rivestì nel periodo risorgimentale, durante il quale fu sede della società segreta affiliata alla Carboneria “Perfetta Fedeltà” di cui fece parte anche Francesco Rubini (famoso mazziniano). Come il resto della Murgia, negli anni ’60 fu sede delle lotte per la liberazione bracciantile delle terre dai possidenti (un tratto di strada campestre occupato in una delle rivolte porta ancora oggi il nome di “
Strada della Rivoluzione”).