L'Ospedale "San Carlo" fu istituito con decreto il 2 ottobre 1810 da Gioacchino Murat, re di Napoli, nella sede del Palazzo del Castello che i Conti de Guevara, signori della città, avevano ceduto nel 1626 ai frati Cappuccini per farne un convento, un ospizio, un'infermeria, un convalescenziario.
Il nome pare derivi da quello del Santo a cui i frati, forse in onore del figlio della donatrice o di San Carlo Borromeo, avevano dedicato una cappella. Di quella sede, oggi, rimane visibile solo la Torre, nell'antico borgo "San Luca".
Alla sua istituzione il "San Carlo" aveva 32 posti letto, per circa 23 ricoveri al giorno, di cui la metà militari. Il personale sanitario era costituito da un chirurgo, un medico e qualche infermiere.
Per effetto della Legge sulle "Opere Pie", nel 1862, l'Ospedale passò sotto l'amministrazione della "Congregazione di Carità", prima, e poi, nel 1870, del Consiglio Provinciale.
Un cospicuo lascito permise, nel 1883, di effettuare alcuni lavori di ristrutturazione e ammodernamento.
Negli anni tra il 1924 e il 1927 l'Amministrazione Provinciale di Potenza diede una più razionale sistemazione ai servizi. Risale al 1928 l'istituzione delle Direzioni Amministrativa e Sanitaria; al 1931 il primo servizio di autoambulanza e l'ingresso in ospedale della prima dottoressa: Teodolinda Casamassima.
Tra il 1935 e il 1938 si diede attuazione ad un vecchio progetto per realizzare al Rione Santa Maria gli Istituti Clinici Riuniti, che includevano i 18 padiglioni realizzati per l'ospedale psichiatrico, il policlinico "Gianturco" e il nuovo edificio del "San Carlo": 250 posti letto, un impianto radiologico all'avanguardia, due sale operatorie e un reparto autonomo di Ostetricia e Ginecologia. L'8 Settembre 1943 la struttura fu, però, interamente distrutta dai bombardamenti. I degenti scampati al disastro furono trasferiti nei locali dell'Istituto "Principe di Piemonte" e nel "Tracomatosario", al Rione Verderuolo.
La ricostruzione iniziò subito, nel 1944, e il 7 luglio 1957 l'ospedale riebbe la sua sede di Santa Maria, con 280 posti letto, due divisioni chirurgiche e una media di circa 9.000 ricoveri l'anno.
La crescente richiesta di prestazioni sanitarie anche da fuori regione determinò, alla fine degli anni '60, la decisione di dotare la città di una nuova, moderna struttura ospedaliera che fu realizzata su un'area di 86.450 metri quadrati, in località "Macchia Romana". I primi padiglioni, con il modernissimo reparto di Cardiochirurgia, furono inaugurati nel 1977.
L'Ospedale è attualmente in fase di ulteriore ampliamento: nel corso dell'ultimo anno è stata completata la cablatura dell'ospedale, munendo le stanze per i pazienti di quasi tutti i reparti di un telefono; è stato unificato in un unico padiglione il dipartimento dell'alta specialità del cuore, mentre sono in fase terminale i lavori per l'adeguamento alla legge 626 e per il nuovo padiglione di emergenza.