Si narra che l'apostolo Pietro, di ritorno dall'Africa e diretto a Roma, avrebbe sostato nell'isola a causa di una tempesta: da qui l'attuale suo nome di Isola di San Pietro.

Nel 1738 fu colonizzata dagli abitanti di Tabarka, un'isola tunisina, colonia ligure di proprietà dei Lomellini, allora signori di Pegli, che allo scopo di sfruttare i ricchi banchi di corallo l'avevano popolata con pescatori quasi esclusivamente pegliesi.
I motivi che spinsero i tabarkini ad abbandonare l'isola furono soprattutto l'impoverimento dei banchi di corallo, la limitata estensione dell'isola, che non era più in grado di soddisfare le esigenze di una popolazione che nel frattempo era cresciuta notevolmente, ed inoltre le continue molestie dei corsari e dei Bey di Tunisi e di Algeri.
Fu per questi motivi che conosciuta l'intenzione del Re di Sardegna Carlo Emanuele III, di voler procedere alla ripopolazione della Sardegna ne approfittarono per lasciare definitivamente Tabarka e stabilirsi nell'isola di San Pietro ove si dedicarono alla pesca del corallo, del tonno per mezzo delle tonnare, ed alla produzione di sale.
Una parte della comunità tabarkina restò a Tabarka, che nel frattempo fu invasa prima dai tunisini, poi dagli algerini. Quest'ultima incursione rese completamente deserta l'isola e la popolazione venne ridotta in schiavitù. Gli schiavi furono riscattati dal Re di Spagna Carlo III, il quale li inviò ad Alicante per poi assegnargli nel 1770 la piccola isola di San Pablo, 9 miglia a sud di Alicante, ribattezzata dai profughi tabarkini Nueva Tabarka.
Nel 1793 l'isola fu occupata dai francesi che la rinominarono "L'isola della libertà" . L'occupazione fu comunque di breve durata e non apportò modifiche sostanziali dal punto di vista sociale, morale e politico.
Ben più dolorosa fu invece nel 1798 l'incursione barbaresca: circa 500 corsari capeggiati dal rais Mohamed Rumeli misero a ferro e fuoco Carloforte, facendo 933 prigionieri che deportati in terra d'Africa vissero in schiavitù per ben 5 anni. La liberazione avvenne solo dopo fervide trattative internazionali.
Queste occupazioni indussero i Carlofortini a costruire le mura di cinta intercalate da una serie di fortini. Purtroppo oggi delle vecchie mura è rimasta solo il lato ovest, interrotto tra l'altro dalla costruzione delle scuole elementari

A questa stagione seguì un periodo particolarmente significativo, quello della costituzione di leghe e sindacati, come quella dei "Battellieri", dei "Galanzieri" e quella dei "Lavoratori del mare": le prime associazioni di lavoratori in Sardegna e tra le prime in Italia. Nel 1911 a Carloforte si ebbe la prima amministrazione socialista della Sardegna.
In seguito alla crisi delle miniere che colpì tutto il bacino del sulcis-iglesiente e del guspinese, i carlofortini tornarono alle antiche attività come la pesca, le saline e soprattutto la navigazione.
Ai giorni nostri lo sviluppo economico dell'isola è legato principalmente al turismo, che va aumentando di anno in anno, grazie alle bellezze naturali del luogo ed anche ai notevoli sforzi degli operatori del settore.