con il Mastio di Matilde dell'XI secolo

Nell' XI secolo Matilde di Canossa fece erigere una torre cilindrica, chiamata, appunto, il Mastio di Matilde, a difesa e sorveglianza della costa, allora oggetto di frequentissime incursioni di pirati saraceni. Nel XIV secolo, ad opera di Francesco di Giovanni e Puccio di Landuccio, fu costruita una fortificazione di pianta quadrata attorno alla torre, la cosiddetta Quadratura dei Pisani, posta a sua difesa. Nel 1505, Antonio da Sangallo il Vecchio, su commissione del cardinale Giulio de' Medici (il futuro papa Clemente VII), progettò una nuova ed ulteriore fortificazione, che comprendesse al suo interno la Torre e la Quadratura. Terminata la progettazione, la direzione dei lavori, poi terminati nel 1534, fu lasciata a Nicola da Pietrasanta. La Fortezza ha una pianta pentagonale, possenti mura in laterizio ed è circondata, eccetto un lato che si presenta interrato, dai fossi medicei, i canali navigabili che attraversano parte del centro storico della città. Durante l'invasione napoleonica nel 1796 i bastioni vennero in gran parte ristrutturati dai soldati francesi, e vi furono inserite fenditure per le bocche da fuoco. La Fortezza fu gravemente danneggiata in seguito ai bombardamenti del 1943 ed i lavori di restauro si sono protratti per anni.