Il castello aragonese di Baia sorge su un promontorio di 51 metri nei Campi Flegrei, difeso a est da un dirupo di tufo a picco sul mare e a ovest dalle caldere dei Fondi di Baia. Da qui si controlla il golfo di Pozzuoli fino a Procida, Ischia e Cuma. In età romana la collina ospitava un complesso residenziale, forse la villa di Cesare, i cui resti furono distrutti o inglobati.
La costruzione fu avviata dagli Aragonesi nel 1495; per il progetto Alfonso II si servì dell’architetto senese Francesco di Giorgio Martini. Dopo l’eruzione del Monte Nuovo il viceré Pedro Álvarez de Toledo lo ristrutturò (1538-1550) e gli diede l’aspetto attuale a forma di stella. Rimase fortezza militare con gli Spagnoli, gli Austriaci e i Borbone e fu gravemente danneggiato nella guerra del 1734.
