Da lassù la città si legge come una mappa. Il centro storico con il suo reticolo greco, il porto, il Vesuvio, la collina di Posillipo, e dall'altra parte i Campi Flegrei e il mare aperto. Non esiste un altro punto a Napoli da cui si veda tanto in una volta sola.
Le origini risalgono al Trecento angioino, ma la forma attuale — una stella a sei punte scavata nel tufo — è cinquecentesca, opera dell'architetto spagnolo Pedro Luis Escrivá per volere del viceré don Pedro de Toledo.
La pianta stellare non è decorativa: serviva a eliminare gli angoli morti per l'artiglieria difensiva, secondo i principi della fortificazione moderna che stavano cambiando l'arte della guerra in tutta Europa.
Sant'Elmo non ha quasi mai svolto funzioni residenziali. È stato soprattutto una prigione politica, e la sua storia coincide con quella delle rivolte napoletane represse.
Vi furono rinchiusi i protagonisti della rivolta di Masaniello, i giacobini della Repubblica del 1799, i patrioti risorgimentali. Dalla sua posizione dominante il castello poteva bombardare la città sottostante — e in più di un'occasione lo fece.
I camminamenti superiori girano tutto attorno alla stella e offrono la vista a trecentosessanta gradi. All'interno si trova il Museo del Novecento a Napoli, dedicato all'arte napoletana dal 1910 al 1980.
Nel cortile si trova l'installazione permanente «Fronte del Vomero» di Mimmo Paladino.
Con la funicolare di Montesanto (fermata Morghen) o la Linea 1 della metropolitana (Vanvitelli), poi cinque minuti a piedi in salita. È a due passi dalla Certosa di San Martino: le due visite si fanno nella stessa mattinata.
Il momento migliore è una giornata limpida d'inverno, quando l'aria è tersa e si vede fino a Capri.