La chiesa è costruita sopra un cimitero, e non lo nasconde: l'altare maggiore è rialzato su una scala doppia perché sotto, esattamente sotto, ci sono le catacombe dove nel V secolo fu sepolto un vescovo africano. A Napoli il sacro e i morti non stanno in stanze separate. Stanno uno sopra l'altro, e si guardano.
Fu edificata tra il 1602 e il 1613 su progetto di fra' Nuvolo — al secolo Giuseppe Donzelli, frate domenicano e architetto — per custodire e valorizzare le sottostanti catacombe di San Gaudioso, riscoperte poco prima.
La pianta è a croce greca con cupola, soluzione insolita per Napoli, e la cupola rivestita di maioliche gialle e verdi è uno dei segni riconoscibili dello skyline del rione.
La basilica è dedicata anche a San Vincenzo Ferrer, che i napoletani chiamano «'o Munacone», il monacone. La devozione popolare verso questa figura nel rione Sanità è fortissima e ininterrotta da secoli.
Sotto la chiesa si estende il complesso paleocristiano che ospitò la sepoltura di San Gaudioso, vescovo di Abitina, in Nordafrica, giunto a Napoli nel V secolo dopo essere stato esiliato dai Vandali.
Nelle catacombe si trovano affreschi e mosaici paleocristiani e, in ambienti successivi, le inquietanti sepolture a «scolatura» seicentesche: nicchie dove i corpi venivano fatti essiccare in posizione seduta, con il cranio murato e il resto del corpo dipinto sulla parete.
Era un rito riservato ai nobili e ai benestanti, e ha lasciato figure murali con teschio reale e corpo affrescato che non si dimenticano facilmente.
Nel 1809 la costruzione del ponte della Sanità, voluto da Gioacchino Murat per collegare rapidamente il centro a Capodimonte, passò sopra il quartiere isolandolo dalla città. È l'origine dell'emarginazione storica del rione: da allora chi andava a Capodimonte non attraversava più la Sanità, ci passava sopra.
Le catacombe si visitano solo con guida, gestite dalla cooperativa La Paranza insieme a quelle di San Gennaro: il biglietto è cumulativo. La chiesa in sé è liberamente accessibile negli orari di apertura.