Cherubini nasce da Maria e da Luigi Carlo Zenobio Salvatore Cherubini a Firenze. La sua istruzione nella musica è cominciata all'età di sei anni con suo padre, egli stesso un musicista. All'età di tredici anni, aveva composto parecchi impianti religiosi.

Nel 1788, Cherubini fece una breve visita a Londra, dove iniziò il lavoro su una regolazione di un libretto francese di Jean-François Marmontel, Démophon.

La popolarità del Cherubini contrassegnò un declino  dopo i journées del deux di Les, con i pubblici parigini che furono attratti da compositori più giovani, quale Boieldieu.

Il suo opera-balletto Anacréon fu un'autentico insuccesso.

Nel 1805, Cherubini ricevette un invito da Vienna  per scrivere un'opera e dirigerla in persona. Faniska fu prodotta l'anno successivo ed ebbe entusiastici riconoscimenti, in particolare, da Haydn e da Beethoven.

I abencérages di Les (1813), un dramma eroico ambientato in Spagna durante gli ultimi giorni del regno Moorish di Granada, furano un tentativo del Cherubini di competere a La Vestale dello  Spontini.

Il dramma portò al compositore l'elogio critico ma poche prestazioni.

Deluso dalla sua mancanza di successo nel teatro, il Cherubini si dedicò sempre più alla musica sacra, scrivendo sette messe e due requiem.

Il Requiem del Cherubini in DO minore (1816), commemorando l'anniversario dell'esecuzione del re Luigi XVI di Francia, fu un successo enorme. Il lavoro fu notevolmente ammirato da Beethoven, da Schumann e da Brahms. Nel 1836, Cherubini ha scritto un Requiem da effettuare al proprio funerale.

Nel 1822, Cherubini è stato direttore del conservatorio ed ha completato il suo manuale, Cours de contrepoint et de fugue, nel 1835. Il suo ruolo al conservatorio lo introdusse al conflitto con il giovane Berlioz, che continuò a ritrarre il compositore anziano come un pedant crotchety nelle sue memorie.

Ci sono molte allusioni alla irritabilità  personale del Cherubini fra i suoi contemporanei; Adolphe Adam ha scritto, “il suo temperamento è molto uniforme, perché è sempre arrabbiat. Tuttavia, Cherubini ha avuto molti amici, compreso Rossini, Chopin e, soprattutto, l'artista Ingres. I due hanno avuto interessi reciproci: Cherubini era un pittore dilettante acuto e Ingres ha goduto nell'esercitarsi nel violino. Nel 1841, Ingres ha prodotto il ritratto, molto celebrato, del compositore anziano.

Cherubini è morto a Parigi all'età 81 anni ed è stato sepolto nel cimitero di Père Lachaise.