Voyageur (en Allemagne où il contribua à la Revue germanique ainsi qu’à d’autres journaux, expéditions maritimes en Islande et en Scandinavie, Pôle nord, Moyen-Orient, Algérie, Russie...), il devint professeur de littérature étrangère puis administrateur général de la Bibliothèque Sainte-Geneviève de Paris.

En 1848, il repart pour l’Amérique du Nord et du Sud. De tous ses voyages, il rapporta des récits ainsi que des écrits sur la littérature, l’histoire et la géographie des régions qu’il parcourait. Il fut élu membre de l’Académie française en 1870. Auteur non seulement de récits de voyage mais aussi de traductions, de poèmes et de romans, Xavier Marmier a surtout contribué à faire connaître en France la littérature scandinave et germanique.

Le lycée de Pontarlier porte son nom.