Artilleur de formation, il servit ensuite dans l’état-major et remplit à de nombreuses reprises les fonctions d’aide de camp. Il participa à la conquête de l’Algérie : il eut un comportement particulièrement inhumain lors de l’enfumade du Dahra, en juin 1845, au cours duquel il fit périr un millier de combattants et civils, sans distinction, qui avaient cru trouver asile dans les grottes du Dahra. Cela ne l’empêcha pas d’obtenir le grade de général de division ! Appelé en Crimée pour y prendre le commandement en chef des troupes françaises, il fut fait maréchal de France après la chute de Sébastopol..
Titré duc de Malakoff en récompense de cette victoire, Pélissier enchaîna les postes sous le Second Empire avant d’être nommé gouverneur général de l’Algérie en 1860.