Aménagé à partir de 1920, ce cimetière abrite les corps de près de 2 000 soldats allemands tombés entre le secteur de Mulhouse et la Suisse. En 1975, les croix en bois surmontant les tombes ont été remplacées par des blocs gravés.

Au centre du cimetière est érigé un monument surmonté d’un aigle rendant hommage à trois aviateurs allemands tués le 18 mars 1916 dans une collision avec un appareil français. Initialement dressé sur l’aérodrome de Habsheim, il a été transféré au cimetière militaire d’Illfurth lors de son aménagement.

En juillet 2013, les restes de 21 soldats allemands ensevelis en mars 1918 dans la galerie Kilian de Carspach par des tirs de l’artillerie française y furent inhumés.

Parmi les tombes se trouve celle du lieutenant prussien Albert MAYER (1892-1914).

Le 2 août 1914, premier jour de la mobilisation allemande, il commandait un détachement de reconnaissance de huit hommes. Les positions françaises étaient à une dizaine de kilomètres de la frontière. Il reçut la mission de faire une reconnaissance armée en profondeur pour les repérer, ce qui impliquait de franchir la frontière, en armes. Il aborda le village de Joncherey (90) par la route. En face de la ferme Docourt, il rencontra l’escouade française du caporal Jules-André Peugeot. Albert Mayer sabra la première sentinelle postée sur la route, puis tira à trois reprises en direction du caporal Peugeot qui sortit de la ferme, le blessant mortellement. Celui-ci riposta et blessa Albert Mayer au ventre. Une seconde balle tirée par un autre militaire français le toucha ensuite à la tête, le tuant sur le coup et faisant de lui le premier tué allemand d’une guerre non encore déclarée. Le caporal Peugeot mourut quelques instants plus tard des suites de ses blessures, devenant à son tour le premier tué français du conflit à venir. Les deux jeunes hommes furent donc les premières victimes d’une guerre qui allait tuer des millions d’hommes : ils avaient presque le même âge, 21 et 22 ans.

Albert Mayer fut enterré à Joncherey, puis sa dépouille fut par la suite transférée dans ce cimetière miliaire. Son casque est conservé au musée de l’Armée à Paris.