Militant syndical (CFTC puis CFDT), il travailla auprès du Premier ministre gaulliste Jacques Chaban-Delmas de 1969 à 1972, puis adhéra au Parti socialiste en 1974. Cinq ans plus tard, il fut élu député européen. Ministre de l’Économie et des Finances de 1981 à 1984 ; il initia le « tournant de la rigueur », qu’il défendit face à la situation économique dégradée du pays. Il fut également brièvement maire de Clichy en 1983-1984. Après avoir été pressenti pour succéder à Mauroy à Matignon, il fut président de la Commission européenne de 1985 à 1995 : il contribua ainsi à la mise en place de l’euro, de l’Acte unique européen, de l’accord de Schengen ou encore du programme Erasmus.

Donné favori à l’élection présidentielle française de 1995, il renonça à se présenter à la surprise générale. Il perdit ensuite en influence et ne retrouva pas de fonction de premier plan, prenant occasionnellement position sur les questions européennes.

Il était le père de la femme politique Martine Aubry. Beaucoup s’attendaient à ce qu’il soit inhumé à Lille : il repose en réalité dans le village où il possédait une résidence, auprès de son épouse et de son fils, mort d’une leucémie.