Il est le fils d'Adrien d'Oultremont.
Il est né en 1735 et a reçu une éducation classique. Il a ensuite poursuivi une carrière militaire et a atteint le grade de maréchal de camp. Il a également été député aux États-Généraux de 1789.