Al momento della Riunificazione della Germania è entrato anche al Senato di Berlino.
Nel 1991 è stato eletto sindaco di Berlino, carica che ha ricoperto fino al 1996. Durante il suo mandato ha promosso la riqualificazione del centro storico e la costruzione del nuovo palazzo del governo.