Pochodził z arystokratycznej rodziny (po kądzieli przez arcyksięcia Jana jest potomkiem cesarzowej Marii Teresy). Dzieciństwo spędził w Grazu, wykształcenie muzyczne otrzymał w Wiedniu. Był wiolonczelistą w Wiedeńskiej Orkiestrze Symfonicznej (1952-1969).
W 1953 roku założył zespół muzyki barokowej Concentus Musicus Wien wykonujący muzykę przedklasyczną na oryginalnych instrumentach z epoki lub ich kopiach. Był kierownikiem artystycznym i dyrygentem, grał w tym zespole także na wiolonczeli i violi da gamba. Po kilku latach intensywnej pracy zespół zadebiutował w 1957 roku wywołując sensację swoim nowatorskim podejściem do dawnej muzyki.
Jako dyrygent operowy debiutował w 1971 r. w „Powrocie Ulissesa do ojczyzny” Claudio Monteverdiego.
W latach 1971-1990 razem z Gustavem Leonhardtem zarejestrował wszystkie kantaty Johanna Sebastiana Bacha. Współpracował z największymi orkiestrami świata.
W grudniu 2015 r. wycofał się z czynnej działalności jako dyrygent.
Jest autorem książek, m.in. „Muzyka mową dźwięków”, Warszawa 1995; „Dialog muzyczny”, Warszawa 2011
Jego brat Philipp Harnoncourt jest księdzem i znanym teologiem katolickim.