1973-ban vette kézhez karmesteri diplomáját Kórodi András és Simon Albert tanítványaként, később a zongora szakot is elvégezte. 1973-ban lett a Magyar Állami Operaház tagja, 1976-tól karmesterként szerződtették. 1987 és 1990 között az Operaház vezető karmestere, 2002-től első karmestere, 2002-ben, 2006-2007-ben megbízott főzeneigazgatója, 2011 augusztusában egy rövid ideig megbízott főigazgatója volt.
1979 és 1981 között a Bayreuth-i Ünnepi Játékok zenei asszisztenseként tevékenykedett, vendége volt a Badisches Staatstheaternek, a pozsonyi Nemzeti Színháznak és a berlini Komische Opernek is. Több éven át volt a Szlovén Filharmonikusok első vendégkarmestere, jelenleg is a Tokiói Filharmonikusok állandó, első vendégkarmestere.
Számos európai városban fellépett vendégkarmesterként az Operaház társulatával, a Nemzeti Filharmonikusokkal a többi közt Németországban, Spanyolországban, Brazíliában és Kínában turnézott. 2001-ben a Budapesti Filharmóniai Társaság első vendégkarmestere lett. Vendégként szinte minden magyar zenekar élén dirigált, fellépett a Budapesti Fesztiválzenekarral, a Nemzeti Filharmonikusokkal, a Miskolci Szimfonikusokkal, a MÁV Szimfonikusokkal és a Concerto Budapesttel. A 2014/2015-ös évadban a Magyar Rádió Szimfonikus Zenekarának vezető karmestere volt.
Repertoárja felöleli a klasszikus és romantikus operák mellett a kortárs darabokat is, több magyar mű ősbemutatóját vezényelte.
Számos CD-felvétele jelent meg jelentős zenei kiadóknál. Olyan kiváló magyar művészekkel dolgozott együtt, mint Komlós Ildikó, Marton Éva, Rost Andrea, Polgár László, Kocsis Zoltán, Ránki Dezső, Starker János.
Kovács János művészete elismeréseként a többi közt megkapta a Liszt Ferenc-díjat (1985), az Érdemes Művész címet (1996), a Gundel művészeti díjat (2004), valamint a Bartók Béla–Pásztory Ditta-díjat (2007). 2001-ben Kossuth-díjjal tüntették ki a komolyzenei műfajok tolmácsolásában kimagasló értéket képviselő, nemzetközi hírű karmesteri működéséért, a zenekari munka tökéletes föloldásáért a zene szellemében, példaértékű művészi tevékenysége elismeréseként. 2010-ben az Operaház örökös tagja, 2016-ban mesterművésze lett. 2015-ben Prima Primissima Díjban részesült. 2018-ban a Magyar Érdemrend középkereszt polgári tagozat kitüntetést vehette át. 2019-ben Artisjus előadóművészi díjjal, 2020-ban a Cziffra Fesztivál Életműdíjával tüntették ki.
Fotó: port.hu