K okruhu jeho obľúbených skladateľov patrili Ludwig van Beethoven, Pjotr Iľjič Čajkovský, Richard Wagner, Anton Bruckner, Igor Stravinskij, predovšetkým však Dmitrij Šostakovič, s ktorým ho spájalo päťdesiatročné osobné priateľstvo.
Petrohradský rodák pochádzal zo šľachtickej rodiny a najprv vyštudoval biológiu. Až potom, čo začal ako klavirista a korepetitor spolupracovať s baletom Kirovovho divadla, zahájil štúdiá na leningradskom konzervatóriu, ktoré ukončil v roku 1931. Dirigovanie tam študoval u Nikolaja Malka a Alexandra Gauka, skladbu u Vladimira Ščerbačova. Potom nastúpil do Kirovovho divadla, ale začal aj spoluprácu s Leningradskou (teraz Petrohradskou) filharmóniou, s ktorou bol potom dlhé roky neodlučne spojený. Jej hlavným dirigentom sa stal v roku 1938 po víťazstve vo Všezväzovej dirigentskej súťaži a zostal ním až do svojej smrti.
Vynikol predovšetkým v interpretácii vrcholných symfónií, najmä Beethovena, Antona Brucknera alebo Čajkovského. Vo svetových premiérach uviedol symfónia Dmitrija Šostakoviča, a to piatu a všetky ďalšie – od siedmej do dvanástej s výnimkou poslednej trinástej symfónie. Podobne dirigoval niektoré svetové premiéry diel Sergeja Prokofjeva (6. symfónia), Arama Chačaturjana a ďalších. Šostakovič mu svoju 8. symfóniu osobne venoval. Riadil aj sovietsku premiéru baletov Apollo a Agón Igora Stravinského.

Leningradská filharmónia vďaka nemu získala vysoké renomé po celom svete, aj keď napríklad zájazd do USA s ňou absolvoval len raz v roku 1962. Výborný ohlas za hranicami mali jeho nahrávky, najmä ruskej hudby – az nich najviac nahrávka z roku 1961, na ktoré sú zaznamenané troch poslednej Čajkovského symfónia. Niekoľkokrát dirigoval aj vo vtedajšom Československu, hosťoval za pultom Českej filharmónie už na dvoch koncertoch prvého ročníka Pražskej jari v roku 1946 (s huslistom Davidom Oistrachom a klaviristom Levom Oborinom), v roku 1955 hrala pod jeho vedením na dvoch koncertoch.
Preslávil sa ako nekompromisný dirigent, ktorý požadoval od orchestra prísne plnenie svojich požiadaviek. Jeho dirigentský štýl bol úsporný, vystačil s minimálnym gestom. Jeho naštudovanie bola prostá pátosu a sentimentalizmu.
Bol tiež pedagógom na leningradskom konzervatóriu. Medzi jeho najvýznamnejších žiakov patrili Valerij Gergijev, Mariss Jansons a Jurij Těmirkanov, ktorý sa stal pri Leningradskej filharmónii jeho nástupcom. Vedenie Sovietskeho zväzu ho ocenilo radom vyznamenaní, napríklad Leninovým poriadkom, poriadkom Hrdiny socialistickej práce (1973) a tiež titulom národný umelec ZSSR (1954).

Bol štyrikrát ženatý. Zomrel 19. januára 1988 vo veku 84 rokov v Moskve na srdcový záchvat.