Landau sa narodil 20. júna 1928. Hereckú kariéru odštartoval na Broadwayi, pričom vo filme debutoval koncom 50. rokov 20. storočia, keď sa predstavil v snímkach Pahorok Pork Chop (1959) a Na sever severozápadnou dráhou (1959). Preslávil sa však až televíznym seriálom Mission: Impossible (1966 – 1973), v ktorom hral v rokoch 1966 – 1969 a vyniesol mu Zlatý glóbus aj tri nominácie na Primetime Emmy. V projekte pritom účinkovala aj jeho manželka Barbara Bain, s ktorou si neskôr zahral aj v britskej sci-fi sérii Space: 1999 (1975 – 1977).
Po Mission: Impossible jeho kariéra viac ako desaťročie upadala, pričom úplné dno pre neho znamenal televízny film The Harlem Globetrotters on Gilligan's Island z roku 1981. Vykúpenie prišlo až s vedľajšou rolou v životopisnej dráme Tucker: Muž a jeho sen (1988), ktorá mu v roku 1989 vyniesla prvú nomináciu na Oscara v kariére a získal za ňu druhý Zlatý glóbus. Na cenu americkej Akadémie filmových umení a vied ho znovu nominovali v roku 1990 za účinkovanie v dramédii Zločiny a poklesky (1989) Woodyho Allena. Tú tretiu, za stvárnenie Bélu Lugosiho vo filme Ed Wood (1994) Tima Burtona, už pritom v roku 1995 premenil na Oscara, pričom za túto rolu získal tiež tretí Zlatý glóbus.
Landau a Bain mali spolu dve dcéry, Susan a Juliet, a rozviedli sa v roku 1993.