Passer bol jednou z hlavných osobností Česko-slovenskej novej vlny a nezmazateľne sa zapísal do fondu česko-slovenskej kinematografie. Ako režisér pritom nakrútil vo svojej rodnej krajine iba jeden celovečerný film – Intímne osvetlenie (1965).
Passer bol blízkym priateľom a spolužiakom zosnulého česko-amerického režiséra Miloša Formana. Ako scenárista sa podieľal na jeho filmoch Konkurs (1963), Lásky jednej plavovlásky (1965) a Hoří, má panenko (1967). Passer a Forman v roku 1969 spoločne utiekli z Česko-Slovenska do USA, kde obaja odvtedy žili. Passer v Spojených štátoch pokračoval vo filmovej kariére a prednášal na univerzite.
V novej vlasti sa režisérsky presadil snímkami Zrodený pre víťazstvo (1971), Zákon a neporiadok (1974), Bankári (1977), Cutterova cesta (1981), Stvoriteľ (1985) či Nomád (2005). Pre televíziu vytvoril filmy ako Stalin (1992), Keď spravodlivosť spí (1994), Únos (1995) a Piknik (2000).
Passer sa narodil v roku 1933 v Prahe a po vojne študoval na gymnáziu v Poděbradoch, kde boli jeho spolužiakmi okrem spomínaného Miloša Formana i Václav Havel a Jerzy Skolimowski. Neskôr študoval réžiu na Filmovej a televíznej fakulte Akadémie múzických umení (FAMU) v Prahe.
V roku 2007 dostal Českého leva za dlhoročný umelecký prínos do českého filmu a rok nato si na Medzinárodnom filmovom festivale v Karlových Varoch prevzal Krištáľový glóbus za mimoriadny umelecký prínos do svetovej kinematografie, dopĺňa spravodajský server iDNES.cz.
Passer po sebe zanechal manželku a syna.
