Narodil sa 26. marca 1940 v americkom New Yorku židovským emigrantom pochádzajúcim z Nemecka. Mal dvoch súrodencov. Navštevoval Michiganskú štátnu univerzitu a Univerzitu Hofstra, no ani na jednej z nich nedokončil štúdium. Počas vysokoškolských čias hrával univerzitný futbal.
Neskôr začal študovať na Neighborhood Playhouse School of the Theatre v New Yorku, kde objavil svoju vášeň pre herectvo.
Po ukončení školy si zahral v niekoľkých divadelných hrách. Na Broadwayi debutoval v inscenácii Blood, Sweat and Stanley Poole. Neskôr začal účinkovať v televíznych seriáloch, objavil sa napríklad v Naked City, Route 66, Wide Country či Death Valley Days.
Jeho kariéra nabrala spád v roku 1969, keď zažiaril vo filme Ľudia dažďa. Režíroval ho Francis Ford Coppola, s ktorým sa Caan poznal zo školy.
V roku 1972 stvárnil Sonnyho v Coppolovej slávnej snímke Krstný otec. Ďalej hral vo filmoch ako Misery nechce zomrieť, Funny Lady, Mesto duchov, Vianočný škriatok či Rodinný ranč. Mnoho lukratívnych ponúk počas svojej kariéry odmietol – účinkovanie v úspešných filmoch ako Prelet na kukučím hniezdom, Blade Runner, Superman či Blízke stretnutie tretieho druhu.
Za svoje herecké výkony bol nominovaný na Emmy, Zlatý glóbus aj Oscara.
Bol štyrikrát ženatý. Mal päť detí vrátane herca Scotta Caana.
„S veľkým zármutkom vám oznamujeme, že Jimmy 6. júla večer zomrel. Rodina si váži prejavy úprimnej sústrasti a prosí, aby ste naďalej rešpektovali ich súkromie v tomto ťažkom období,“ napísala Caanova rodina na Twitteri.
