Kariéru začal ako akordeonista a člen sprievodných skupín spevákov ako Edith Piaf, Juliette Gréco či Yves Montand, pre ktorých neskôr aj komponoval piesne. Celkovo ich zložil asi 600 a je podpísaný pod hudbou k vyše stovke filmov. Zvláštnosťou je, že komponoval iba v noci.
Kľúčovým pre jeho kariéru bolo stretnutie s režisérom Claudom Lelouchom v 60. rokoch, keď skomponoval svoje najslávnejšie skladby. Lai spolupracoval na 35 Lelouchových filmoch, pričom z tohto obdobia je asi najznámejšia melódia z filmu Muž a žena (1966). Časť "textu“ da-ba-da-ba-da, da-ba-da-ba-da sa časom v "ľudovom“ podaní zmenila na ša-ba-da-ba-da. Okrem Leloucha Lai počas svojej kariéry spolupracoval aj s inými režisérmi z Francúzska a Británie. Medzi nimi bol Michael Winner, Terence Young, Peter Hall, René Clement, Bryan Forbes či Philippe de Broca.
Laiova sláva kulminovala v roku 1970, keď získal Oscara za soundtrack k filmu Love Story. Ten najskôr odmietol. Portál Variety pripomenul Laiovo dávnejšie vyjadrenie pre Los Angeles Times, že až Alain Delon, ktorý videl zostrih filmu, ho presvedčil, aby odložil letnú dovolenku a prácu vzal.
Lai nakoniec pristúpil na to, že si film pozrie. „Z projekcie som odchádzal neuveriteľne dojatý. Šiel som rovno domov, sadol si za klávesy a ešte v tú istú noc som zložil melódiu,“ cituje Laia Variety. Keď bola ústredná melódia otextovaná a pieseň Where Do I Begin? naspieval Andy Williams, slávila veľký úspech aj v hitparádach. Naspievala ju aj Shirley Basey a na Slovensku ju do svojho repertoáru pod názvom Kadiaľ ísť zaradila Jana Kocianová.
Francis Lai komponoval piesne i pre Sergea Reggianiho, Dalidu, Ellu Fitzgeraldovú či Johnnyho Hallydaya. Primátor Nice, ktorý o Laiovom úmrtí informoval, vo svojom vyhlásení uviedol, že chce pozostalým navrhnúť, aby bolo po Laiovi pomenované niektoré z emblematických miest v tomto juhofrancúzskom meste.
Gilles Jacob, bývalý prezident filmového festivalu v Cannes, v reakcii na Laiovo úmrtie vyhlásil, že "jeho melódie mali neuveriteľný šarm“. Francúzsky minister kultúry Franck Riester vo svojom tvíte napísal, že Lai "mal dar len pár notami urobiť filmy ešte krajšími a dojemnejšími“.