Rodák z Clevelandu v Ohiu Mancini, ktorého rodičia prišli do USA z Talianska, sa koncom 2. svetovej vojny ako vojak zúčastnil na oslobodzovaní nacistického koncentračného tábora Mauthausen neďaleko rakúskeho Linza.
Svoju umeleckú kariéru začal ako aranžér a klavirista v orchestri Glenna Millera a od polovice 50. rokov sa stal vyhľadávaným autorom filmovej hudby. Za svoju dlhú kariéru zložil hudbu k viacerým populárnym snímkam.
Veľký úspech mala napríklad jeho hudba k filmom Raňajky u Tiffanyho (najmä pieseň Moon River), Dni vína a ruží či Viktor, Viktória.
Jeho najznámejšou prácou je však džezový idióm sprevádzajúci filmovú sériu Ružový panter (The Pink Panther Theme). S režisérom tejto série Blakom Edwarsom dlhodobo spolupracoval, natočili spolu vyše 30 filmov. Celkovo napísal hudbu k takmer 250 filmom a vydal 85 albumov. Z televíznych prác patrí k najznámejším jeho hudba k seriálom Vtáky v trní a Peter Gunn.
Americký filmový inštitút vyhlásil jeho Moon River v roku 2000 za štvrtú najlepšiu filmovú pieseň všetkých čias a jeho hudbu k Ružovému panterovi za dvadsiatu najlepšiu filmovú hudbu.
Mancini bol okrem iného nominovaný na bezprecedentných 72 cien Grammy, z ktorých získal 20, a na 18 Oscarov, z ktorých získal štyroch.
Zomrel vo svojom dome v Los Angeles 14. júna 1994 vo veku 70 rokov na rakovinu pankreasu.