Na gitaru začal Page hrať v 12 rokoch a o rok neskôr sa prvýkrát objavil v televízii. Hrať sa učil sám. "V škole bol jeden chlapec, ktorý ukázal prvé akordy. Tie som sa naučil a potom už som pokračoval sám, tak trochu z nudy. Na gitaru som sa vlastne naučil hrať sám z platní, "spomínal na svoje začiatky Jimmy Page. Zarábať hraním si začal ešte ako tínedžer, rýchlo sa z neho stal obľúbený štúdiový gitarista, podieľal sa na nahrávkach Rolling Stones alebo The Who.
V roku 1966 prišiel do The Yardbirds a po ich rozpade stál pri zrode Led Zeppelin, kapely, ktorá stála pri zrode hard rocku a potažmo aj heavy metalu. Skupinu, pôvodne pomenovanú The New Yardbirds, založil Page spolu so spevákom Roberten Plantom, bubeníkom Johnom Bonhamom a basgitaristom Johnom Paulom Jonesom. Debutový album s názvom Led Zeppelin vydali v roku 1969. Všetky ich štúdiové albumy sa dostali do rebríčka Top 10 Billboard 200 a šesť z nich sa dostalo na prvé miesto.
V septembri 1980 zastavila triumfálny let hardrockovej vzducholode tragická správa o úmrtí bubeníka Johna Bonhama, ktorý sa opitý zadusil vlastnými zvratkami. V decembri potom zvyšní členovia Led Zeppelin oznámili, že bez Bonhama nebudú pokračovať. Po rozpade skupiny sa jej členovia vydali na sólové dráhy. Page a spevák Robert Plant sa zišli v roku 1994 na albume No Quarter, ktorý obsahoval hlavne prerábky ich starších vecí v severoafrickom háve.
V roku 1998 vyšiel ich ďalší spoločný projekt Walking into Clarksdale a v tom istom roku spolu vystúpili aj v Prahe. V decembri 2007 sa trojica muzikantov, Page, Plant a John Paul Jones, doplnená o bubeníka Jasona Bonhama, syna zosnulého Johna Bonhama, opäť zišla a za obrovského záujmu fanúšikov a médií odohrala dvojhodinový koncert. O dva roky skôr Page, dvojnásobný člen rokenrollovej siene slávy, dostal od kráľovnej Alžbety II. titul dôstojníka Rádu britského impéria za charitatívnu prácu v prospech detí v Brazílii.
