Jozef Ábel sa narodil 16. augusta 1941 v Piešťanoch. Vyštudoval spev na Konzervatóriu v Bratislave (1960 – 1963). V rokoch 1963 – 1967 absolvoval štúdium na Janáčkovej akadémii múzických umení v Brne. V roku 1968 sa stal absolútnym víťazom na Medzinárodnej speváckej súťaži Antonína Dvořáka v Karlových Varoch.
Od roku 1966 pôsobil ako sólista opery Štátneho divadla (v súčasnosti Národné divadlo moravskosliezske) v Ostrave. Od roku 1982 bol vyše dvadsať rokov popredným sólistom Opery SND. Hosťoval tiež v Národnom divadle v Prahe a ďalších českých divadlách.