Silver patril ku generácii džezových velikánov 20. storočia, akými boli Louis Armstrong, Duke Ellington, Miles Davis, Charlie Parker alebo Lester Young. Spolupracoval hlavne s Milesom Davisom. Medzi svoje hudobné vplyvy zaraďoval gospel, africkú a latinskoamerickú hudbu.
V roku 2008 sa rozšírilo, že Silver trpí Alzheimerovou chorobou. Zomrel v Kalifornii, kde žil s rodinou.
