"Han var en unik kille och vi tackar honom för allt det goda, onda och allt däremellan", skriver bandet på Twitter.
Sherman ersatte 1984 gitarristen Hillel Slovak inför bandets första album. Under sin tid i bandet var Sherman med och skrev några av deras tidiga Grammyvinnande låtar.
När Slovak sedermera återvände till bandet gick Sherman vidare till att vara studiomusiker åt bland andra Bob Dylan och funkartisten George Clinton.
Jack Sherman blev 64 år. Dödsorsaken är okänd.