Jack Sherman pochádza z Los Angeles a v roku 1984 vstúpil do kapely Red Hot Chili Peppers, ktorá hľadala náhradníka za svojho spoluzakladateľa a gitaristu Hillela Slovaka, ktorý spolu s ďalším zakladajúcim členom skupiny a bubeníkom Jack Ironsom opustili skupiny, kvôli svojmu už začatému projektu s názvom What Is This?. Sherman sa v kapele veľmi rýchlo adaptoval a dokázal hrať Hillelove party. Napriek veľkému nadšeniu sa prvý album skupiny s názvom The Red Hot Chili Peppers nielenže nepredával ale ani nevystihoval pravý hrací štýl Red Hotov. Po vydaní albumu sa kapela vydala na turné, aspoň trošku spropagovať nie moc predávaný album, ale aj na ukázanie svojho hráčskeho potenciálu. Počas turné sa však vo vnútri kapely objavili rozpory, najmä medzi Shermanom a ostatnými členmi kapely. Pred, počas ale aj po koncerte to medzi Shermanom a ostatnými vrelo. Po skončení propagačného turné sa Anthony a Flea rozhodli, že Shermana už ďalej v kapele neznesú. Nebol totiž ochotný pristúpiť k ústupkom a tak ho vyhodili. Na jeho miesto sa vrátil Hillel Slovak, ktorý medzičasom zanechal projekt What Is This?. Jack Sherman potom pôsobil s mnohými významnými umelcami. V roku 1986 sa objavil na albume Boba Dylana s názvom Knocked Out Loaded, v tom istom roku si zahral aj na albume Georga Clintona (producenta druhého albumu Red Hotov – Freaky Styley) – R&B Skeletons in the Closet. O dva roky neskôr bol gitaristom na albume Tonia K – Notes From The Lost Civilization. V 1989 ho pozval Peter Case na nahrávanie albumu Blue Guitar. Sherman sa potom na dlhšiu dobu v hudobnom priemysle odmlčal. Vrátil sa do neho až v roku 1996 keď ho Gerry Goffin pozval na nahrávanie albumu Backroom Blood, v tom istom roku spolupracoval aj s Georgom Roseblattom na albume Dangleberry Rd. V nasledujúcom roku už po druhýkrát si ho za gitaristu vybral Tonio K a vytvorili album Ole. Zatiaľ posledný album na ktorom pôsobil Jack Sherman sa volal In From the Cold, od skupiny s rovnakým názvom, ktorý bol vydaný v roku 2000.