Walker gikk På Providence college, hvor Han spilte For Trener Mullaney. I Walker ‘ s sophomore år var Friars det tredje rangerte laget i nasjonen, men tapte en 109-69 førti-punkts blowout til Princeton og Deres All American Bill Bradley i Eastern Regional Finals. Året etter, Friars ble satt til å returnere alle fem startere, inkludert James Benedict, Bill Blair og fremtidige NBA-spiller Mike Riordan; derimot, de mistet start sentrum Dexter Westbrook grunn av akademiske problemer som til slutt tvang ham ut Av Providence.På Providence ble Walkers spill (mye som Michigan-stjernen Cazzie Russell) sammenlignet med den fremste spilleren Av epoken, Cincinnati Royals superstjerne Oscar Robertson. Walker gjennomsnitt 23 poeng som junior, og ledet nasjonen med 30 poeng per kamp som senior. Hans karriere på 50 poeng kom i 1965 Madison Square Garden Holiday Basketball Festival tittelkamp, da Providence slo Bob Cousys Boston College-lag 91-86 for å vinne turneringen. For hans innsats Ble Walker kåret TIL mvp av turneringen. Walker ble også kåret TIL MVP av 1966 Holiday Festival da Providence beseiret Saint Joseph ‘ S University og Cliff Anderson i tittelspillet. Med de to prisene Var Walker den første spilleren som ble kalt MVP i Holiday Festival to år på rad. Han ble ansett for å være den første college spillere å bruke mellom-the-ben dribble som en cross-over flytte.Walker ledet nasjonen i scoring i sitt siste år 1966-67, i gjennomsnitt 30,4 poeng et spill. Han fanget OG passerte UCLAS Lew Alcindor i de siste ukene av sesongen. Walkers 2000 pluss karrierepoeng ledet Providence i fire tiår, til Hans all-time scoring rekord ble brutt i 2005 Av Ryan Gomes. Walker var i stand til å oppnå dette i bare tre sesonger; på den tiden, freshmen fikk ikke lov til å spille varsity basketball. Jimmy Walker avsluttet sin collegekarriere i kvartfinalen i 1967 NIT i den siste basketballturneringen i Tredje Madison Square Garden, da Han scoret 36 poeng, men tapte et hoppskudd på slutten av kampen da Providence bøyde Seg til Marquette 81-80 på overtid. Walker sa senere at det savnede skuddet var det eneste som gikk galt for Ham I Madison Square Garden.Totalt Var Walker i gjennomsnitt 25,2 poeng, 6,3 returer og 5,3 assists i Sine tre sesonger (81 kamper) på Providence.