Walker ha frequentato il Providence college, dove ha giocato per l’allenatore Mullaney.
Nel secondo anno di Walker, i Frati erano la terza squadra in classifica nella nazione, ma hanno perso un 109-69 scoppio quaranta punti a Princeton e il loro All American Bill Bradley nelle finali regionali orientali. L’anno seguente, i Frati sono stati impostati per tornare tutti e cinque i titolari, tra cui James Benedict, Bill Blair e il futuro giocatore NBA Mike Riordan; tuttavia, hanno perso il centro titolare Dexter Westbrook a causa di problemi accademici che alla fine lo hanno costretto a lasciare Providence.
A Providence, il gioco di Walker (molto simile a quello della stella del Michigan Cazzie Russell) è stato paragonato a quello del premier player dell’epoca, la superstar dei Cincinnati Royals Oscar Robertson. Walker media 23 punti come junior, e ha portato la nazione con 30 punti a partita come senior. Il suo career high di 50 punti arrivò nel 1965 al Madison Square Garden Holiday Basketball Festival, quando Providence sconfisse la squadra del Boston College di Bob Cousy per 91-86 vincendo il torneo. Per i suoi sforzi, Walker è stato nominato MVP del torneo. Walker fu anche nominato MVP dell’Holiday Festival del 1966 quando Providence sconfisse la Saint Joseph’s University e Cliff Anderson nella partita del titolo. Con i due premi, Walker è stato il primo giocatore ad essere nominato MVP nel Festival di vacanza due anni di fila. È stato considerato il primo giocatore del college ad usare il dribbling tra le gambe come mossa cross-over.
Walker guidò la nazione nel punteggio nel suo ultimo anno di 1966-67, con una media di 30,4 punti a partita. Ha catturato e superato UCLA di Lew Alcindor nelle ultime settimane della stagione. Oltre 2.000 punti in carriera di Walker ha guidato Providence per quattro decenni, fino a quando il suo record di punteggio di tutti i tempi è stato battuto nel 2005 da Ryan Gomes. Walker è stato in grado di realizzare questo in sole tre stagioni; al momento, matricole non sono stati autorizzati a giocare a basket varsity. Jimmy Walker ha concluso la sua carriera universitaria nei quarti di finale del 1967 NIT nell’ultimo torneo di basket tenutosi al terzo Madison Square Garden, quando ha segnato 36 punti, ma ha perso un colpo di salto alla fine della partita come Providence si inchinò a Marquette 81-80 in overtime. Walker in seguito ha detto che il colpo mancato è stata l’unica cosa che è andato storto per lui al Madison Square Garden.
Nel complesso, Walker ha una media di 25,2 punti, 6,3 rimbalzi e 5,3 assist nelle sue tre stagioni (81 partite) a Providence.