Walker navštěvoval Providence college, kde hrál za trenéra Mullaneyho.

V Walker je ve druháku, Mniši byli třetí-zařadil tým v zemi, ale ztratil 109-69 čtyřicet-bod pařba na Princetonu a jejich Všech Amerických Bill Bradley ve Východní Regionální Finále. Následující rok, Mniši byli připraveni na návrat všech pět předkrmů, včetně James Benedikt, Bill Blair a budoucí hráč NBA Mike Riordan; nicméně, oni ztratili výchozí centrum Dexter Westbrook vzhledem k akademické problémy, které nakonec nucen ho z Providence.

v Providence byla Walkerova hra (stejně jako hra Michiganské hvězdy Cazzie Russell) srovnávána s hrou předního hráče éry, Superstar Cincinnati Royals Oscar Robertson. Walker průměrně 23 body jako junior, a vedl národ s 30 body za hru jako senior. Jeho kariérní maximum 50 bodů přišlo v 1965 Madison Square Garden Holiday Basketball Festival titul hra, když Providence porazil Bob Cousy Boston College tým 91-86 vyhrát turnaj. Za své úsilí byl Walker jmenován MVP turnaje. Walker byl také jmenován MVP svátečního festivalu 1966, když Providence porazila univerzitu svatého Josefa a Cliffa Andersona v titulní hře. Se dvěma oceněními, Walker byl prvním hráčem, který byl jmenován MVP na prázdninovém festivalu dva roky po sobě. Byl považován za první univerzitní hráči používat mezi nohy driblovat jako cross-over, krok.

Walker vedl národ v bodování v jeho seniorském roce 1966-67, v průměru 30,4 bodů na hru. V posledních týdnech sezony chytal a předával Lew Alcindor z UCLA. Walkerovy 2,000-plus Kariérní body vedly Providence po čtyři desetiletí, dokud jeho rekord v bodování nebyl překonán v 2005 Ryanem Gomesem. Walker toho dokázal dosáhnout pouze ve třech sezónách; v době, kdy, prváci nesměli hrát univerzitní basketbal. Jimmy Walker ukončil svou univerzitní kariéru ve čtvrtfinále 1967 NIT v poslední basketbalový turnaj se konal na třetí Madison Square Garden, když on zaznamenal 36 bodů, ale minul skok střílel na konci hry jako Providence uklonil Marquette 81-80 v prodloužení. Walker později řekl, že zmeškaná střela byla jediná věc, která se mu v Madison Square Garden pokazila.

celkově Walker ve svých třech sezónách (81 zápasů) v Providence zaznamenal v průměru 25,2 bodu, 6,3 doskoku a 5,3 asistence.