Walker deltog Providence college, där han spelade för tränare Mullaney.
under Walkers andra år var Friars det tredje rankade laget i nationen, men förlorade en 109-69 fyrtiopunkts blowout till Princeton och deras All American Bill Bradley i Eastern Regional Finals. Året därpå skulle Friars återlämna alla fem förrätterna, inklusive James Benedict, Bill Blair och framtida NBA-spelare Mike Riordan; de förlorade dock Startcentret Dexter Westbrook på grund av akademiska frågor som i slutändan tvingade honom ur försynen.
på Providence jämfördes Walker ’ s game (mycket som Michigan-stjärnan Cazzie Russell) med den för den främsta spelaren i eran, Cincinnati Royals superstar Oscar Robertson. Walker var i genomsnitt 23 poäng som junior och ledde nationen med 30 poäng per match som senior. Hans karriär på 50 poäng kom i 1965 Madison Square Garden Holiday Basketball Festival titelspel, när Providence besegrade Bob Cousys Boston College team 91-86 för att vinna turneringen. För hans ansträngningar utsågs Walker till MVP i turneringen. Walker utsågs också till MVP för 1966 Holiday Festival när Providence besegrade Saint Joseph ’ s University och Cliff Anderson i titelspelet. Med de två utmärkelserna var Walker den första spelaren som utsågs till MVP i Holiday Festival två år i rad. Han ansågs vara den första college spelare att använda mellan benen dribbla som en cross-over drag.Walker ledde nationen i poäng i sitt seniorår 1966-67, i genomsnitt 30,4 poäng per spel. Han fångade och passerade UCLAS Lew Alcindor under de sista veckorna av säsongen. Walkers 2000 plus karriärpoäng ledde Providence i fyra decennier, tills hans rekord genom tiderna slogs 2005 av Ryan Gomes. Walker kunde åstadkomma detta på bara tre säsonger; just då, nybörjare fick inte spela varsity basket. Jimmy Walker avslutade sin college karriär i kvartfinalen i 1967 NIT i den sista basketturneringen som hölls på tredje Madison Square Garden, när han gjorde 36 poäng men missade ett hoppskott i slutet av matchen när Providence böjde sig till Marquette 81-80 på övertid. Walker sa senare att det missade skottet var det enda som gick fel för honom i Madison Square Garden.
totalt sett var Walker i genomsnitt 25,2 poäng, 6,3 Returer och 5,3 assist i sina tre säsonger (81 matcher) på Providence.