Walker besuchte das Providence College, wo er für Trainer Mullaney spielte. In Walkers zweitem Jahr waren die Brüder das drittplatzierte Team der Nation, verloren aber einen 109-69 Vierzig-Punkte-Blowout gegen Princeton und ihren All American Bill Bradley im Eastern Regional Finale. Das folgende Jahr, Die Brüder sollten alle fünf Starter zurückgeben, einschließlich James Benedict, Bill Blair und zukünftiger NBA-Spieler Mike Riordan; jedoch, Sie verloren das Startzentrum Dexter Westbrook aufgrund akademischer Probleme, die ihn letztendlich aus Providence zwangen.In Providence wurde Walkers Spiel (ähnlich wie das von Michigan-Star Cazzie Russell) mit dem des führenden Spielers der Ära, Cincinnati Royals Superstar Oscar Robertson, verglichen. Walker durchschnittlich 23 Punkte als Junior, und führte die Nation mit 30 Punkte pro Spiel als Senior. Sein Karrierehoch von 50 Punkten kam 1965 im Madison Square Garden Holiday Basketball Festival Titelspiel, als Providence Bob Cousys Boston College Team 91-86 besiegte, um das Turnier zu gewinnen. Für seine Bemühungen wurde Walker zum MVP des Turniers ernannt. Walker wurde auch zum MVP des Holiday Festivals 1966 ernannt, als Providence die Saint Joseph’s University und Cliff Anderson im Titelspiel besiegte. Mit den beiden Auszeichnungen war Walker der erste Spieler, der zwei Jahre in Folge zum MVP des Holiday Festivals ernannt wurde. Er galt als der erste College-Spieler, der das Dribbeln zwischen den Beinen als Crossover-Bewegung nutzte.Walker führte die Nation in seinem letzten Jahr 1966/67 mit durchschnittlich 30,4 Punkten pro Spiel an. Er fing und übergeben UCLA Lew Alcindor in den letzten Wochen der Saison. Walkers über 2.000 Karrierepunkte führten Providence vier Jahrzehnte lang an, bis sein Allzeitrekord 2005 von Ryan Gomes gebrochen wurde. Walker konnte dies in nur drei Spielzeiten erreichen; Damals, Neulinge durften keinen Uni-Basketball spielen. Jimmy Walker beendete seine College-Karriere im Viertelfinale des NIT 1967 im letzten Basketballturnier im dritten Madison Square Garden, als er 36 Punkte erzielte, aber am Ende des Spiels einen Sprungschuss verpasste, als sich Providence in der Verlängerung 81-80 vor Marquette verbeugte. Walker sagte später, dass der verpasste Schuss das einzige war, was für ihn im Madison Square Garden schief gelaufen ist.Insgesamt erzielte Walker in seinen drei Spielzeiten (81 Spiele) in Providence durchschnittlich 25,2 Punkte, 6,3 Rebounds und 5,3 Assists.