Walker a fréquenté le Providence college, où il a joué pour l’entraîneur Mullaney.
Lors de la deuxième année de Walker, les Friars étaient la troisième équipe du pays, mais ont perdu 109-69 à quarante points contre Princeton et leur All American Bill Bradley en finale régionale de l’Est. L’année suivante, les Frères devaient renvoyer les cinq titulaires, dont James Benedict, Bill Blair et le futur joueur NBA Mike Riordan; cependant, ils ont perdu le centre de départ Dexter Westbrook en raison de problèmes académiques qui l’ont finalement contraint à quitter Providence.
À Providence, le jeu de Walker (tout comme celui de la star du Michigan Cazzie Russell) a été comparé à celui du premier joueur de l’époque, la superstar des Royals de Cincinnati Oscar Robertson. Walker a marqué en moyenne 23 points en junior et a mené le pays avec 30 points par match en senior. Son record en carrière de 50 points est atteint lors du match pour le titre du Madison Square Garden Holiday Basketball Festival en 1965, lorsque Providence bat l’équipe de Boston College de Bob Cousy 91 à 86 pour remporter le tournoi. Pour ses efforts, Walker a été nommé MVP du tournoi. Walker a également été nommé MVP du Festival des Fêtes de 1966 lorsque Providence a battu l’Université Saint Joseph et Cliff Anderson dans le match pour le titre. Avec les deux prix, Walker a été le premier joueur à être nommé MVP du Festival des Fêtes deux années de suite. Il était considéré comme le premier joueur universitaire à utiliser le dribble entre les jambes comme un mouvement croisé.
Walker a mené le pays en marquant lors de sa dernière année de 1966-1967, avec une moyenne de 30,4 points par match. Il a attrapé et dépassé Lew Alcindor de l’UCLA dans les dernières semaines de la saison. Avec plus de 2 000 points en carrière, Walker a dirigé Providence pendant quatre décennies, jusqu’à ce que son record de points de tous les temps soit battu en 2005 par Ryan Gomes. Walker a pu accomplir cela en seulement trois saisons; à l’époque, les étudiants de première année n’étaient pas autorisés à jouer au basket-ball universitaire. Jimmy Walker a mis fin à sa carrière universitaire en quarts de finale du NIT 1967 lors du dernier tournoi de basket-ball organisé au troisième Madison Square Garden, lorsqu’il a marqué 36 points mais a manqué un tir de saut à la fin du match alors que Providence s’est incliné 81-80 à Marquette en prolongation. Walker a dit plus tard que le tir manqué était la seule chose qui n’allait pas pour lui au Madison Square Garden.
Au total, Walker a des moyennes de 25,2 points, 6,3 rebonds et 5,3 passes décisives lors de ses trois saisons (81 matchs) à Providence.