Walker frequentou a Providence college, onde jogou pelo treinador Mullaney.
no segundo ano de Walker, os frades foram a terceira equipe do país, mas perderam um 109-69 pontos para Princeton e seu Bill Bradley Americano nas Finais Regionais do Leste. No ano seguinte, os frades foram programados para retornar todos os cinco titulares, incluindo James Benedict, Bill Blair e o futuro jogador da NBA Mike Riordan; no entanto, eles perderam o centro de partida Dexter Westbrook devido a questões acadêmicas que o forçaram a sair de Providence.no Providence, o jogo de Walker (tanto como o da Estrela de Michigan Cazzie Russell) foi comparado ao do melhor jogador da época, o Estrela De Cincinnati Royals Oscar Robertson. Walker teve médias de 23 pontos como júnior, e liderou o país com 30 pontos por jogo como senior. Seu pico de carreira de 50 pontos veio em 1965 no Madison Square Garden Holiday Basketball Festival, quando Providence derrotou Bob Cousy da Boston College team 91-86 para ganhar o torneio. Por seus esforços, Walker foi nomeado MVP do torneio. Walker também foi nomeado MVP do festival de férias de 1966 quando Providence derrotou Saint Joseph’s University e Cliff Anderson no jogo-título. Com os dois prêmios, Walker foi o primeiro jogador a ser nomeado MVP no Festival de férias dois anos seguidos. Ele foi considerado o primeiro jogador universitário a usar o drible entre as pernas como um movimento cruzado.
Walker liderou a nação na pontuação em seu último ano de 1966-67, com média de 30,4 pontos por jogo. Ele pegou e passou pelo Lew Alcindor da UCLA nas últimas semanas da temporada. Mais de 2.000 pontos de carreira de Walker liderou Providence por quatro décadas, até que seu recorde de pontuação de todos os tempos foi quebrado em 2005 por Ryan Gomes. Walker foi capaz de realizar isso em apenas três temporadas; na época, calouros não foram autorizados a jogar basquete universitário. Jimmy Walker terminou a sua carreira universitária nas quartas-de 1967 NIT no último torneio de basquete realizado no terceiro Madison Square Garden, quando marcou 36 pontos, mas errou um arremesso no final do jogo, como a Providência, curvou-se para Marquette 81-80 na prorrogação. Walker disse mais tarde que o tiro perdido foi a única coisa que correu mal para ele no Madison Square Garden.no geral, Walker teve médias de 25,2 pontos, 6,3 rebotes e 5,3 assistências em suas três temporadas (81 jogos) em Providence.