Walker asistió al Providence college, donde jugó para el entrenador Mullaney.
En el segundo año de Walker, los Frailes fueron el tercer equipo clasificado en la nación, pero perdieron un 109-69 de cuarenta puntos contra Princeton y su All American Bill Bradley en las Finales Regionales del Este. Al año siguiente, los Frailes regresarían a los cinco titulares, incluidos James Benedict, Bill Blair y el futuro jugador de la NBA Mike Riordan; sin embargo, perdieron al centro titular Dexter Westbrook debido a problemas académicos que finalmente lo obligaron a salir de Providence.
En Providence, el juego de Walker (al igual que el de la estrella de Michigan Cazzie Russell) fue comparado con el del jugador más importante de la época, la superestrella de Cincinnati Royals Oscar Robertson. Walker promedió 23 puntos como junior, y lideró a la nación con 30 puntos por partido como senior. Su récord profesional de 50 puntos llegó en el juego por el título del Festival de Baloncesto de Madison Square Garden Holiday de 1965, cuando Providence derrotó al equipo de Boston College de Bob Cousy por 91-86 para ganar el torneo. Por sus esfuerzos, Walker fue nombrado MVP del torneo. Walker también fue nombrado MVP del Festival de Vacaciones de 1966 cuando Providence derrotó a la Universidad de Saint Joseph y a Cliff Anderson en el juego por el título. Con los dos premios, Walker fue el primer jugador en ser nombrado MVP en el Festival de Vacaciones dos años seguidos. Fue considerado como el primer jugador universitario en usar el regate entre las piernas como un movimiento cruzado.
Walker lideró a la nación en anotar en su último año de 1966-67, promediando 30.4 puntos por partido. Atrapó y superó a Lew Alcindor de UCLA en las últimas semanas de la temporada. Los más de 2.000 puntos de carrera de Walker lideraron a Providence durante cuatro décadas, hasta que su récord histórico de anotación se rompió en 2005 por Ryan Gomes. Walker fue capaz de lograr esto en solo tres temporadas; en ese momento, a los estudiantes de primer año no se les permitía jugar baloncesto universitario. Jimmy Walker terminó su carrera universitaria en los cuartos de final de la NIT de 1967 en el último torneo de baloncesto celebrado en el tercer Madison Square Garden, cuando anotó 36 puntos, pero se perdió un tiro en salto al final del juego cuando Providence se inclinó ante Marquette por 81-80 en tiempo extra. Walker dijo más tarde que el tiro errado fue lo único que le salió mal en el Madison Square Garden.
En general, Walker promedió 25.2 puntos, 6.3 rebotes y 5.3 asistencias en sus tres temporadas (81 partidos) en Providence.