Walker kävi Providence Collegea, jossa hän pelasi valmentaja Mullaneyn alaisuudessa.
Walkerin toisena vuotena Friars oli maan kolmanneksi sijoittunut joukkue, mutta hävisi itäisessä Aluefinaalissa Princetonille ja heidän All American Bill Bradleylle pistein 109-69. Seuraavana vuonna, Friars asetettiin palauttamaan kaikki viisi alkajat, kuten James Benedict, Bill Blair ja tuleva NBA pelaaja Mike Riordan; kuitenkin, he menettivät alkaa keskus Dexter Westbrook johtuen akateemisia kysymyksiä, jotka lopulta pakotti hänet ulos Providence.
Providencessa Walkerin peliä (paljolti Michigan-tähti Cazzie Russellin peliä) verrattiin aikakauden ykköspelaajan, Cincinnati Royalsin supertähden Oscar Robertsonin peliin. Walker oli keskimäärin 23 pistettä kuin nuorempi, ja johti kansakunnan 30 pistettä per peli kuin vanhempi. Hänen uransa korkea 50 pistettä tuli 1965 Madison Square Garden Holiday Basketball Festival otsikko peli, kun Providence voitti Bob Cousyn Boston College joukkue 91-86 voittaa turnauksen. Hänen vaivaa, Walker nimettiin MVP turnauksen. Walker nimettiin myös MVP 1966 Holiday Festival, kun Providence voitti Saint Joseph ’ s University ja Cliff Anderson otsikko peli. Kun kaksi palkintoa, Walker oli ensimmäinen pelaaja on nimetty MVP Holiday Festival kahtena vuonna peräkkäin. Häntä pidettiin ensimmäisenä yliopistopelaajana, joka käytti jalkojen välistä harhautusta poikittaisliikkeenä.
Walker johti kansakuntaa pisteissä hänen vanhempi vuosi 1966-67, keskimäärin 30,4 pistettä peli. Hän nappasi ja ohitti UCLA: n Lew Alcindorin kauden viimeisillä viikoilla. Walker 2000-plus uran pistettä johti Providence neljä vuosikymmentä, kunnes hänen kaikkien aikojen pisteytys ennätys rikottiin vuonna 2005 Ryan Gomes. Walker pystyi tähän vain kolme kautta; tuolloin, fuksit eivät saaneet pelata varsity koripallo. Jimmy Walker päätti yliopistouransa puolivälierissä 1967 NIT viimeisessä koripalloturnauksessa järjestetään third Madison Square Garden, kun hän teki 36 pistettä, mutta jäi hyppyheiton lopussa pelin Providence taipui Marquette 81-80 jatkoajalla. Walker kertoi myöhemmin, että ohilaukaus oli ainoa asia, joka meni häneltä pieleen Madison Square Gardenissa.
kaiken kaikkiaan Walker teki Providencessa kolmella kaudellaan (81 ottelua) keskimäärin 25,2 pistettä, 6,3 levypalloa ja 5,3 syöttöä.