Walker a participat la Providence college, unde a jucat pentru antrenorul Mullaney.
În al doilea an al lui Walker, frații au fost echipa clasată pe locul trei în națiune, dar au pierdut o explozie de 109-69 de patruzeci de puncte în fața Princeton și a lor All American Bill Bradley în finala Regională de Est. În anul următor, frații urmau să returneze toți cei cinci titulari, inclusiv James Benedict, Bill Blair și viitorul jucător NBA Mike Riordan; cu toate acestea, au pierdut Centrul de start Dexter Westbrook din cauza problemelor academice care l-au forțat în cele din urmă să iasă din providență.
La Providence, jocul lui Walker (la fel ca cel al starului Michigan Cazzie Russell) a fost comparat cu cel al jucătorului premier al epocii, superstarul Cincinnati Royals Oscar Robertson. Walker a obținut în medie 23 de puncte ca junior și a condus națiunea cu 30 de puncte pe meci ca senior. Cariera sa maximă de 50 de puncte a venit în 1965 Madison Square Garden Holiday Basketball Festival joc de titlu, când Providența a învins Bob Cousyechipa Boston College 91-86 pentru a câștiga turneul. Pentru eforturile sale, Walker a fost numit MVP al turneului. Walker a fost, de asemenea, numit MVP al Festivalului de vacanță din 1966 când Providența a învins Universitatea Saint Joseph și Cliff Anderson în jocul de titlu. Cu cele două premii, Walker a fost primul jucător care a fost numit MVP în Festivalul de vacanță doi ani la rând. El a fost considerat a fi primii jucători de colegiu care au folosit driblingul între picioare ca o mișcare încrucișată.
Walker a condus națiunea în scor în ultimul său an de 1966-67, în medie 30,4 puncte pe joc. A prins și a trecut de UCLA Lew Alcindor în ultimele săptămâni ale sezonului. Cele peste 2.000 de puncte de carieră ale lui Walker au condus Providența timp de patru decenii, până când recordul său de scor din toate timpurile a fost doborât în 2005 de Ryan Gomes. Walker a reușit să realizeze acest lucru în doar trei sezoane; la acea vreme, bobocilor nu li s-a permis să joace baschet universitar. Jimmy Walker și-a încheiat cariera universitară în sferturile de finală ale NIT din 1967 în ultimul turneu de baschet desfășurat la A treia grădină Madison Square, când a marcat 36 de puncte, dar a ratat o lovitură de salt la sfârșitul jocului, în timp ce Providența s-a înclinat în fața lui Marquette 81-80 în prelungiri. Walker a spus mai târziu că lovitura ratată a fost singurul lucru care a mers prost pentru el în Madison Square Garden.în general, Walker a avut o medie de 25,2 puncte, 6,3 recuperări și 5,3 pase decisive în cele trei sezoane (81 de jocuri) la Providence.