Walker részt vett Providence főiskola, ahol Mullaney edzőként játszott.
Walker másodéves korában a Friars volt a harmadik helyezett csapat a nemzetben, de 109-69-es negyvenpontos lefújást veszített Princeton és az egész amerikai Bill Bradley a keleti regionális döntőben. A következő évben a testvérek mind az öt indulót visszaadták, köztük James Benedict, Bill Blair és a jövőbeli NBA-játékos Mike Riordan; azonban elvesztették a kezdő Centert Dexter Westbrook akadémiai kérdések miatt, amelyek végül kiszorították Providence-ből.
nál nél Providence, Walker játékát (akárcsak a Michigani csillag Cazzie Russell) összehasonlították a korszak premier játékosával, Cincinnati Royals szupersztár Oscar Robertson. Walker juniorként átlagosan 23 pontot szerzett, idősebbként pedig meccsenként 30 ponttal vezette a nemzetet. Karrierje 50 pontot ért el 1965-ben Madison Square Garden Holiday kosárlabda Fesztivál címjáték, amikor a Providence legyőzte Bob Cousy ‘ s Boston College csapat 91-86 hogy megnyerje a tornát. Erőfeszítéseiért Walkert a bajnokság MVP-jének nevezték ki. Walkert az 1966-os ünnepi Fesztivál MVP-jének is nevezték, amikor a Providence legyőzte a Saint Joseph ‘ s University-t és Cliff Andersont a címmérkőzésen. A két díjjal Walker volt az első játékos, akit két egymást követő évben MVP-nek neveztek az ünnepi Fesztiválon. Ő volt az első egyetemi játékos, aki a lábak közötti csöpögést keresztező lépésként használta.
Walker vezette a nemzetet a gólszerzésben 1966-67-es végzős évében, átlagosan 30,4 pontot szerezve egy meccsen. A szezon utolsó heteiben elkapta az UCLA Lew Alcindorját. Walker 2000 plusz karrierpontja négy évtizedig vezette a Providence-t, amíg minden idők gólrekordját 2005-ben megdöntötte Ryan Gomes. Walker ezt csak három évad alatt tudta elérni; abban az időben a gólyák nem játszhattak egyetemi kosárlabdát. Jimmy Walker főiskolai karrierjét a negyeddöntőben fejezte be 1967 NIT az utolsó kosárlabda tornán, amelyet a harmadik Madison Square Garden, amikor 36 pontot szerzett, de kihagyott egy ugrást a játék végén, amikor Providence hosszabbításban 81-80-ra meghajolt Marquette előtt. Walker később azt mondta, hogy a kihagyott lövés volt az egyetlen dolog, ami rosszul ment neki a Madison Square Gardenben.
összességében Walker átlagosan 25,2 pontot, 6,3 lepattanót és 5,3 gólpasszt ért el a Providence-i három idényében (81 meccs).