Walker uczęszczał do Providence college, gdzie grał dla trenera Mullaney.

w drugim roku Walkera, Friars byli trzecią drużyną w kraju, ale przegrali 109-69 czterdziestopunktowy cios z Princeton i ich All American Bill Bradley w finale Eastern Regional. W następnym roku bracia mieli zwrócić wszystkich pięciu zawodników, w tym Jamesa Benedicta, Billa Blaira i przyszłego gracza NBA Mike ’ a Riordana; jednak stracili centrum startowe Dextera Westbrooka z powodu problemów akademickich, które ostatecznie zmusiły go do opuszczenia Providence.

w Providence gra Walkera (podobnie jak gwiazdy z Michigan, Cazzie Russell) była porównywana do gry pierwszoplanowego gracza epoki, Gwiazdy Cincinnati Royals, Oscara Robertsona. Walker jako junior zdobywał średnio 23 punkty, a jako senior prowadził reprezentację z 30 punktami na mecz. W 1965 roku Providence pokonało drużynę Boston College Boba Cousy ’ ego 91-86 i wygrało turniej. Za swoje wysiłki Walker został wybrany MVP turnieju. Walker został również wybrany MVP Festiwalu w 1966 roku, kiedy Providence pokonało Saint Joseph ’ s University i Cliffa Andersona w meczu o tytuł. Dzięki dwóm nagrodom Walker był pierwszym graczem, który został wybrany MVP Festiwalu wakacyjnego dwa lata z rzędu. Był uważany za pierwszego zawodnika college ’ u, który użył dryblingu między nogami jako ruchu zwrotnego.

Walker prowadził kraj w punktacji w swoim ostatnim roku 1966-67, średnio 30,4 punktu na mecz. Złapał i wyprzedził Lew Alcindora w ostatnich tygodniach sezonu. 2000 punktów w karierze Walkera prowadził Providence przez cztery dekady, aż w 2005 roku Ryan Gomes pobił rekord wszech czasów. Walker był w stanie to osiągnąć tylko w trzech sezonach; w tym czasie pierwszoligowcy nie mogli grać w koszykówce uniwersyteckiej. Jimmy Walker zakończył swoją karierę w 1967 roku w ćwierćfinale NIT w ostatnim turnieju koszykówki, który odbył się w trzecim Madison Square Garden, kiedy zdobył 36 punktów, ale nie oddał skoku na koniec meczu, ponieważ Providence pokłoniła się Marquette 81-80 w dogrywce. Walker później powiedział, że chybiony strzał był jedyną rzeczą, która poszła źle dla niego w Madison Square Garden.

W sumie Walker zdobywał średnio 25,2 punktu, 6,3 zbiórki i 5,3 asysty w trzech sezonach (81 meczów) w Providence.