Rudolf a fost încoronat în Catedrala din Aachen la 24 octombrie 1273. Pentru a câștiga aprobarea Papei, Rudolf a renunțat la toate drepturile imperiale din Roma, teritoriul papal și Sicilia și a promis că va conduce o nouă cruciadă. Papa Grigore al X-lea, în ciuda protestelor lui Ottokar al II-lea al Boemiei, nu numai că l-a recunoscut pe Rudolf însuși, dar l-a convins pe regele Alfonso al X-lea al Castiliei (un alt nepot al lui Filip de Suabia), care fusese ales rege German (anti)în 1257 ca succesor al contelui William al II-lea al Olandei, să facă același lucru. Astfel, Rudolf I-a depășit pe cei doi moștenitori ai dinastiei Hohenstaufen pe care îi slujise mai devreme atât de loial.în noiembrie 1274, dieta Imperială de la Nuremberg a decis că toate moșiile coroanei confiscate de la moartea împăratului Frederic al II-lea trebuie restaurate și că regele Ottokar al II-lea trebuie să răspundă dietei pentru că nu l-a recunoscut pe noul rege. Ottokar a refuzat să apară sau să restaureze ducatele de Austria, Stiria și Carintia împreună cu marșul de Carniola, pe care îl revendicase prin prima sa soție, o moștenitoare Babenberg, și pe care îl confiscase în timp ce le disputase cu un alt moștenitor Babenberg, markgraful Hermann al VI-lea de Baden. Rudolf a respins succesiunea lui Ottokar la patrimoniul Babenberg, declarând că provinciile au revenit la coroana imperială din cauza lipsei moștenitorilor de linie masculină. Regele Ottokar a fost plasat sub interdicția imperială; iar în iunie 1276 a fost declarat război împotriva sa.după ce l-a convins pe fostul aliat al lui Ottokar, Ducele Henric al XIII-lea de Bavaria de jos, să schimbe tabăra, Rudolf l-a obligat pe regele Boemiei să cedeze cele patru provincii sub controlul administrației regale în noiembrie 1276. Rudolf l-a reinvestit apoi pe Ottokar cu Regatul Boemiei, a logodit una dintre fiicele sale cu fiul lui Ottokar Venceslau al II-lea, și a făcut o intrare triumfală în Viena. Cu toate acestea, Ottokar a ridicat întrebări cu privire la executarea tratatului și a obținut sprijinul mai multor prinți germani, inclusiv din nou Henric al XIII-lea al Bavariei de jos. Pentru a face față acestei coaliții, Rudolf a format o alianță cu regele Ladislau al IV-lea al Ungariei și a acordat privilegii suplimentare cetățenilor vienezi. La 26 August 1278, armatele rivale s-au întâlnit la Bătălia de pe Marchfeld, unde Ottokar a fost învins și ucis. Margraviatul Moraviei a fost supus și guvernul său a fost încredințat Reprezentanților lui Rudolf, lăsând văduva lui Ottokar Kunigunda de Slavonia în controlul doar asupra provinciei din jurul Pragăi, în timp ce tânărul Venceslau al II-lea a fost din nou logodit cu fiica cea mică a lui Rudolf Judith.atenția lui Rudolf s-a îndreptat apoi spre posesiunile din Austria și provinciile adiacente, care au fost luate în domeniul regal. A petrecut câțiva ani stabilindu-și autoritatea acolo, dar a găsit unele dificultăți în stabilirea familiei sale ca succesori ai guvernării acelor provincii. În cele din urmă, ostilitatea prinților a fost depășită. În decembrie 1282, la hoftag (dieta Imperială) din Augsburg, Rudolf și-a investit fiii, Albert și Rudolf al II-lea, cu ducatele de Austria și Stiria și astfel a pus bazele casei de Habsburg. În plus, el l-a făcut pe Rudolf, în vârstă de doisprezece ani, Duce de Suabia, o demnitate doar titulară, deoarece Ducatul fusese fără un conducător real de la executarea lui Conradin. Ducele Albert, în vârstă de 27 de ani, căsătorit din 1274 cu o fiică a contelui Meinhard al II-lea de Gorizia-Tirol (1238-95), a fost suficient de capabil să dețină o oarecare influență în noul patrimoniu.în 1286, Regele Rudolf l-a investit pe socrul lui Albert pe contele Meinhard în Ducatul Carintiei, una dintre provinciile cucerite luate de la Ottokar. Prinții Imperiului nu i-au permis lui Rudolf să dea tot ce a fost recuperat domeniului regal fiilor săi, iar aliații săi aveau nevoie și de recompensele lor. Întorcându-se spre vest, în 1281 l-a obligat pe contele Filip I de Savoia să-i cedeze un teritoriu, apoi i-a obligat pe cetățenii din Berna să plătească tributul pe care îl refuzaseră. În 1289 a mărșăluit împotriva succesorului contelui Filip, Otto al IV-lea, obligându-l să facă un omagiu.în 1281, prima soție a lui Rudolf a murit. La 5 februarie 1284, s-a căsătorit cu Isabella, fiica ducelui Hugo al IV-lea de Burgundia, vecinul occidental al Imperiului în Regatul Franței.

Rudolf nu a avut prea mult succes în restabilirea păcii interne. Într-adevăr, au fost emise ordine pentru înființarea de terenuri în Bavaria, Franconia și Suabia, iar apoi pentru întregul Imperiu. Dar regele nu avea puterea, resursele și hotărârea de a le impune, deși în decembrie 1289 a condus o expediție în Turingia, unde a distrus o serie de castele de tâlhari. În 1291, el a încercat să asigure alegerea fiului său Albert ca rege German. Alegătorii au refuzat, totuși, pretinzând incapacitatea de a susține doi regi, dar, în realitate, poate, precaut de puterea crescândă a Casei de Habsburg. La moartea lui Rudolf, ei l-au ales pe contele Adolf de Nassau.