Rudolf byl korunován v katedrále v Cáchách 24. října 1273. Vyhrát souhlas Papeže, Rudolf vzdal všech císařských práv v Římě, na papežské území, a na Sicílii, a slíbil, aby vedl novou výpravu. Papež Řehoř X., i přes protesty Přemysla otakara II., a to nejen uznávaných Rudolf sám, ale přesvědčil Krále Alfonse X. Kastilského (další vnuk Filip Švábský), který byl vybrán německý (anti-)král v roce 1257 jako nástupce Hrabě Vilém II Holandsku, udělat to samé. Rudolf tak předčil dva dědice dynastie Hohenstaufen, kterým dříve tak loajálně sloužil.

V listopadu 1274, říšského sněmu v Norimberku rozhodl, že všechny Korunní statky zabaveny od smrti Císaře Fridricha II musí být obnoveny, a že Král přemysl Otakar II musí odpovědět do Stravy pro neuznání nového krále. Přemysla otakara odmítl se objevit nebo obnovit vévodství Rakousko, Štýrsko a Korutany spolu s Března Kraňska, který mu tvrdil, že prostřednictvím jeho první manželky, Babenberg dědička, a které mu zabavila při sporu s jiným Babenberg dědic Markrabě Hermann VI Baden. Rudolf vyvrátil Ottokarovo nástupnictví do Babenberského dědictví a prohlásil, že provincie se kvůli nedostatku mužských dědiců vrátily k císařské koruně. Král Ottokar byl umístěn pod císařský zákaz; a v červnu 1276 byla proti němu vyhlášena válka.

to, Že přesvědčil Přemysla otakara bývalý spojenec Vévoda Jindřich XIII Dolního Bavorska přejít strany, Rudolf nucen Českého krále, aby postoupily čtyři provincie na kontrolu královské správy v listopadu 1276. Rudolf pak re-investoval Přemysla otakara s Království českého, snoubenec jedné z jeho dcer Přemysla otakara syn Václav II., a udělal triumfální vstup do Vídně. Ottokar však vznesl otázky ohledně plnění smlouvy a získal podporu několika německých knížat, opět včetně Jindřicha XIII. Pro splnění této koalice, Rudolf spojenectví s Král Ladislav IV Maďarsko a dal dodatečná práva na Vídeňské občany. 26. srpna 1278 se soupeřící armády setkaly v bitvě na Marchfeldu, kde byl Ottokar poražen a zabit. Markrabství Moravské bylo tlumený, a jeho vládou pověřen Rudolf zástupci, takže Přemysla otakara vdova Kunigunda Slavonie v řízení pouze provincii okolí Prahy, zatímco mladý Václav II. byl znovu zasnoubena Rudolf, nejmladší dcera Judith.

Rudolfova pozornost se poté obrátila na majetky v Rakousku a přilehlých provinciích, které byly převzaty do královského panství. Strávil zde několik let zakládáním své autority, ale zjistil určité potíže při zakládání své rodiny jako nástupců vlády těchto provincií. Nakonec bylo nepřátelství knížat překonáno. V prosinci 1282, na Hoftag (říšského sněmu) v Augsburgu, Rudolf investoval jeho synové Albert a Rudolf II, s vévodství Rakouska a Štýrska, a tak položil základ Domu Habsburského. Navíc z dvanáctiletého Rudolfa vévody Švábského učinil pouze titulární důstojnost, neboť vévodství bylo od Konradinovy popravy bez skutečného vládce. 27-rok-starý Vévoda Albert, ženatý od roku 1274, aby dcera Hrabě Meinhard II Gorizia-Tyrolsko (1238-95), byl schopen dostatečně držet nějaký sway v nové dědictví.

V roce 1286, Král Rudolf plně investovány Albert je otec-in-law Hrabě Meinhard s Vévodství Korutany, jeden z dobytých provincií převzaty z náměstí Přemysla otakara. Knížata říše nedovolila Rudolfovi dát vše, co bylo získáno do královské domény, svým vlastním synům a jeho spojenci potřebovali také své odměny. Obrátil se k západu, v roce 1281 byl nucen Počítat Filip I Savoy postoupit některá území s ním, pak přinutil občany Bern zaplatit pocta, že byli odmítnutí. V roce 1289 pochodoval proti nástupci hraběte Filipa Otto IV., čímž ho donutil k poctě.

v roce 1281 zemřela Rudolfova první manželka. Dne 5. února 1284 se oženil s Isabellou, dcerou burgundského vévody Hugha IV., západního souseda říše ve francouzském království.

Rudolf nebyl příliš úspěšný při obnově vnitřního míru. Rozkazy byly skutečně vydány pro zřízení zemských prostor v Bavorsku, francích a Švábsku a poté pro celou říši. Ale král neměl sílu, zdroje a odhodlání je prosadit, i když v prosinci 1289 vedl expedici do Durynska, kde zničil několik lupič hrady. V roce 1291 se pokusil zajistit zvolení svého syna Alberta německým králem. Kurfiřti však odmítli, prohlašovali neschopnost podpořit dva krále, ale ve skutečnosti se možná obávali rostoucí moci habsburského Domu. Po Rudolfově smrti zvolili hraběte Adolfa z Nassau.