Rudolf koronázták Aacheni székesegyház október 24-én 1273. Hogy elnyerje a pápa jóváhagyását, Rudolf lemondott minden császári jogáról Rómában, a pápai területen és Szicíliában, és megígérte, hogy új keresztes hadjáratot vezet. Gergely pápa X, annak ellenére, hogy a csehországi Ottokár II, nemcsak magát Rudolfot ismerte el, hanem meggyőzte X. Alfonz kasztíliai királyt (Sváb Fülöp másik unokáját), akit 1257-ben német (anti -) királynak választottak gróf utódjaként II. Így Rudolf meghaladta a Hohenstaufen-dinasztia két örökösét, akiket korábban olyan hűségesen szolgált.

1274 novemberében a Nürnbergi Birodalmi Gyűlés úgy döntött, hogy a II. Frigyes császár halála óta lefoglalt Koronabirtokokat vissza kell állítani, és hogy II. Ottokár királynak felelnie kell az Országgyűlésnek, mert nem ismerte el az új királyt. Ottokar nem volt hajlandó megjelenni vagy helyreállítani Ausztria, Stájerország és Karintia hercegségeit a Carniolai meneteléssel együtt,amelyet első felesége, egy Babenberg örökösnő révén követelt, és amelyet megragadott, miközben vitatta őket egy másik Babenberg örökössel, VI. Rudolf cáfolta Ottokar utódlását a Babenbergi örökséghez, kijelentve, hogy a tartományok a férfi örökösök hiánya miatt visszatértek a császári koronához. Ottokar királyt a császári tilalom alá helyezték; 1276 júniusában háborút hirdettek ellene.

miután rábeszélte Ottokar volt szövetségesét herceg Henrik XIII Alsó-Bajorország oldalt váltani, Rudolf arra kényszerítette a cseh királyt, hogy 1276 novemberében engedje át a négy tartományt a királyi közigazgatás ellenőrzése alá. Rudolf ezután újra befektetette Ottokart a Cseh Királyságba, eljegyezte egyik lányát Ottokár fiának, II. Vencelnek, és diadalmasan bevonult Bécsbe. Ottokar azonban kérdéseket vetett fel a szerződés végrehajtásával kapcsolatban, és több német fejedelem támogatását is megszerezte, köztük XIII. Ennek a koalíciónak a teljesítése érdekében Rudolf szövetséget kötött IV. László magyar királlyal, és további kiváltságokat biztosított a Bécsi polgároknak. Augusztus 26-án 1278-ban a rivális seregek találkoztak a Marchfeld-i csatában, ahol Ottokar vereséget szenvedett és meghalt. A morvaországi Őrgrófságot visszafogták, kormányát Rudolf képviselőire bízták, így Ottokar özvegye, szlavóniai Kunigunda csak a Prágát körülvevő tartomány irányítása alatt állt, míg a fiatal II.Vencel ismét eljegyezte Rudolf legfiatalabb lányát Judith.Rudolf figyelme ezután az osztrák és a szomszédos tartományok birtokaira irányult, amelyeket a királyi tartományba vittek. Több évet töltött ott tekintélyének megalapításával, de némi nehézséget okozott családjának megalapítása e tartományok uralmának utódaiként. Végül a hercegek ellenségességét legyőzték. 1282 decemberében az Augsburgi hoftag (császári gyűlés) alkalmával Rudolf fiait, II.Albertet és II. Rudolfot az osztrák és stájer hercegségekhez csatolta, és ezzel megalapozta a Habsburg-házat. Ezenkívül a tizenkét éves Rudolf Sváb herceget pusztán tituláris méltósággá tette, mivel a hercegség Conradin kivégzése óta tényleges uralkodó nélkül volt. A 27 éves Albert herceg, aki 1274 óta feleségül vette gróf lányát Meinhard II nak,-nek Gorizia-Tirol (1238-95), elegendő volt ahhoz, hogy némi befolyást gyakoroljon az új örökségben.

1286-ban Rudolf király teljes mértékben befektetett Albert apósa Gróf Meinhard a karintiai Hercegség, az egyik meghódított tartományok venni Ottokar. A Birodalom fejedelmei nem engedték meg Rudolfnak, hogy mindent, ami a királyi birtokra került, saját fiainak adja, szövetségeseinek is szükségük volt jutalmukra. Nyugat felé fordulva 1281-ben arra kényszerítette I. Fülöp Savoyai grófot, hogy engedjen át neki valamilyen területet, majd Bern polgárait arra kényszerítette, hogy fizessék meg a tisztelegést, amelyet megtagadtak. 1289-ben Fülöp gróf utódja ellen vonult, Ottó IV, arra kényszerítve, hogy hódoljon.1281-ben Rudolf első felesége meghalt. Február 5-én 1284-ben feleségül vette Isabella, lánya herceg Hugh IV Burgundia, a birodalom nyugati szomszédja a francia Királyság.

Rudolf nem volt túl sikeres a belső béke helyreállításában. Parancsokat adtak ki Bajorország, Frankföld és Svábföld, majd az egész Birodalom számára. De a királynak nem volt ereje, erőforrásai és elszántsága, hogy érvényesítse őket, bár 1289 decemberében expedíciót vezetett Türingiába, ahol számos rabló várat elpusztított. 1291-ben megpróbálta biztosítani fia, Albert német király megválasztását. A választók azonban elutasították, azt állítva, hogy képtelenek támogatni két királyt, de a valóságban talán óvakodtak a Habsburg-ház növekvő hatalmától. Rudolf halála után megválasztották Nassaui Adolf grófot.