Rudolf kruunattiin Aachenin Tuomiokirkossa 24.lokakuuta 1273. Saadakseen paavin hyväksynnän Rudolf luopui kaikista keisarillisista oikeuksista Roomassa, paavin alueella ja Sisiliassa ja lupasi johtaa uutta ristiretkeä. Paavi Gregorius X ei Böömin Ottokar II: n vastalauseista huolimatta ainoastaan tunnustanut Rudolfia itseään, vaan taivutteli Kastilian kuninkaan Alfonso X: n (Filip Swabialaisen toinen pojanpoika), joka oli vuonna 1257 valittu Saksan (anti-)kuninkaaksi Hollannin kreivi Vilhelm II: n seuraajaksi, tekemään samoin. Näin Rudolf ohitti Hohenstaufenin dynastian kaksi perillistä, joita hän oli aiemmin palvellut niin uskollisesti.
marraskuussa 1274 Nürnbergin valtiopäivät päättivät, että kaikki keisari Fredrik II: n kuoleman jälkeen takavarikoidut Kruununtilat on palautettava ja että kuningas Ottokar II: n on vastattava valtiopäiville siitä, ettei uutta kuningasta tunnustettu. Ottokar kieltäytyi ilmestymästä tai palauttamasta Itävallan, Steiermarkin ja Kärntenin herttuakuntia sekä Karniolan marssia, jonka hän oli vaatinut ensimmäisen vaimonsa, Babenbergin perijättären, kautta ja jonka hän oli takavarikoinut kiistellessään niistä toisen Babenbergin perillisen, Badenin rajakreivi Hermann VI: n kanssa. Rudolf kumosi Ottokarin vallanperimyksen Babenbergin perintöprinsessaksi ja julisti provinssien palanneen keisarilliseen kruunuun mieslinjaisten perillisten puuttumisen vuoksi. Kuningas Ottokar asetettiin keisarilliseen kieltoon, ja kesäkuussa 1276 häntä vastaan julistettiin sota.
taivuteltuaan Ottokarin entisen liittolaisen Ala-Baijerin herttua Henrik XIII: n vaihtamaan puolta Rudolf pakotti Böömin kuninkaan luovuttamaan neljä provinssia kuninkaallisen hallinnon hallintaan marraskuussa 1276. Tämän jälkeen Rudolf liitti Ottokarin Takaisin Böömin kuningaskuntaan, kihlasi yhden tyttäristään Ottokarin pojalle Venceslaus II: lle ja teki voitokkaan maahantulon Wieniin. Ottokar kuitenkin herätti kysymyksiä sopimuksen toimeenpanosta ja hankki tukea useilta saksalaisilta ruhtinailta, kuten Ala-Baijerin Henrik XIII: lta. Tätä koalitiota varten Rudolf solmi liiton Unkarin kuninkaan Ladislaus IV: n kanssa ja antoi wieniläisille lisäetuja. 26. elokuuta 1278 kilpailevat armeijat kohtasivat Marchfeldin taistelussa, jossa Ottokar lyötiin ja surmattiin. Määrin rajakreivi alistettiin ja sen hallinto uskottiin Rudolfin edustajille, jolloin Ottokarin Leski Kunigunda Slavoniasta sai hallintaansa vain Prahaa ympäröivän provinssin, kun taas nuori Venceslaus II kihlattiin jälleen Rudolfin nuorimman tyttären Judithin kanssa.
Rudolfin huomio kääntyi seuraavaksi Itävallan ja lähiprovinssien omaisuuteen, joka otettiin kuninkaallisten haltuun. Hän vietti useita vuosia vakiinnuttaakseen siellä valtansa, mutta hänen oli vaikea vakiinnuttaa perhettään näiden provinssien hallinnon seuraajiksi. Lopulta päämiesten vihamielisyys voitettiin. Joulukuussa 1282 Augsburgissa pidetyillä hoftag-valtiopäivillä Rudolf sijoitti poikansa Albertin ja Rudolf II: n Itävallan ja Steiermarkin herttuakuntiin ja loi näin perustan Habsburgin suvulle. Lisäksi hän teki kaksitoistavuotiaasta Rudolfista Swabian herttuan, joka oli pelkkä titulaariarvoinen, sillä herttuakunta oli ollut ilman varsinaista hallitsijaa Conradinin teloituksesta lähtien. 27-vuotias ruhtinas Albert, joka oli naimisissa vuodesta 1274 Gorizia-Tirolin kreivi Meinhard II: n (1238-95) tyttären kanssa, kykeni pitämään jonkin verran valtaa uudessa perintövaltiossa.
vuonna 1286 kuningas Rudolf sijoitti Albertin appiukon kreivi Meinhardin kokonaan Kärntenin herttuakuntaan, joka oli yksi Ottokarilta vallatuista maakunnista. Valtakunnan ruhtinaat eivät antaneet Rudolfin antaa kaikkea kuninkaalliseen valtakuntaan takaisin saatua omille pojilleen, ja myös hänen liittolaisensa tarvitsivat heidän palkkioitaan. Käännyttyään länteen hän pakotti vuonna 1281 Savoijin kreivi Filip I: n luovuttamaan hänelle joitakin alueita ja pakotti sitten Bernin asukkaat maksamaan veroa, josta he olivat kieltäytyneet. Vuonna 1289 hän marssi kreivi Filipin seuraajaa Otto IV: tä vastaan pakottaen tämän tekemään kunnianosoituksen.
Rudolfin ensimmäinen vaimo kuoli vuonna 1281. 5. helmikuuta 1284 hän avioitui Burgundin herttua Hugh IV: n tyttären Isabellan kanssa.
Rudolf ei onnistunut kovin hyvin sisäisen rauhan palauttamisessa. Käskyjä annettiinkin maajoukkojen perustamisesta Baijeriin, Frankoniaan ja Swabiaan ja sen jälkeen koko valtakuntaan. Kuninkaalta kuitenkin puuttui valta, resurssit ja päättäväisyys panna ne täytäntöön, vaikka hän joulukuussa 1289 johti retkikuntaa Thüringeniin, jossa hän tuhosi useita rosvolinnoja. Vuonna 1291 hän yritti varmistaa poikansa Albertin valinnan Saksan kuninkaaksi. Valitsijamiehet kuitenkin kieltäytyivät väittäen kyvyttömyyttä tukea kahta kuningasta, mutta todellisuudessa ehkä varoivat Habsburgien suvun kasvavaa valtaa. Rudolfin kuoltua he valitsivat Nassaun kreivi Adolfin.