Rudolf kröntes i Aachen-Katedralen den 24 oktober 1273. För att vinna påvens godkännande avstod Rudolf alla kejserliga rättigheter i Rom, det påvliga territoriet och Sicilien och lovade att leda ett nytt korståg. Påven Gregorius X, trots protesterna från Ottokar II av Böhmen, erkände inte bara Rudolf själv utan övertalade kung Alfonso X av Castilla (ett annat barnbarn till Philip av Schwaben), som hade valts tysk (anti-)kung 1257 som efterträdare till Greve William II av Holland, att göra detsamma. Således överträffade Rudolf de två arvingarna till Hohenstaufen-dynastin som han tidigare hade tjänat så lojalt.

i November 1274 beslutade den kejserliga dieten i Nuremberg att alla Krongårdar som beslagtagits sedan kejsar Fredrik II: s död måste återställas, och att kung Ottokar II måste svara på kosten för att inte erkänna den nya kungen. Ottokar vägrade att framträda eller återställa hertigdömena av Österrike, Steiermark och Kärnten tillsammans med marschen av Carniola, som han hade hävdat genom sin första fru, en Babenberg-arvtagare, och som han hade gripit medan han bestred dem med en annan Babenberg-arving, markgreve Hermann VI av Baden. Rudolf motbevisade Ottokars arv till Babenbergs arv och förklarade att provinserna återgick till den kejserliga kronan på grund av bristen på manliga arvingar. Kung Ottokar placerades under det kejserliga förbudet; och i juni 1276 förklarades krig mot honom.efter att ha övertalat Ottokars tidigare allierade hertig Henry XIII av Nedre Bayern att byta sida tvingade Rudolf den bohemiska kungen att avstå de fyra provinserna till kontroll av den kungliga administrationen i November 1276. Rudolf återinvesterade sedan Ottokar med kungariket Böhmen, förlovade en av sina döttrar med Ottokars son Wenceslaus II och gjorde ett triumferande inträde i Wien. Ottokar väckte emellertid frågor om genomförandet av fördraget och skaffade stöd från flera tyska prinsar, återigen inklusive Henry XIII av Nedre Bayern. För att möta denna koalition bildade Rudolf en allians med kung Ladislaus IV i Ungern och gav ytterligare privilegier till de wienska medborgarna. Den 26 augusti 1278 möttes de rivaliserande härarna vid striden på Marchfeld, där Ottokar besegrades och dödades. Markgreviatet i Mähren dämpades och dess regering anförtrotts Rudolfs representanter och lämnade Ottokars Änka Kunigunda av Slavonien kontroll över endast provinsen som omger Prag, medan den unga Wenceslaus II återigen förlovades med Rudolfs yngsta dotter Judith.

Rudolfs uppmärksamhet vände sig därefter till ägodelarna i Österrike och de angränsande provinserna, som togs in i den kungliga domänen. Han tillbringade flera år med att etablera sin auktoritet där men fann vissa svårigheter att etablera sin familj som efterträdare till dessa provinsers styre. Till sist övervanns prinsernas fientlighet. I December 1282, vid hoftag (imperial diet) i Augsburg, investerade Rudolf sina söner, Albert och Rudolf II, med hertigdömena Österrike och Steiermark och lade därmed grunden för Habsburgs hus. Dessutom gjorde han den tolvårige Rudolf hertigen av Schwaben, en enbart titulär värdighet, eftersom Hertigdömet hade varit utan en verklig härskare sedan Conradins avrättning. Den 27-årige hertigen Albert, gift sedan 1274 med en dotter till Greve Meinhard II av Gorizia-Tyrolen (1238-95), var kapabel nog att hålla lite sväng i det nya arvet.1286 investerade Kung Rudolf Alberts svärfar greve Meinhard fullt ut med Hertigdömet Kärnten, en av de erövrade provinserna från Ottokar. Rikets furstar tillät inte Rudolf att ge allt som återhämtades till den kungliga domänen till sina egna söner, och hans allierade behövde också sina belöningar. När han vände sig västerut tvingade han 1281 greve Philip I av Savojen att överlåta något territorium till honom och tvingade sedan medborgarna i Bern att betala den hyllning som de hade vägrat. År 1289 marscherade han mot Greve Philips efterträdare, Otto IV, och tvingade honom att göra hyllning.1281 dog Rudolfs första fru. Den 5 februari 1284 gifte han sig med Isabella, dotter till hertig Hugh IV av Bourgogne, imperiets västra granne i Kungariket Frankrike.

Rudolf lyckades inte särskilt bra med att återställa den inre freden. Order utfärdades faktiskt för upprättandet av landområden i Bayern, Franken och Schwaben, och därefter för hela imperiet. Men kungen saknade makt, resurser och beslutsamhet att genomdriva dem, även om han i December 1289 ledde en expedition till Thuringia, där han förstörde ett antal rånarslott. År 1291 försökte han säkra valet av sin son Albert som tysk kung. Väljarna vägrade dock att hävda oförmåga att stödja två kungar, men i verkligheten kanske försiktig med den ökande kraften i Habsburgs hus. Vid Rudolfs död valde de Greve Adolf av Nassau.