Rudolf ble kronet i Aachen Domkirke den 24. oktober 1273. For å vinne godkjennelse Av Paven, Fraskrev Rudolf alle keiserlige rettigheter I Roma, pavens territorium Og Sicilia, og lovet å lede et nytt korstog. Pave Gregor X, til tross for Protester fra Ottokar II av Bøhmen, anerkjente Ikke Bare Rudolf selv, men overtalte Kong Alfonso x Av Castilla( et annet barnebarn Av Filip Av Schwaben), som hadde blitt valgt tysk (anti -) konge i 1257 som etterfølger Til Grev Vilhelm II Av Holland, til å gjøre det samme. Dermed Overgikk Rudolf De to arvingene Til Hohenstaufen-dynastiet som han tidligere hadde tjent så lojalt.I November 1274 besluttet Riksdagen I Nuremberg at Alle Kroneeiendommer som ble tatt siden Keiser Fredrik II døde, måtte gjenopprettes, Og At Kong Ottokar II måtte svare På Riksdagen for ikke å anerkjenne den nye kongen. Ottokar nektet å dukke opp eller gjenopprette hertugdømmene Østerrike, Steiermark og Carinthia sammen med Marsj Carniola, som han hadde hevdet gjennom sin første kone, En Babenberg arving, og som han hadde tatt mens kranglet dem med En Annen Babenberg arving, Markgreve Hermann VI Av Baden. Rudolf motbeviste Ottokars etterfølgelse Til Babenbergs arv, og erklærte at provinsene gikk tilbake til Keiserkronen på grunn av mangel på mannlige arvinger. Kong Ottokar ble plassert under det keiserlige forbudet, og i juni 1276 ble det erklært krig mot Ham.Etter å ha overtalt Ottokars tidligere allierte Hertug Henrik XIII av Nedre Bayern til å bytte side, tvang Rudolf Den Bohemske kongen til å avstå de fire provinsene til kontroll av den kongelige administrasjonen i November 1276. Rudolf investerte Deretter Ottokar i Kongedømmet Bøhmen, forlovet En av sine døtre Til Ottokars sønn Wenceslaus II, og gjorde en triumferende inngang Til Wien. Ottokar reiste imidlertid spørsmål om gjennomføringen av traktaten, og fikk støtte fra flere tyske fyrster, igjen Inkludert Henrik XIII Av Nedre Bayern. For å møte denne koalisjonen dannet Rudolf en allianse med Kong Ladislaus IV Av Ungarn og ga ytterligere privilegier til De Wienske borgerne. Den 26.August 1278 møttes de rivaliserende hærene i Slaget Ved Marchfeld hvor Ottokar ble beseiret og drept. Markgrevskapet Moravia ble underkuet Og dets regjering overlatt Til Rudolfs representanter, noe Som etterlot Ottokars enke Kunigunda av Slavonia i kontroll over kun provinsen Rundt Praha, mens Den unge Wenceslaus II igjen ble forlovet Med Rudolfs yngste datter Judith.Rudolfs oppmerksomhet vendte seg deretter til besittelsene I Østerrike og de tilstøtende provinsene, som ble tatt inn i det kongelige domenet. Han tilbrakte flere år med å etablere sin autoritet der, men fant noen problemer med å etablere sin familie som etterfølgere til regelen av disse provinsene. Til slutt ble fyrstenes fiendskap overvunnet. I desember 1282, ved Hoftag i Augsburg, ga Rudolf sine sønner, Albert OG Rudolf II, hertugdømmene Østerrike og Steiermark, og la dermed grunnlaget For Huset Habsburg. I tillegg gjorde Han Den tolv år gamle Rudolf Til Hertug av Schwaben, en ren titulær verdighet, ettersom hertugdømmet hadde vært uten en faktisk hersker siden Konradins henrettelse. Den 27 år gamle Hertug Albert, gift siden 1274 med en datter Av Grev Meinhard II Av Gorizia-Tirol (1238-95), var i stand til å holde en viss innflytelse i den nye arven.I 1286 investerte Kong Rudolf Fullt Ut Alberts svigerfar Grev Meinhard med Hertugdømmet Carinthia, en av de erobrede provinsene tatt fra Ottokar. Prinsene i Imperiet tillot Ikke Rudolf å gi Alt som ble gjenopprettet til det kongelige domenet til sine egne sønner,og hans allierte trengte også deres belønninger. I 1281 vendte Han seg mot vest og tvang Grev Filip I Av Savoia til å gi fra seg noe territorium, og tvang deretter borgerne I Bern til å betale tributt som De hadde nektet. I 1289 marsjerte Han mot grev Filips etterfølger, Otto IV, og tvang Ham til å gjøre hyllest.I 1281 døde Rudolfs første kone. Den 5. februar 1284 giftet Han Seg Med Isabella, datter Av Hertug Hugo IV Av Burgund, Rikets vestlige nabo I Kongedømmet Frankrike.

Rudolf var ikke særlig vellykket i å gjenopprette intern fred. Ordrer ble faktisk utstedt for etablering av landområder I Bayern, Franken og Schwaben, og etterpå for hele Imperiet. Men kongen manglet makt, ressurser og vilje til å håndheve dem, selv om han i desember 1289 ledet en ekspedisjon inn I Thuringia hvor han ødela en rekke røverborger. I 1291 forsøkte Han å sikre valget av Sin sønn Albert som tysk konge. Kurfyrstene nektet, men hevdet manglende evne til å støtte to konger, men i virkeligheten, kanskje, skeptisk til den økende makten Til Huset Habsburg. Ved Rudolfs død valgte De Grev Adolf Av Nassau.