Rudolf blev kronet i Aachen-katedralen den 24.oktober 1273. For at vinde pavens godkendelse gav Rudolf afkald på alle kejserlige rettigheder i Rom, det pavelige territorium og Sicilien og lovede at lede et nyt korstog. På trods af protesterne fra Ottokar II af Bøhmen anerkendte ikke kun Rudolf selv, men overtalte kong Alfonso af Castilla (et andet barnebarn af Philip af Svabien), der var blevet valgt tysk (anti-)konge i 1257 som efterfølgeren til Grev Vilhelm II af Holland, til at gøre det samme. Således overgik Rudolf de to arvinger fra Hohenstaufen-dynastiet, som han tidligere havde tjent så loyalt.

i November 1274 besluttede den kejserlige diæt ved Nuremberg, at alle Kronegoder, der blev beslaglagt siden kejser Frederik II ‘ s død, skal gendannes, og at kong Ottokar II skal svare på kosten for ikke at anerkende den nye konge. Ottokar nægtede at dukke op eller genoprette hertugdømmene Østrig, Steiermark og Carinthia sammen med marchen af Carniola, som han havde hævdet gennem sin første kone, en Babenberg-arving, og som han havde beslaglagt, mens han bestred dem med en anden Babenberg-arving, markgreve Hermann vi af Baden. Rudolf tilbageviste Ottokars arv til Babenberg-patrimonien og erklærede, at provinserne vendte tilbage til den kejserlige krone på grund af manglen på mandlige arvinger. Kong Ottokar blev placeret under det kejserlige forbud; og i Juni 1276 blev der erklæret krig mod ham.efter at have overtalt Ottokars tidligere allierede hertug af Niederbayern til at skifte side, tvang Rudolf den bøhmiske konge til at afstå de fire provinser til kontrol af den kongelige administration i November 1276. Rudolf geninvesterede derefter Ottokar med Kongeriget Bøhmen, forlovede en af sine døtre med Ottokars søn Venceslaus II og foretog en triumfindgang i Vienna. Ottokar rejste imidlertid spørgsmål om gennemførelsen af traktaten og skaffede støtte fra flere tyske fyrster, igen inklusive Henry NIII af Niederbayern. For at møde denne koalition dannede Rudolf en alliance med Kong Ladislaus IV af Ungarn og gav yderligere privilegier til de Viennesiske borgere. Den 26. August 1278 mødtes de rivaliserende hære i Slaget ved Marchfeld, hvor Ottokar blev besejret og dræbt. Margraviatet af Moravia blev dæmpet, og dets regering blev overdraget til Rudolfs repræsentanter og efterlod Ottokars enke Kunigunda af Slavonien i kontrol over kun provinsen omkring Prag, mens den unge Venceslaus II igen blev forlovet med Rudolfs yngste datter Judith.Rudolfs opmærksomhed vendte sig derefter mod besiddelserne i Østrig og de tilstødende provinser, som blev taget ind i Det Kongelige domæne. Han tilbragte flere år med at etablere sin autoritet der, men fandt nogle vanskeligheder med at etablere sin familie som efterfølgere til disse provinsers styre. Til sidst blev fyrsternes fjendtlighed overvundet. I December 1282, ved Hoftag (imperial diet) i Augsburg, investerede Rudolf sine sønner, Albert og Rudolf II, med hertugdømmene Østrig og Steiermark og lagde således grundlaget for House of Habsburg. Derudover gjorde han den tolv år gamle Rudolf hertug af Svabien, en blot titulær værdighed, da hertugdømmet havde været uden en egentlig hersker siden Conradins henrettelse. Den 27-årige hertug Albert, gift siden 1274 med en datter af Grev Meinhard II af Gorisien-Tyrol (1238-95), var i stand nok til at holde noget sving i den nye arv.i 1286 investerede Kong Rudolf Alberts svigerfar Grev Meinhard fuldt ud med hertugdømmet Carinthia, en af de erobrede provinser taget fra Ottokar. Imperiets Fyrster tillod ikke Rudolf at give alt, hvad der blev genvundet til Det Kongelige domæne til sine egne sønner, og hans allierede havde også brug for deres belønninger. Da han vendte sig mod vest, tvang han i 1281 Grev Philip I fra Savoyen til at afstå noget territorium til ham og tvang derefter borgerne i Bern til at betale den hyldest, som de havde nægtet. I 1289 marcherede han mod Grev Philips efterfølger, Otto IV, der tvang ham til at hylde.i 1281 døde Rudolfs første kone. Den 5. februar 1284 giftede han sig med Isabella, datter af hertug Hugh IV af Bourgogne, Imperiets vestlige nabo i Kongeriget Frankrig.

Rudolf var ikke særlig vellykket med at genoprette intern fred. Der blev faktisk udstedt ordrer om oprettelse af landsteder i Bayern, Franken og Svabien og derefter for hele imperiet. Men kongen manglede magt, ressourcer og beslutsomhed til at håndhæve dem, skønt han i December 1289 førte en ekspedition ind i Thuringia, hvor han ødelagde et antal røverslotte. I 1291 forsøgte han at sikre valget af sin søn Albert som tysk konge. Vælgerne nægtede dog at hævde manglende evne til at støtte to konger, men i virkeligheden måske på vagt over for den stigende magt i Habsburgs hus. Efter Rudolfs død valgte de grev Adolf af Nassau.