Rudolf został koronowany w katedrze w Akwizgranie 24 października 1273 roku. Aby uzyskać aprobatę Papieża, Rudolf zrzekł się wszystkich praw cesarskich w Rzymie, na terytorium papieskim i na Sycylii i obiecał poprowadzić nową krucjatę. Papież Grzegorz X, pomimo protestów Ottokara II Czeskiego, nie tylko uznał samego Rudolfa, ale przekonał króla Kastylii Alfonsa X (kolejnego wnuka Filipa Szwabii), który został wybrany na króla niemieckiego (Anty -) w 1257 roku na następcę hrabiego Wilhelma II holenderskiego. W ten sposób Rudolf wyprzedził dwóch spadkobierców dynastii Hohenstaufów, którym wcześniej służył tak lojalnie.
w listopadzie 1274 roku dieta cesarska w Norymberdze zadecydowała, że wszystkie posiadłości koronne zajęte od śmierci cesarza Fryderyka II muszą zostać przywrócone, a król Ottokar II musi odpowiedzieć na dietę za nieuznawanie nowego króla. Ottokar odmówił stawienia się lub przywrócenia księstw Austrii, Styrii i Karyntii wraz z wyprawą pod Carniolę, o którą rościł sobie pretensje za pośrednictwem swojej pierwszej żony, dziedziczki Babenbergów, i którą przejął podczas sporu z innym dziedzicem Babenbergów, margrabią Badeńskim Hermannem VI. Rudolf obalił sukcesję Ottokara na rzecz dziedzictwa Babenbergów, oświadczając, że prowincje powróciły do korony cesarskiej z powodu braku dziedziców linii męskiej. Król Ottokar został objęty cesarskim zakazem, a w czerwcu 1276 roku ogłoszono przeciwko niemu wojnę.
przekonawszy byłego sojusznika Ottokara, księcia Dolnej Bawarii Henryka XIII, Rudolf zmusił króla czeskiego do oddania czterech prowincji pod kontrolę administracji królewskiej w listopadzie 1276 roku. Rudolf ponownie włączył Ottokara do Królestwa Czech, zaręczył jedną ze swoich córek z synem Ottokara Wacławem II i dokonał Triumfalnego wejścia do Wiednia. Ottokar wzbudził jednak wątpliwości co do wykonania Traktatu i pozyskał poparcie kilku Książąt niemieckich, w tym Henryka XIII Z Dolnej Bawarii. Aby sprostać tej koalicji, Rudolf zawarł sojusz z królem Węgier Władysławem IV i nadał dodatkowe przywileje wiedeńczykom. 26 sierpnia 1278 rywalizujące ze sobą wojska spotkały się w bitwie pod Marchfeld, gdzie Ottokar został pokonany i zabity. Margrabia Moraw został opanowany, a jego rząd powierzony przedstawicielom Rudolfa, pozostawiając wdowę po Ottokarze Kunigundę ze Slawonii kontrolę tylko nad prowincją otaczającą Pragę, podczas gdy młody Wacław II został ponownie zaręczony z najmłodszą córką Rudolfa Judytą.
Uwaga Rudolfa zwróciła się następnie ku posiadłościom w Austrii i sąsiednich prowincjach, które zostały włączone do domeny królewskiej. Spędził tam kilka lat ustanawiając swoją władzę, ale napotkał pewne trudności w ustanowieniu swojej rodziny następcami rządów w tych prowincjach. Ostatecznie wrogość Książąt została pokonana. W grudniu 1282 roku, na Hoftagu (diecie cesarskiej) w Augsburgu, Rudolf zainwestował swoich synów, Alberta i Rudolfa II, z księstwami Austrii i Styrii i tak założył dom Habsburgów. Dodatkowo uczynił dwunastoletniego Rudolfa księciem Szwabii jedynie tytularną godnością, ponieważ Księstwo od czasu egzekucji Conradina nie było faktycznego władcy. 27-letni książę Albert, żonaty od 1274 r.z córką hrabiego Meinharda II z Gorizia-Tyrolu (1238-95), był w stanie utrzymać pewną władzę w nowym dziedzictwie.
w 1286 r.Król Rudolf w pełni zainwestował teścia Alberta, hrabiego Meinharda, w Księstwo Karyntii, jedną z podbitych prowincji zabranych Ottokarom. Książęta Cesarstwa nie pozwolili Rudolfowi oddać wszystkiego, co udało się odzyskać domenie królewskiej własnym synom, a jego sojusznicy potrzebowali również ich nagród. Kierując się na zachód, w 1281 roku zmusił hrabiego Filipa i Sabaudzkiego do oddania mu części terytorium, a następnie zmusił obywateli Berna do płacenia daniny, której odmawiali. W 1289 roku pomaszerował przeciwko następcy hrabiego Filipa, Ottonowi IV, zmuszając go do złożenia hołdu.
w 1281 roku zmarła pierwsza żona Rudolfa. 5 lutego 1284 poślubił Izabelę, córkę księcia Burgundii Hugh IV, zachodniego sąsiada cesarstwa w Królestwie Francji.
Rudolfowi nie udało się przywrócić pokoju wewnętrznego. W rzeczywistości wydano zarządzenia o utworzeniu landpeatów w Bawarii, Frankonii i Szwabii, a następnie dla całego cesarstwa. Królowi brakowało jednak władzy, środków i determinacji, by je wyegzekwować, choć w grudniu 1289 poprowadził wyprawę do Turyngii, gdzie zniszczył szereg zbójeckich zamków. W 1291 roku podjął próbę zapewnienia elekcji swojego syna Alberta na króla Niemiec. Elektorzy odmówili jednak, twierdząc, że nie mogą poprzeć dwóch królów, ale w rzeczywistości być może obawiali się rosnącej potęgi rodu Habsburgów. Po śmierci Rudolfa wybrano na hrabiego Adolfa z Nassau.