Rudolf wurde am 24.Oktober 1273 im Aachener Dom gekrönt. Um die Zustimmung des Papstes zu gewinnen, verzichtete Rudolf auf alle kaiserlichen Rechte in Rom, dem päpstlichen Territorium und Sizilien und versprach, einen neuen Kreuzzug zu führen. Papst Gregor X. erkannte trotz der Proteste von Ottokar II. von Böhmen nicht nur Rudolf selbst an, sondern überredete auch König Alfons X. von Kastilien (ein weiterer Enkel Philipps von Schwaben), der 1257 als Nachfolger des Grafen Wilhelm II. von Holland zum deutschen (Anti-) König gewählt worden war, dasselbe zu tun. Damit übertraf Rudolf die beiden Erben der Stauferdynastie, denen er zuvor so loyal gedient hatte.Im November 1274 beschloss der Reichstag in Nürnberg, dass alle seit dem Tod Kaiser Friedrichs II. beschlagnahmten Krongüter wiederhergestellt werden müssen und dass König Ottokar II. sich vor dem Reichstag verantworten muss, weil er den neuen König nicht anerkannt hat. Ottokar weigerte sich, zu erscheinen oder die Herzogtümer Österreich, Steiermark und Kärnten zusammen mit dem Marsch von Krain wiederherzustellen, die er durch seine erste Frau, eine Babenberger Erbin, beansprucht hatte und die er im Streit mit einem anderen Babenberger Erben, Markgraf Hermann VI. Rudolf widerlegte Ottokars Nachfolge im Babenberger Erbe und erklärte, dass die Provinzen aufgrund des Mangels an männlichen Erben an die Kaiserkrone zurückgingen. König Ottokar wurde unter das kaiserliche Verbot gestellt; und im Juni 1276 wurde Krieg gegen ihn erklärt.Nachdem Rudolf Ottokars ehemaligen Verbündeten Herzog Heinrich XIII. von Niederbayern zum Seitenwechsel überredet hatte, zwang er den böhmischen König im November 1276, die vier Provinzen an die königliche Verwaltung abzutreten. Rudolf investierte Ottokar dann wieder in das Königreich Böhmen, verlobte eine seiner Töchter mit Ottokars Sohn Wenzel II. Ottokar warf jedoch Fragen zur Ausführung des Vertrags auf und holte sich die Unterstützung mehrerer deutscher Fürsten, darunter Heinrich XIII. Um dieser Koalition gerecht zu werden, schloss Rudolf ein Bündnis mit König Ladislaus IV. von Ungarn und gewährte den Wiener Bürgern zusätzliche Privilegien. Am 26.August 1278 trafen sich die rivalisierenden Armeen in der Schlacht am Marchfeld, wo Ottokar besiegt und getötet wurde. Die Markgrafschaft Mähren wurde unterworfen und ihre Regierung Rudolfs Vertretern anvertraut, so dass Ottokars Witwe Kunigunda von Slawonien nur die Provinz um Prag kontrollierte, während der junge Wenzel II.

Rudolfs Aufmerksamkeit galt als nächstes den Besitzungen in Österreich und den angrenzenden Provinzen, die in die königliche Domäne aufgenommen wurden. Er verbrachte mehrere Jahre damit, seine Autorität dort aufzubauen, fand aber einige Schwierigkeiten, seine Familie als Nachfolger der Herrschaft dieser Provinzen zu etablieren. Endlich war die Feindseligkeit der Fürsten überwunden. Im Dezember 1282 investierte Rudolf auf dem Augsburger Hoftag seine Söhne Albert und Rudolf II. in die Herzogtümer Österreich und Steiermark und legte damit den Grundstein für das Haus Habsburg. Darüber hinaus machte er den zwölfjährigen Rudolf zum Herzog von Schwaben, eine bloße Titularwürde, da das Herzogtum seit Conradins Hinrichtung keinen wirklichen Herrscher mehr hatte. Der 27-jährige Herzog Albrecht, seit 1274 mit einer Tochter des Grafen Meinhard II. von Görz-Tirol (1238-95) verheiratet, war fähig genug, das neue Erbe zu beherrschen.Im Jahr 1286 investierte König Rudolf Alberts Schwiegervater Graf Meinhard vollständig in das Herzogtum Kärnten, eine der eroberten Provinzen von Ottokar. Die Fürsten des Reiches erlaubten Rudolf nicht, alles, was der königlichen Domäne zurückgegeben wurde, seinen eigenen Söhnen zu geben, und seine Verbündeten brauchten auch ihre Belohnungen. Nach Westen gewandt, zwang er 1281 Graf Philipp I. von Savoyen, ihm ein Gebiet abzutreten, und zwang dann die Berner Bürger, den Tribut zu zahlen, den sie abgelehnt hatten. Im Jahr 1289 marschierte er gegen Graf Philipps Nachfolger Otto IV. und zwang ihn, eine Hommage zu leisten.

1281 starb Rudolfs erste Frau. Am 5. Februar 1284 heiratete er Isabella, Tochter von Herzog Hugo IV. von Burgund, dem westlichen Nachbarn des Reiches im Königreich Frankreich.

Rudolf war nicht sehr erfolgreich bei der Wiederherstellung des inneren Friedens. Es wurden in der Tat Befehle zur Errichtung von Landräumen in Bayern, Franken und Schwaben und danach für das ganze Reich erteilt. Aber dem König fehlten die Macht, die Ressourcen und die Entschlossenheit, sie durchzusetzen, obwohl er im Dezember 1289 eine Expedition nach Thüringen anführte, wo er eine Reihe von Raubburgen zerstörte. 1291 versuchte er, die Wahl seines Sohnes Albrecht zum deutschen König zu sichern. Die Kurfürsten weigerten sich jedoch und behaupteten, zwei Könige nicht unterstützen zu können, aber in Wirklichkeit vielleicht vorsichtig mit der zunehmenden Macht des Hauses Habsburg. Nach Rudolfs Tod wählten sie Graf Adolf von Nassau.