Rudolf est couronné dans la cathédrale d’Aix-la-Chapelle le 24 octobre 1273. Pour obtenir l’approbation du pape, Rodolphe renonça à tous les droits impériaux à Rome, sur le territoire pontifical et en Sicile, et promit de mener une nouvelle croisade. Le pape Grégoire X, malgré les protestations d’Ottokar II de Bohême, non seulement reconnut Rodolphe lui-même, mais persuada le roi Alphonse X de Castille (un autre petit-fils de Philippe de Souabe), qui avait été choisi comme (anti-) roi allemand en 1257 comme successeur du comte Guillaume II de Hollande, de faire de même. Ainsi, Rudolf surpassa les deux héritiers de la dynastie des Hohenstaufen qu’il avait auparavant si loyalement servis.
En novembre 1274, la Diète impériale de Nuremberg décide que tous les domaines de la Couronne saisis depuis la mort de l’empereur Frédéric II doivent être restaurés et que le roi Ottokar II doit répondre à la Diète de ne pas avoir reconnu le nouveau roi. Ottokar refusa de comparaître ou de restaurer les duchés d’Autriche, de Styrie et de Carinthie avec la Marche de Carniole, qu’il avait réclamée par l’intermédiaire de sa première épouse, une héritière de Babenberg, et qu’il avait saisis en les disputant avec un autre héritier de Babenberg, le margrave Hermann VI de Bade. Rudolf réfute la succession d’Ottokar au patrimoine de Babenberg, déclarant que les provinces reviennent à la couronne impériale en raison du manque d’héritiers de lignée masculine. Le roi Ottokar est placé sous l’interdiction impériale et, en juin 1276, la guerre est déclarée contre lui.
Après avoir convaincu l’ancien allié d’Ottokar, le duc Henri XIII de Basse-Bavière de changer de camp, Rodolphe contraint le roi de Bohême à céder les quatre provinces au contrôle de l’administration royale en novembre 1276. Rodolphe réinvestit alors Ottokar avec le Royaume de Bohême, fiance une de ses filles au fils d’Ottokar, Venceslas II, et fait une entrée triomphale à Vienne. Ottokar, cependant, soulève des questions sur l’exécution du traité et obtient le soutien de plusieurs princes allemands, dont Henri XIII de Basse-Bavière. Pour faire face à cette coalition, Rodolphe a formé une alliance avec le roi Ladislas IV de Hongrie et a donné des privilèges supplémentaires aux citoyens viennois. Le 26 août 1278, les armées rivales se rencontrent à la bataille du Marchfeld, où Ottokar est vaincu et tué. Le Margraviat de Moravie est soumis et son gouvernement confié aux représentants de Rodolphe, laissant la veuve d’Ottokar Kunigunda de Slavonie ne contrôler que la province entourant Prague, tandis que le jeune Venceslas II est de nouveau fiancé à la plus jeune fille de Rodolphe, Judith.
L’attention de Rudolf se tourna ensuite vers les possessions en Autriche et les provinces adjacentes, qui furent prises dans le domaine royal. Il passa plusieurs années à y établir son autorité, mais éprouva quelques difficultés à établir sa famille comme successeurs à la domination de ces provinces. L’hostilité des princes fut finalement vaincue. En décembre 1282, lors de la diète impériale d’Augsbourg, Rodolphe investit ses fils, Albert et Rodolphe II, des duchés d’Autriche et de Styrie et jette ainsi les bases de la Maison de Habsbourg. De plus, il a fait du duc Rodolphe de Souabe, âgé de douze ans, une simple dignité titulaire, car le duché était sans souverain réel depuis l’exécution de Conradin. Le duc Albert, âgé de 27 ans, marié depuis 1274 à une fille du comte Meinhard II de Gorizia-Tyrol (1238-1295), était suffisamment capable pour peser dans le nouveau patrimoine.
En 1286, le roi Rodolphe investit entièrement le beau-père d’Albert, le comte Meinhard, du duché de Carinthie, l’une des provinces conquises d’Ottokar. Les princes de l’Empire n’ont pas permis à Rodolphe de donner à ses propres fils tout ce qui a été récupéré dans le domaine royal, et ses alliés avaient également besoin de leurs récompenses. Se tournant vers l’ouest, il contraint en 1281 le comte Philippe Ier de Savoie à lui céder un territoire, puis contraint les citoyens de Berne à payer le tribut qu’ils avaient refusé. En 1289, il marche contre le successeur du comte Philippe, Otton IV, l’obligeant à rendre hommage.
En 1281, la première épouse de Rodolphe meurt. Le 5 février 1284, il épouse Isabelle, fille du duc Hugues IV de Bourgogne, voisin occidental de l’Empire dans le Royaume de France.
Rudolf n’a pas réussi à rétablir la paix intérieure. Des ordres furent en effet émis pour l’établissement de terres en Bavière, en Franconie et en Souabe, puis pour tout l’Empire. Mais le roi n’avait pas le pouvoir, les ressources et la détermination nécessaires pour les faire respecter, bien qu’en décembre 1289, il ait mené une expédition en Thuringe, où il a détruit un certain nombre de châteaux de voleurs. En 1291, il tente d’obtenir l’élection de son fils Albert comme roi d’Allemagne. Les électeurs refusèrent cependant, prétextant leur incapacité à soutenir deux rois, mais en réalité, peut-être, se méfiaient du pouvoir croissant de la Maison de Habsbourg. À la mort de Rodolphe, ils ont élu le comte Adolf de Nassau.