Rodolfo fue coronado en la Catedral de Aquisgrán el 24 de octubre de 1273. Para ganar la aprobación del Papa, Rodolfo renunció a todos los derechos imperiales en Roma, el territorio papal y Sicilia, y prometió liderar una nueva cruzada. El Papa Gregorio X, a pesar de las protestas de Otakar II de Bohemia, no solo reconoció a Rodolfo, sino que persuadió al rey Alfonso X de Castilla (otro nieto de Felipe de Suabia), que había sido elegido (anti-)rey alemán en 1257 como sucesor del conde Guillermo II de Holanda, para que hiciera lo mismo. Por lo tanto, Rodolfo superó a los dos herederos de la dinastía Hohenstaufen a quienes había servido con tanta lealtad.
En noviembre de 1274, la Dieta Imperial en Núremberg decidió que todos los estados de la Corona confiscados desde la muerte del emperador Federico II debían ser restaurados, y que el rey Ottokar II debía responder a la Dieta por no reconocer al nuevo rey. Ottokar se negó a aparecer o a restaurar los ducados de Austria, Estiria y Carintia junto con la Marca de Carniola, que había reclamado a través de su primera esposa, una heredera de Babenberg, y que había capturado mientras disputaba con otro heredero de Babenberg, el Margrave Hermann VI de Baden. Rodolfo refutó la sucesión de Ottokar al patrimonio de Babenberg, declarando que las provincias volvieron a la corona imperial debido a la falta de herederos por línea masculina. El rey Ottokar fue puesto bajo la prohibición imperial; y en junio de 1276 se declaró la guerra contra él.Tras persuadir al antiguo aliado de Ottokar, el duque Enrique XIII de Baja Baviera, para que cambiara de bando, Rodolfo obligó al rey de Bohemia a ceder las cuatro provincias al control de la administración real en noviembre de 1276. Rodolfo volvió a investir a Ottokar con el Reino de Bohemia, desposó a una de sus hijas con el hijo de Ottokar, Wenceslao II, e hizo una entrada triunfal en Viena. Ottokar, sin embargo, planteó preguntas sobre la ejecución del tratado, y obtuvo el apoyo de varios príncipes alemanes, incluyendo de nuevo a Enrique XIII de Baja Baviera. Para cumplir con esta coalición, Rodolfo formó una alianza con el rey Ladislao IV de Hungría y dio privilegios adicionales a los ciudadanos vieneses. El 26 de agosto de 1278, los ejércitos rivales se reunieron en la Batalla de Marchfeld, donde Ottokar fue derrotado y asesinado. El Margraviato de Moravia fue sometido y su gobierno confiado a los representantes de Rodolfo, dejando a la viuda de Otakar, Kunigunda de Eslavonia, en control de solo la provincia que rodeaba Praga, mientras que el joven Wenceslao II estaba de nuevo comprometido con Judith, la hija menor de Rodolfo.
La atención de Rodolfo se dirigió a continuación a las posesiones en Austria y las provincias adyacentes, que pasaron al dominio real. Pasó varios años estableciendo su autoridad allí, pero encontró algunas dificultades para establecer a su familia como sucesores del gobierno de esas provincias. Finalmente, la hostilidad de los príncipes fue superada. En diciembre de 1282, en la Hoftag (dieta imperial) en Augsburgo, Rodolfo investió a sus hijos, Alberto y Rodolfo II, con los ducados de Austria y Estiria y así sentó las bases de la Casa de Habsburgo. Además, hizo de Rodolfo de Suabia, de doce años de edad, una dignidad meramente titular, ya que el ducado había estado sin un gobernante real desde la ejecución de Conradino. El duque Alberto, de 27 años de edad, casado desde 1274 con una hija del conde Meinhard II de Gorizia-Tirol (1238-95), era lo suficientemente capaz como para ejercer cierta influencia en el nuevo patrimonio.
En 1286, el rey Rodolfo investió por completo al suegro de Alberto, el conde Meinhard, con el Ducado de Carintia, una de las provincias conquistadas tomadas de Ottokar. Los Príncipes del Imperio no permitieron que Rodolfo entregara a sus propios hijos todo lo recuperado del dominio real, y sus aliados también necesitaban sus recompensas. Volviendo al oeste, en 1281 obligó al conde Felipe I de Saboya a cederle algún territorio, y luego obligó a los ciudadanos de Berna a pagar el tributo que habían estado rechazando. En 1289 marchó contra el sucesor del conde Felipe, Otón IV, obligándolo a rendir homenaje.
En 1281, la primera esposa de Rodolfo murió. El 5 de febrero de 1284, se casó con Isabel, hija del duque Hugo IV de Borgoña, vecino occidental del Imperio en el Reino de Francia.
Rudolf no tuvo mucho éxito en restaurar la paz interna. De hecho, se emitieron órdenes para el establecimiento de landpeaces en Baviera, Franconia y Suabia, y posteriormente para todo el Imperio. Pero el rey carecía del poder, los recursos y la determinación para hacerlos cumplir, aunque en diciembre de 1289 dirigió una expedición a Turingia, donde destruyó varios castillos de ladrones. En 1291, intentó asegurar la elección de su hijo Alberto como rey alemán. Los electores se negaron, sin embargo, alegando incapacidad para apoyar a dos reyes, pero en realidad, tal vez, desconfiaban del creciente poder de la Casa de Habsburgo. A la muerte de Rodolfo eligieron al conde Adolfo de Nassau.