Rodolfo fu incoronato nella Cattedrale di Aquisgrana il 24 ottobre 1273. Per ottenere l’approvazione del Papa, Rodolfo rinunciò a tutti i diritti imperiali a Roma, nel territorio papale e in Sicilia, e promise di guidare una nuova crociata. Papa Gregorio X, nonostante le proteste di Ottocaro II di Boemia, non solo riconobbe Rodolfo stesso, ma persuase il re Alfonso X di Castiglia (un altro nipote di Filippo di Svevia), che era stato scelto come re tedesco (anti -) nel 1257 come successore del conte Guglielmo II d’Olanda, a fare lo stesso. Così, Rodolfo superò i due eredi della dinastia Hohenstaufen che aveva precedentemente servito così lealmente.
Nel novembre 1274, la Dieta imperiale di Norimberga decise che tutte le proprietà della Corona sequestrate dopo la morte dell’imperatore Federico II dovevano essere ripristinate e che il re Ottokar II doveva rispondere alla Dieta per non aver riconosciuto il nuovo re. Ottokar rifiutò di apparire o di restaurare i ducati d’Austria, Stiria e Carinzia insieme alla Marcia di Carniola, che aveva reclamato attraverso la sua prima moglie, un’ereditiera di Babenberg, e che aveva sequestrato mentre li contestava con un altro erede di Babenberg, il margravio Ermanno VI di Baden. Rodolfo confutò la successione di Ottokar al patrimonio dei Babenberg, dichiarando che le province tornarono alla corona imperiale a causa della mancanza di eredi di linea maschile. Re Ottokar è stato posto sotto il divieto imperiale; e nel giugno 1276 la guerra è stata dichiarata contro di lui.
Dopo aver persuaso l’ex alleato di Ottokar, il duca Enrico XIII di Bassa Baviera, Rodolfo costrinse il re boemo a cedere le quattro province al controllo dell’amministrazione reale nel novembre 1276. Rodolfo re-investì Ottokar con il Regno di Boemia, promise una delle sue figlie al figlio di Ottokar, Venceslao II, e fece un ingresso trionfale a Vienna. Ottokar, tuttavia, sollevò dubbi sull’esecuzione del trattato e procurò il sostegno di diversi principi tedeschi, tra cui anche Enrico XIII della Bassa Baviera. Per soddisfare questa coalizione, Rodolfo formò un’alleanza con il re Ladislao IV d’Ungheria e diede ulteriori privilegi ai cittadini viennesi. Il 26 agosto 1278, gli eserciti rivali si incontrarono nella battaglia sul Marchfeld, dove Ottokar fu sconfitto e ucciso. Il Margraviato di Moravia fu sottomesso e il suo governo affidato ai rappresentanti di Rodolfo, lasciando alla vedova di Ottokar Kunigunda di Slavonia il controllo della sola provincia che circondava Praga, mentre il giovane Venceslao II fu nuovamente fidanzato con la figlia minore di Rodolfo, Giuditta.
L’attenzione di Rodolfo si rivolse poi ai possedimenti in Austria e alle province adiacenti, che furono presi nel dominio reale. Trascorse diversi anni a stabilire la sua autorità lì, ma trovò qualche difficoltà a stabilire la sua famiglia come successori del dominio di quelle province. Alla fine l’ostilità dei principi fu superata. Nel dicembre del 1282, all’Hoftag (dieta imperiale) di Augusta, Rodolfo investì i suoi figli, Alberto e Rodolfo II, dei ducati d’Austria e Stiria e pose così le basi della Casa d’Asburgo. Inoltre, ha fatto il dodicenne Rodolfo duca di Svevia, una dignità meramente titolare, come il ducato era stato senza un vero sovrano dopo l’esecuzione di Corrado. Il duca Alberto, 27 anni, sposato dal 1274 con una figlia del conte Meinhard II di Gorizia-Tirolo (1238-95), era abbastanza in grado di tenere un po ‘ di influenza nel nuovo patrimonio.
Nel 1286, il re Rodolfo investì completamente il suocero di Alberto, il conte Meinhard, del Ducato di Carinzia, una delle province conquistate da Ottokar. I Principi dell’Impero non permisero a Rodolfo di dare tutto ciò che era stato recuperato nel dominio reale ai suoi figli, e anche i suoi alleati avevano bisogno delle loro ricompense. Volgendosi verso ovest, nel 1281 costrinse il conte Filippo I di Savoia a cedergli alcuni territori, quindi costrinse i cittadini di Berna a pagare il tributo che avevano rifiutato. Nel 1289 marciò contro il successore del conte Filippo, Ottone IV, costringendolo a rendergli omaggio.
Nel 1281, la prima moglie di Rodolfo morì. Il 5 febbraio 1284 sposò Isabella, figlia del duca Ugo IV di Borgogna, vicino occidentale dell’Impero nel Regno di Francia.
Rudolf non ebbe molto successo nel ripristinare la pace interna. Gli ordini sono stati infatti emessi per la creazione di landpeaces in Baviera, Franconia e Svevia, e in seguito per l’intero Impero. Ma al re mancavano il potere, le risorse e la determinazione per farle rispettare, anche se nel dicembre 1289 guidò una spedizione in Turingia, dove distrusse un certo numero di castelli di ladri. Nel 1291, tentò di assicurarsi l’elezione di suo figlio Alberto come re tedesco. Gli elettori rifiutarono, tuttavia, sostenendo l’incapacità di sostenere due re, ma in realtà, forse, diffidenti nei confronti del crescente potere della Casa d’Asburgo. Alla morte di Rodolfo elessero il conte Adolfo di Nassau.