Brown was minder betrokken bij het wetgevingsproces dan eerdere presidenten. Hij probeerde bijvoorbeeld niet de keuze van het wetgevende leiderschap te beïnvloeden, terwijl de meeste eerdere gouverneurs praktisch met de hand de voorzitters in elk huis hadden gekozen. Tijdens een van de twee wetgevende zittingen van zijn termijn ging hij op vakantie. Daarom werden veel van zijn wetgevende aanbevelingen niet uitgevoerd. Onder zijn mislukte voorstellen waren een multi-county bankwet, een forfaitaire inkomstenbelasting, professionele onderhandelingen voor leraren, en een grondwetswijziging om een gouverneur te kiezen voor opeenvolgende termijnen. In totaal, Brown was uit de staat-waardoor luitenant-gouverneur Martha Layne Collins als waarnemend gouverneur-voor meer dan vijfhonderd dagen tijdens zijn vierjarige termijn. Zoals opgemerkt door Kentucky historicus Lowell H. Harrison, Brown ‘ s hands-off aanpak liet de wetgever om macht te krijgen ten opzichte van de gouverneur voor de eerste keer in de geschiedenis van Kentucky, een trend die bleef in de voorwaarden van zijn opvolgers.tijdens zijn ambtstermijn was Brown co-voorzitter van de Appalachian Regional Commission en voorzitter van de Southern States’ Energy Board. In mei 1981 kreeg hij een eredoctoraat in de rechten van de Universiteit van Kentucky en in mei 1982 ontving hij de Father of the Year award. In september 1983 benoemde de Nationale Democratische Partij hem tot Democraat van het jaar, en later werd hij benoemd tot ere-Penningmeester van de partij.in 1982 werd Brown kort opgenomen in het ziekenhuis voor hypertensie, en tegen het einde van zijn termijn onderging hij een viervoudige bypass-operatie. Terwijl hij herstelde van de operatie, leed Brown aan een zeldzame longziekte, waardoor hij wekenlang in het ziekenhuis werd opgenomen, waarvan hij deels in coma lag. Hij had een tijdje geen pols, en een van zijn longen stortte gedeeltelijk in. Brown ‘ s kantoor probeerde de ernst van zijn toestand te verbergen, door vuur te trekken van de pers. Na zijn herstel stopte hij met roken en begon te joggen.in Kentucky ‘ s Governors zei Brown biograaf Mary K. Bonsteel Tachau over zijn regering: “er waren geen schandalen. Noch hij, noch iemand van zijn volk werd beschuldigd van corruptie.”Scandal raakte Brown echter persoonlijk, evenals enkele van zijn naaste medewerkers. In 1981 werd hij onderzocht voor het opnemen van $1,3 miljoen in persoonlijk geld van de All American Bank Of Miami. De bank heeft de transactie niet gemeld aan de Internal Revenue Service zoals vereist door de wet. Toen de Federal Bureau of Investigation de zaak in 1983 onderzocht, beweerde Brown dat hij het geld had opgenomen om gokschulden te dekken die hij opliep tijdens “one bad night gambling” in Las Vegas. Brown, die niet de focus was van het FBI-onderzoek, trok die verklaring later in.sommige van Brown ’s medewerkers waren betrokken bij een Lexington cocaïne – en wapensmokkelring genaamd “The Company”. James P. Lambert, een medewerker van Brown ‘ s sinds ze samen aan de Universiteit van Kentucky woonden, werd aangeklaagd op meer dan 60 drugsaanklachten. Telefoongegevens toonden ook oproepen van het huis van de gouverneur aan verschillende personen die uiteindelijk veroordeeld werden voor drugsaanklachten in verband met het onderzoek.op 15 maart 1984 diende Brown enkele uren voor de indieningstermijn een kandidatuur in voor de zetel van Walter “Dee” Huddleston in de Amerikaanse Senaat. Zes weken later, op 27 April, trok hij zijn kandidatuur in, onder verwijzing naar de gevolgen van zijn ernstige ziekte en operatie van het voorgaande jaar.in 1987 stelde Brown zich opnieuw verkiesbaar voor gouverneur, waarbij hij een drukke Democratische voorverkiezing binnenging met luitenant-gouverneur Steve Beshear, voormalig gouverneur Julian Carroll, Grady Stumbo en de politieke nieuwkomer Wallace Wilkinson. Hij ging de race laat-het indienen van zijn kandidatuur papieren in eind februari voor de primaire verkiezingen in eind mei. Toen Brown het Capitool benaderde om zijn papieren in te dienen, ontmoette Beshear hem buiten het archiefkantoor en daagde hem uit tot een geïmproviseerde debat, maar Brown weigerde. Als Brown al snel werd de koploper, Beshear aangevallen zijn weelderige levensstijl in een reeks van campagne advertenties, waarvan een was gebaseerd op de populaire tv-show Lifestyles of the Rich and Famous. Andere advertenties van Beshear speelde Brown ‘ s banden met James P. Lambert, terwijl nog anderen beweerden dat Brown belastingen zou verhogen. Brown weerlegde Beshears claims in ads of his own, en de strijd tussen Beshear en Brown opende een kans voor Wilkinson – die zich onderscheidde van het veld door te pleiten voor een Staatsloterij – om een late golf te maken. Hij versloeg Brown, zijn naaste concurrent, met een marge van 58.000 stemmen.