Roger Sherman oli Perustuslakikonventin vaikutusvaltaisimpia jäseniä. Hän ei ole hyvin tunnettu hänen toimia konventissa, koska hän oli ”terse, ineloquent puhuja”, joka ei koskaan pitänyt henkilökohtaista kirjaa hänen kokemuksensa, toisin kuin muut merkkihenkilöt konventissa, kuten James Madison, ja 66-vuotiaana Sherman oli toiseksi vanhin jäsen konventissa jälkeen Benjamin Franklin (joka oli 81-vuotias tuolloin). Silti yhtenä konvention aktiivisimmista jäsenistä Sherman teki Virginian suunnitelmaan viittaavia esityksiä tai sekunteja 160 kertaa. Hänen vastustajansa Madison teki liikkeitä tai sekunteja 177 kertaa.
Roger Sherman tuli Valmistelukuntaan ilman aikomusta luoda uusi perustuslaki. Konfederaatioartiklojen alkuperäinen allekirjoittaja Sherman näki sopimuksen keinona muokata jo olemassa olevaa hallitusta. Osa hänen kannanotoistaan koski julkista vetoomusta. Hän puolusti niiden artiklojen muuttamista, joiden mukaan se on kansan edun mukaista ja todennäköisin tapa, jolla kansa hyväksyy muutokset perustuslakiin. Sherman ei nähnyt syytä kaksikamariselle lainsäätäjälle, kuten Virginian suunnitelma ehdotti. ”Vanhan hallituksen ongelma ei ollut se, että se olisi toiminut typerästi tai uhannut kenenkään vapauksia, vaan se, että se ei yksinkertaisesti ollut kyennyt panemaan täytäntöön asetuksiaan”. Sherman jatkoi ajatusta, että maan hallitus tarvitsi vain tavan kerätä tuloja ja säännellä kaupankäyntiä. Sherman oli yksikamarisen lainsäätäjän suuri puolustaja. Hän puolusti Konfederaatioartiklojen yksikamarista lainsäätäjää toteamalla, että suuret valtiot eivät olleet”kärsineet pienten valtioiden käsissä tasa-arvoisen äänestyssäännön vuoksi”. Lopulta, kun Sherman näki ensimmäiset tavoitteensa valmistelukunnan saavuttamattomissa hän järjesti kompromisseja ja sopimuksia, jotta voidaan säätää joitakin hänen toivottavaa lainsäädäntöä.
Sherman oli kotoisin erityisen eristäytyneestä osavaltiosta – Connecticut toimi lähes ilman suurempaa tarvetta muista osavaltioista, käyttäen omia satamiaan käydäkseen kauppaa Länsi – Intian kanssa Bostonin satamien sijaan-ja pelkäsi sitä ”…kansanjoukolla ei ollut riittävästi viisautta hallita itseään, joten he eivät halunneet, että kansa valitsisi suoraan yhdenkään liittovaltion hallituksen haaran”.Sherman, Elbridge Gerry (itsekin myöhemmin tunnustettu amerikkalaisen poliittisen gerrymanderingin kaimaksi) ja muut olivat sitä mieltä, että kansallisen hallituksen valittu kokoonpano tulisi varata valtion virkamiesten äänestykselle eikä kansan tahdosta tapahtuvalle vaalille. Sherman oli varovainen sallimasta tavallisten kansalaisten osallistumista kansallisen hallinnon ja totesi, että ihmiset ” pitäisi olla niin vähän tekemistä kuin voi olla noin hallituksen. He haluavat tietoa, ja heitä saatetaan johtaa jatkuvasti harhaan.”
käsittelyssä nousivat esiin kaksi ehdotettua vaihtoehtoa lainsäädäntöelimen muodostamiseksi. Yksi oli muodostaa kaksikamarinen lainsäätäjä, jossa molemmilla kamareilla oli osavaltioiden väkilukuun suhteutettu edustus, mitä Virginian suunnitelma tuki. Toinen oli muuttaa yksikamarinen lainsäätäjä, jolla oli yhtäläinen edustus kaikista osavaltioista, mitä New Jerseyn suunnitelma tuki. Roger Sherman oli yksikamarisen lainsäätäjän harras kannattaja, mutta kun hän piti tätä tavoitetta saavuttamattomana, Hän viittoi kompromissiin. Vaalitapojen osalta ”Sherman muutti salliakseen jokaisen osavaltion lainsäätäjän valita omat senaattorinsa”. Lisäksi Sherman esitti edustajainhuoneessa alun perin, että edustajainhuoneen äänioikeus tulisi laskea kunkin osavaltion ”vapaiden asukkaiden lukumäärän” mukaan.
tässä sekä suurten että pienten valtioiden hyväksyttäväksi suunnitellussa suunnitelmassa kansa edustettaisiin suhteellisesti yhdessä lainsäädäntöelimen haarassa, jota kutsutaan Alahuoneeksi (alahuone). Osavaltiot olisivat edustettuina toisessa edustajainhuoneessa, jota kutsutaan senaatiksi (ylähuone). Alahuoneessa jokaisella osavaltiolla oli edustaja jokaista edustajaa kohti. Ylähuoneessa jokaiselle osavaltiolle taattiin kaksi senaattoria sen koosta riippumatta.
Sherman muistetaan myös kannastaan paperirahaa vastaan, kun hän kirjoitti Yhdysvaltain perustuslain I artiklan 10.pykälän ja vastusti myöhemmin James Madisonia Yhdysvaltain perustuslain ”Bill of Rights” – lisäysten takia uskoessaan, että nämä muutokset vähentäisivät valtioiden asemaa ja valtaa ihmisiin nähden.
Mr. Wilson & Mr. Sherman siirtyi lisäämään sanojen ”coin money” jälkeen sanat ”nor emit vekselit, nor make any thing but gold & hopearaha tarjous velkojen maksamiseksi” tehden näistä kielloista ehdottomia, sen sijaan että toimenpiteet sallittu (kuten XIII Art) suostumuksella lainsäätäjän Yhdysvaltain … Herra Sherman piti tätä suotuisana kriisinä paperirahan murskaamiselle. Jos lainsäätäjän suostumuksella voitaisiin sallia sen päästöt, paperirahan ystävät tekisivät kaikkensa päästäkseen lainsäädäntöelimeen salliakseen sen.”
toimeenpanovallan suhteen Shermanilla oli hyvin vähän kiinnostusta antaa toimeenpanovallalle paljon valtaa. Sherman ehdotti, ettei toimeenpanovaltaa tarvitsisi säätää perustuslaissa, koska se oli ”pelkkä toimielin, joka toteutti lainsäätäjän tahdon”.
alun perin Sherman vastusti orjuutta henkilökohtaisten uskomustensa ja puritaanisten näkemystensä vuoksi ja käytti orjuuskysymystä neuvottelun ja liittoutumisen välineenä. Shermanin mukaan orjuus oli jo vähitellen poistumassa ja suuntaus oli siirtymässä etelään. Sherman näki, että orjuuskysymys voi olla sellainen, joka uhkaa perustuslakikonventin menestystä. Siksi Sherman päätti auttaa säätämään orjavaltioita hyödyttävää lainsäädäntöä saadakseen Etelä-Carolinasta epätodennäköisiä liittolaisia. Nämä kaksi voimaa liittyivät yhteen, koska ne molemmat hyötyivät kotivaltioidensa talouksien vuoksi siitä, että vientiveroa ei ollut.
Sherman vastusti allekirjoittajakollegansa Gouverneur Morrisin nimittämistä Ranskan ministeriksi, koska hänen mielestään korkea-arvoinen patriootti oli luonteeltaan ”uskonnoton”.