Roger Sherman var et af de mest indflydelsesrige medlemmer af Forfatningskonventionen. Han er ikke kendt for sine handlinger på stævnet, fordi han var en “kortfattet, ikke-talende taler”, der aldrig førte en personlig fortegnelse over sin oplevelse, i modsætning til andre fremtrædende personer på stævnet som James Madison, og i en alder af 66 år var Sherman det næstældste medlem på stævnet efter Benjamin Franklin (som var 81 år gammel på det tidspunkt). Men som et af de mest aktive medlemmer af Konventet lavede Sherman bevægelser eller sekunder med henvisning til Virginia-planen 160 gange. Hans modstander Madison lavede bevægelser eller sekunder 177 gange.Roger Sherman trådte ind i Konventet uden at have til hensigt at oprette en ny forfatning. Sherman, en original underskriver af forbundets artikler, så konventionen som et middel til at ændre den allerede eksisterende regering. En del af hans holdning var bekymret over den offentlige appel. Han forsvarede ændring af artiklerne, der erklærede, at det var i folks interesse og den mest sandsynlige måde, hvorpå folket ville acceptere ændringer i en forfatning. Sherman så ingen grund til en tokammeral lovgiver, som foreslået af Virginia-planen. “Problemet med den gamle regering var ikke, at den havde handlet tåbeligt eller truet nogens friheder, men at den simpelthen ikke havde været i stand til at håndhæve sine dekreter”. Sherman fremførte yderligere ideen om, at den nationale regering simpelthen havde brug for en måde at skaffe indtægter og regulere handel på. Sherman var en stor forsvarer af en unicameral lovgiver. Han forsvarede unicameral lovgiver af forbundets artikler ved at sige, at de store stater ikke havde “lidt i hænderne på små stater på grund af reglen om lige afstemning”. I sidste ende, da Sherman så sine oprindelige mål for konventionen som uopnåelige, organiserede han kompromiser og aftaler for at vedtage nogle af hans ønskelige lovgivning.
Sherman var fra en særlig isolationistisk stat – Connecticut opererede næsten uden meget behov fra andre stater og brugte sine egne havne til at handle med Vestindien i stedet for at bruge havne i Boston – og frygtede det “…massen af mennesker manglede tilstrækkelig visdom til at styre sig selv og ønskede således, at ingen gren af den føderale regering skulle vælges direkte af folket”.Sherman, Elbridge Gerry (selv senere anerkendt som navnebror til amerikansk politisk gerrymandering) og andre var af den fælles opfattelse, at den valgte sammensætning af den nationale regering skulle forbeholdes afstemning af statslige embedsmænd og ikke til valg efter folks vilje. Sherman var forsigtig med at tillade almindelig borgerdeltagelse i den nationale regering og sagde, at folket “skulle have så lidt at gøre, som det måtte være om regeringen. De ønsker information og er konstant tilbøjelige til at blive vildledt”.
de to foreslåede muligheder for dannelsen af den lovgivende gren opstod i drøftelserne. Den ene var at danne en tokammeral lovgiver, hvor begge kamre havde repræsentation proportional med befolkningen i staterne, som blev støttet af Virginia-planen. Den anden var at ændre den unicameral lovgiver, der havde lige repræsentation fra alle staterne, som blev støttet af ny Jersey plan. Roger Sherman var en hengiven tilhænger af en unicameral lovgiver, men da han så dette mål som uopnåeligt, bad han om at gå på kompromis. Med hensyn til valgformer “flyttede Sherman for at give hver statslovgiver mulighed for at vælge sine egne senatorer”. Derudover foreslog Sherman oprindeligt i huset, at valgretten til Repræsentanternes Hus skulle regnes i henhold til “antallet af frie indbyggere” i hver stat.
i denne plan, designet til at være acceptabel for både store og små stater, ville folket være repræsenteret proportionalt i en gren af lovgiveren, kaldet Repræsentanternes Hus (det nederste lovgivende hus). Staterne ville være repræsenteret i et andet hus kaldet Senatet (Overhuset). I Underhuset havde hver stat en repræsentant for hver delegeret. I Overhuset blev hver stat garanteret to senatorer, uanset dens størrelse.
Sherman er også mindeværdig for sin holdning mod papirpenge med sin forfatter af artikel i, Afsnit 10 i De Forenede Staters forfatning og hans senere modstand mod James Madison over “Bill of Rights” – ændringerne til den amerikanske forfatning i hans tro på, at disse ændringer ville mindske staternes rolle og magt over folket.
Mr. Vilson & Mr. Sherman flyttede for at indsætte efter ordene “møntpenge” ordene “heller ikke udsende kreditregninger eller gøre noget andet end guld & sølvmønt et bud på betaling af gæld” gør disse forbud absolutte, i stedet for at gøre det med samtykke fra lovgiver i USA … Mr. Sherman mente, at dette var en gunstig krise for at knuse papirpenge. Hvis lovgiverens samtykke kunne tillade emissioner af det, ville papirpengenes venner gøre alt for at komme ind i lovgiveren for at licensere det.”
med hensyn til den udøvende havde Sherman meget lidt interesse i at give den udøvende meget autoritet. Sherman foreslog, at der ikke var behov for nogen forfatningsmæssig bestemmelse for den udøvende magt, fordi det var “intet andet end en institution til at gennemføre lovgiverens vilje”.oprindeligt imod slaveri på grund af hans personlige overbevisning og puritanske synspunkter brugte Sherman spørgsmålet om slaveri som et redskab til forhandling og alliance. Sherman var af den opfattelse, at slaveri allerede gradvist blev afskaffet, og tendensen bevægede sig sydpå. Sherman så, at spørgsmålet om slaveri kunne være et, der truede succesen med forfatningskonventionen. Derfor besluttede Sherman at hjælpe med at vedtage lovgivning til gavn for slavestater for at opnå usandsynlige allierede fra South Carolina. De to styrker sluttede sig sammen, fordi de begge på grund af deres hjemstaters økonomier havde gavn af, at der ikke var nogen eksportafgift.
Sherman modsatte sig udnævnelse af medunderskriver Gouverneur Morris som minister for Frankrig, fordi han anså den højtlevende Patriot for at være af en “irreligiøs karakter”.