Roger Sherman fue uno de los miembros más influyentes de la Convención Constitucional. No es muy conocido por sus acciones en la Convención porque era un «orador conciso e ineludible» que nunca mantuvo un registro personal de su experiencia, a diferencia de otras figuras prominentes en la convención como James Madison, y a los 66 años de edad, Sherman era el segundo miembro de mayor edad en la convención después de Benjamin Franklin (que tenía 81 años en ese momento). Sin embargo, como uno de los miembros más activos de la Convención, Sherman hizo mociones o segundas en referencia al Plan Virginia 160 veces. Su oponente Madison hizo movimientos o segundos 177 veces.
Roger Sherman entró en la Convención sin la intención de crear una nueva constitución. Sherman, uno de los firmantes originales de los Artículos de la Confederación, vio la convención como un medio para modificar el gobierno ya existente. Parte de su postura se refería a la apelación pública. Defendió enmendar los artículos declarando que era en el mejor interés del pueblo y la forma más probable en que el pueblo aceptaría cambios a una constitución. Sherman no vio ninguna razón para una legislatura bicameral, como proponía el Plan de Virginia. «El problema con el viejo gobierno no era que hubiera actuado tontamente o amenazado las libertades de nadie, sino que simplemente había sido incapaz de hacer cumplir sus decretos». Sherman avanzó aún más la idea de que el gobierno nacional simplemente necesitaba una forma de aumentar los ingresos y regular el comercio. Sherman era un gran defensor de una legislatura unicameral. Defendió la legislatura unicameral de los Artículos de la Confederación declarando que los estados grandes no habían «sufrido a manos de los estados pequeños a causa de la regla de la igualdad de votos». En última instancia, cuando Sherman vio que sus objetivos iniciales de la convención eran inalcanzables, organizó compromisos y acuerdos para promulgar algunas de sus leyes deseables.
Sherman era de un estado particularmente aislacionista-Connecticut operaba casi sin mucha necesidad de otros estados, utilizando sus propios puertos para comerciar con las Indias Occidentales en lugar de utilizar puertos en Boston – y temía eso «…la masa del pueblo carecía de la sabiduría suficiente para gobernarse a sí misma y, por lo tanto, no deseaba que ninguna rama del gobierno federal fuera elegida directamente por el pueblo».Sherman, Elbridge Gerry (más tarde reconocido como el tocayo del gerrymandering político estadounidense) y otros compartían la opinión de que la composición elegida del gobierno nacional debía reservarse para el voto de los funcionarios estatales y no para la elección por la voluntad del pueblo. Sherman se mostró cauteloso de permitir la participación de los ciudadanos ordinarios en el gobierno nacional y declaró que la gente «debería tener tan poco que hacer como sea sobre el Gobierno. Quieren información y están constantemente expuestos a ser engañados».
Las dos opciones propuestas para la formación del poder legislativo surgieron en las deliberaciones. Una era formar una legislatura bicameral en la que ambas cámaras tuvieran una representación proporcional a la población de los estados, lo que fue apoyado por el plan Virginia. La segunda fue modificar la legislatura unicameral que tenía representación equitativa de todos los estados, lo que fue apoyado por el plan de Nueva Jersey. Roger Sherman era un devoto partidario de una legislatura unicameral, pero cuando vio que ese objetivo era inalcanzable, hizo un gesto de compromiso. En términos de modos de elección «Sherman se movió para permitir que cada legislatura estatal eligiera a sus propios senadores». Además, en la cámara, Sherman propuso originalmente que el sufragio de la Cámara de Representantes se calculara de acuerdo con el «número de habitantes libres» en cada estado.
En este plan, diseñado para ser aceptable tanto para los estados grandes como para los pequeños, el pueblo estaría representado proporcionalmente en una rama de la legislatura, llamada Cámara de Representantes (la cámara legislativa inferior). Los estados estarían representados en otra cámara llamada Senado (la cámara alta). En la cámara baja, cada estado tenía un representante para cada delegado. En la cámara alta, a cada estado se le garantizaban dos senadores, independientemente de su tamaño.
Sherman también es memorable por su postura en contra del papel moneda con su autoría del Artículo I, Sección 10 de la Constitución de los Estados Unidos y su posterior oposición a James Madison sobre las enmiendas de la «Carta de Derechos» a la Constitución de los Estados Unidos en su creencia de que estas enmiendas disminuirían el papel y el poder de los Estados sobre el pueblo.
Sr. Wilson & El Sr. Sherman se movió para insertar después de las palabras «moneda de dinero» las palabras «ni emitir letras de crédito, ni hacer nada excepto oro & moneda de plata una oferta en pago de deudas» haciendo que estas prohibiciones sean absolutas, en lugar de hacer que las medidas permitido (como en el art XIII) con el consentimiento de la Legislatura de los Estados Unidos … El Sr. Sherman pensó que esta era una crisis favorable para aplastar el papel moneda. Si el consentimiento de la Legislatura pudiera autorizar emisiones, los amigos del papel moneda harían todo lo posible para entrar en la Legislatura con el fin de licenciarlo.»
En términos del ejecutivo Sherman tenía muy poco interés en darle al ejecutivo mucha autoridad. Sherman sugirió que no era necesario hacer ninguna disposición constitucional para el poder ejecutivo porque «no era más que una institución para llevar a la práctica la voluntad del poder legislativo».
Originalmente opuesto a la esclavitud debido a sus creencias personales y puntos de vista puritanos, Sherman utilizó el tema de la esclavitud como una herramienta para la negociación y la alianza. Sherman opinaba que la esclavitud ya se estaba aboliendo gradualmente y que la tendencia se estaba moviendo hacia el sur. Sherman vio que la cuestión de la esclavitud podía ser una amenaza para el éxito de la convención constitucional. Por lo tanto, Sherman decidió ayudar a aprobar legislación para beneficiar a los estados esclavistas con el fin de obtener aliados improbables de Carolina del Sur. Las dos fuerzas se unieron porque ambas, debido a las economías de sus Estados de origen, se beneficiaron de la ausencia de impuestos a la exportación.
Sherman se opuso al nombramiento de su compañero de firma, Gouverneur Morris, como ministro de Francia porque consideraba que ese patriota de alta vida era de «naturaleza irreligiosa».