La glaciación extensa tuvo lugar en el área de los Grandes Bancos durante el último máximo glacial. Hace aproximadamente 13.000 años, la mayoría del hielo se había derretido, dejando a los Grandes Bancos expuestos como varias islas que se extendían por cientos de kilómetros. Se cree que el aumento del nivel del mar los sumergió hace unos 8.000 años.
Mientras que no hay evidencia arqueológica de una presencia europea cerca de los Grandes Bancos que sobreviva desde el período comprendido entre el efímero asentamiento nórdico de Groenlandia en L’Anse aux Meadows en 1000 CE y la travesía transatlántica de John Cabot en 1497, algunas pruebas sugieren que los viajeros de la Región Vasca e Inglaterra (específicamente de Bristol) y otros precedieron a Cabot. En el siglo XV, algunos textos se refieren a una tierra llamada Bacalao, la tierra del bacalao, que posiblemente sea Terranova. A los pocos años del viaje de Cabot, la existencia de caladeros en los Grandes Bancos se hizo generalmente conocida en Europa. Los barcos de Francia y Portugal fueron pioneros en la pesca allí, seguidos por los barcos de España, mientras que los barcos de Inglaterra eran escasos en los primeros años. Esto pronto cambió, especialmente después de la Expedición de Terranova de Bernard Drake en 1585, que prácticamente acabó con las industrias pesqueras españolas y portuguesas en esta área. Las poblaciones de peces se volvieron importantes para las primeras economías de colonos europeos del este de Canadá y Nueva Inglaterra.
El 18 de noviembre de 1929, un gran terremoto (conocido como el terremoto de los Grandes Bancos de 1929) en la parte suroeste de los Grandes Bancos que bordean el Canal Laurentiano causó un deslizamiento de tierra submarino que resultó en extensos daños a los cables transatlánticos y generó un raro tsunami en el Atlántico que golpeó la costa sur de Terranova, cobrándose 29 vidas en la Península de Burin.
Los avances tecnológicos en la pesca (como el uso de grandes buques factoría y sonar), así como las disputas geopolíticas sobre los límites del mar territorial y de la zona económica exclusiva (ZEE), condujeron a la sobrepesca y a una grave disminución de las poblaciones de peces de los Grandes Bancos desde alrededor de 1990. La pesquería de los Grandes Bancos canadienses se cerró en 1993.
La ZEE de Canadá cubre actualmente la mayoría de los Grandes Bancos, excepto la lucrativa «nariz» (extremo oriental, cerca de la Gorra flamenca) y la «cola» (extremo sur) del banco de pesca. El Tratado de París de 1783 dio a los Estados Unidos derechos compartidos para pescar en estas aguas, pero esa sección del Tratado ya no está en vigor. La zona económica exclusiva del territorio francés de San Pedro y Miquelón ocupa una sección en forma de alfiler en el borde oeste de los Grandes Bancos, con la cabeza de radio de 22 kilómetros (12 millas náuticas; 14 millas) del alfiler que rodea las islas y la aguja en dirección sur durante 348 km (188 millas náuticas; 216 millas).