Une glaciation importante a eu lieu dans la région des Grands Bancs lors du dernier maximum glaciaire. Il y a environ 13 000 ans, la majeure partie de la glace avait fondu, laissant les Grands Bancs exposés sous la forme de plusieurs îles s’étendant sur des centaines de kilomètres. On pense que l’élévation du niveau de la mer les a submergés il y a environ 8 000 ans.
Bien qu’aucune preuve archéologique d’une présence européenne près des Grands Bancs ne subsiste de la période entre l’éphémère colonie nordique du Groenland à L’Anse aux Meadows en L’an 1000 et la traversée transatlantique de John Cabot en 1497, certaines preuves suggèrent que des voyageurs de la région basque et d’Angleterre (en particulier de Bristol) et d’autres ont précédé Cabot. Au XVe siècle, certains textes font référence à une terre appelée Bacalao, la terre de la morue, qui est peut-être Terre-Neuve. Quelques années après le voyage de Cabot, l’existence de zones de pêche sur les Grands Bancs devint généralement connue en Europe. Des navires de France et du Portugal y ont été les pionniers de la pêche, suivis par des navires d’Espagne, tandis que les navires d’Angleterre étaient rares dans les premières années. Cela a rapidement changé, surtout après l’expédition de Bernard Drake à Terre-Neuve en 1585, qui a pratiquement anéanti les industries de pêche espagnoles et portugaises dans cette région. Les stocks de poissons sont devenus importants pour les premières économies de colons européens de l’est du Canada et de la Nouvelle-Angleterre.
Le 18 novembre 1929, un tremblement de terre majeur (connu sous le nom de tremblement de terre des Grands Bancs de 1929) dans la partie sud-ouest des Grands Bancs bordant le Chenal Laurentien a provoqué un glissement de terrain sous-marin qui a causé d’importants dommages aux câbles transatlantiques et a généré un rarissime tsunami atlantique qui a frappé la côte sud de Terre-Neuve, faisant 29 morts sur la péninsule de Burin.
Les progrès technologiques dans la pêche (tels que l’utilisation de grands navires-usines et de sonars), ainsi que les conflits géopolitiques sur les limites de la mer territoriale et de la zone économique exclusive (ZEE), ont entraîné une surpêche et une grave diminution des stocks de poissons des Grands Bancs à partir de 1990 environ. La pêche des Grands Bancs canadiens a été fermée en 1993.
La ZEE du Canada couvre actuellement la majorité des Grands Bancs, à l’exception du lucratif » nez » (extrémité est, près de la calotte flamande) et de la » queue » (extrémité sud) du banc de pêche. Le Traité de Paris de 1783 a donné aux États-Unis des droits partagés sur la pêche dans ces eaux, mais cette section du Traité n’est plus en vigueur. La zone économique exclusive du territoire français de Saint-Pierre-et-Miquelon occupe une section en forme d’épingle à l’extrémité ouest des Grands Bancs, avec la tête de rayon de 22 kilomètres (12 nmi; 14 mi) de l’épingle entourant les îles et l’aiguille se dirigeant vers le sud sur 348 km (188 nmi; 216 mi).