El edificio de la biblioteca se encuentra en un lote de esquina en la calle Principal en el centro de Round Rock, el sitio del tiroteo de Sam Bass de 1878. La parcela de tierra de la biblioteca ha sido utilizada por una variedad de negocios y por la ciudad de Round Rock. El edificio actual de la biblioteca, c. 1997, fue diseñado por el arquitecto Ray Gill de la firma Ray Gill Architects, con un diseño que reflejaba la historia local del sitio. El edificio de la Biblioteca lleva el nombre de Robert G. y Helen Griffith, dos residentes que lideraron la creación y el mantenimiento de la biblioteca.
El terreno de la biblioteca ha tenido varios usos. En 1885, una hoja, una puerta y un almacén ciego ocuparon la mitad este del lote de la esquina, pero en 1902 el lote estaba vacío. En 1925, cuando el uso de automóviles se generalizó, un garaje para 30 coches se hizo cargo de la esquina. En 1937, el garaje se convirtió en un concesionario de ventas y servicios de Ford, y se construyó una combinación de Ayuntamiento y Cuerpo de Bomberos voluntarios en la mitad oeste del lote.
La biblioteca apareció en el lote de la esquina a principios de la década de 1960. El Club de Demostración para Mujeres decidió que la ciudad necesitaba una biblioteca. Organizaron a un grupo de ciudadanos privados en la Junta de la Biblioteca Pública First Round Rock. Luego compraron el viejo edificio de Ford Motor Company en la esquina de East Main Street en Sheppard, donde se encuentra la biblioteca actual. La antigua sala de exposición ofrecía espacio, pero necesitaba ser remodelada, lo que llevó 20 meses. El trabajo en la sala de exposición fue realizado por un edificio de la escuela secundaria Round Rock y por artesanos locales.
Al principio, la Asociación de Bibliotecas Públicas de Round Rock, sin fines de lucro y autorizada por el estado, administraba la biblioteca. Luego, la ciudad de Round Rock asumió la propiedad de la biblioteca en 1977.
En septiembre de 1978, los daños estructurales obligaron a cerrar la biblioteca. Durante la primavera de 1979, la biblioteca se trasladó a un edificio temporal en Liberty Street. Voluntarios y miembros de la comunidad ayudaron a trasladar los libros y el equipo a la instalación temporal. La biblioteca sirvió a la comunidad hasta 1980.
El 20 de julio de 1980, se dedicó una estructura de dos pisos de 0,5 millones de dólares en el sitio original. La biblioteca ocupaba el primer piso y la cámara del ayuntamiento ocupaba el segundo piso. Ray Gill diseñó el edificio para conservar el sabor histórico de Texas evidente en otros edificios de la calle Principal y para mezclarse con el edificio existente del ayuntamiento.
La necesidad de más espacio exigía que todo el edificio se renovara en mayo de 1988. En ese momento, la biblioteca retiró su catálogo de tarjetas e instaló un sistema bibliotecario automatizado. En 1992, se formó una Fundación de Bibliotecas, se incorporó y se le otorgó una clasificación 501(c)(3) sin fines de lucro, lo que le permitió reemplazar a la Junta Directiva de la Biblioteca.
En enero de 1996, los ciudadanos de Round Rock votaron y aprobaron una emisión de bonos de 3 3.5 millones para expandir la biblioteca de 11,000 pies cuadrados (1,000 m2) a aproximadamente 43,000 pies cuadrados (4,000 m2). La construcción de la nueva adición comenzó en marzo de 1998 y finalizó en julio de 1999. La remodelación del antiguo edificio comenzó de inmediato y se completó en diciembre de 1999. El 20 de noviembre de 1999 se celebró una gran ceremonia de inauguración, y el edificio de la biblioteca fue nombrado en honor de Robert G. y Helen Griffith, partidarios de la biblioteca desde hace mucho tiempo.
En 2008, la biblioteca contaba con más de 30 empleados y 60 voluntarios, administrando 170.000 volúmenes, 115 bases de datos en línea y más de 50.000 libros en línea.