​La historia de las colecciones que hoy se encuentran en el Museo Geológico Nacional José Royo y Gómez se remonta a 1917, cuando el Servicio Geológico Colombiano recibió las colecciones recopiladas por la Comisión Científica Nacional.

Posteriormente, colecciones mineralógicas y petrográficas fueron colectadas por los científicos Ernest Scheibe, Emil Grosse, Otto Stützer y Enrique Hubach, a las que se sumarían las reunidas en la década de los años cuarenta en el Laboratorio de Petrografía anexo a los Laboratorios Químicos del Ministerio de Minas, en cabeza de José Sandoval. Con la llegada de José Royo y Gómez a Colombia en 1939, esta colección se potenció con un gran número de ejemplares provenientes de las veintitrés comisiones de campo en las que participó este científico, en las que siempre procuró recolectar el mayor número posible de ejemplares para el Museo.

Muestras de perforaciones remitidas por las compañías petroleras también se sumaron a esta colección. En 1950 estas muestras llegaban a 12.200. Se destaca también la colección de carbones, que por ese mismo año contaba con más de novecientas muestras. Las más numerosas son las procedentes del departamento del Valle del Cauca, recolectadas principalmente por Enrique Hubach, Benjamín Alvarado Biester y Paba Silva.

El total de minerales que integraban las colecciones mineralógicas y petrográficas del Museo en la década de 1950 se aproximaba a 5.000 muestras, con unos 8.000 ejemplares. El número de rocas, sin contar las pertenecientes a las piezas fósiles que forman parte de las colecciones paleontológicas y estratigráficas, era de unas 21.500 muestras, con 24.000 ejemplares. Por lo tanto, el número total de muestras del Departamento Mineralógico y Petrográfico era, en ese momento, de unas 26.500, con más de 32.000 ejemplares.

Con respecto a las colecciones paleontológicas, las más antiguas corresponden a una serie poco numerosa del Cretácico, recolectadas por Scheibe y clasificadas por especialistas de Berlín, y otra serie más rica y variada acumulada por el geólogo Enrique Hubach, ayudado a veces por sus colaboradores Benjamín Alvarado y Cuervo Aráoz. De esta serie son dignos de destacarse los fósiles del Terciario Inferior de Urabá y del Valle del Cauca, así como otros del Cretácico, de Cundinamarca.

Entre los científicos más destacados que aportaron a esta colección se encuentran Benjamín Alvarado, Paba Silva, Sarmiento Soto, Suárez Hoyos, Hans Bürgl, Botero Restrepo, Reymond, Sarmiento Alarcón, Henao, Alejandro del Río y Gutiérrez. Asimismo, merecen mención los profesores Clements y Stirton, de la Universidad de California (Estados Unidos), y Caster, de Cincinnati (Estados Unidos), así como Gerardo Botero Arango y Hernán Garcés, de la Facultad de Minas de Medellín (Antioquia).

En 2009 el Museo recibió de Josefa Royo de Guerrero, hija del geólogo español José Royo y Gómez, una donación de objetos y documentos históricos que fueron acogidos en el Fondo Documental del Museo, que fueron inventariados por el doctor Armando Espinosa Baquero en los años ochenta y catalogados por la Universidad Autónoma de Barcelona en 2006. Este componente histórico enriqueció y amplió las colecciones del Museo, y se proyecta actualmente como un nicho para la investigación de la geología histórica de Colombia.

En virtud de la ejecución del Decreto 1353 del 31 de julio 2018 y de la Resolución 732 del mismo año, el Museo realiza investigación, inventarios, procesos de geoconservación, emite normativa y estatuye requisitos y procedimientos para contribuir a implementar el Sistema de Gestión Integral del Patrimonio Geológico y Paleontológico de la Nación.

El Grupo Museo Geológico e Investigaciones Asociadas de la Dirección Técnica de Geociencias Básicas viene implementando desde 2018 el sistema informático Colecciones Colombianas facilitado por el Programa de Fortalecimiento de Museos, del Ministerio de Cultura, con el objetivo de incorporar las mejores prácticas en la gestión y el cuidado de las colecciones del Museo.

Actualmente las colecciones del Museo están conformadas por las siguientes categorías:​