Институт был организован в 1958 году на базе Отдела геологии Коми филиала АН СССР, основанного в 1944 году по инициативе выдающегося исследователя геологии Европейского Севера, Героя Социалистического Труда, профессора А. А. Чернова в рамках созданной в 1939 году Сыктывкарской группы Северной базы Академии наук. Первым директором Института геологии был Ю. П. Ивенсен (1958–1961), в течение следующих 24 лет (1961–1985) институт работал под руководством М. В. Фишмана, с 1985 года институт возглавляет академик Н. П. Юшкин.

Институт проводит фундаментальные исследования по всем основным направлениям наук о Земле, занимается изучением геологии и полезных ископаемых северных районов европейской части России, координирует региональные исследования, проводимые производственными геологическими организациями и отдельными специалистами.