Институт прикладной математики был образован в 1953 году для решения сложных математических проблем, связанных с государственными программами исследования космического пространства, развития атомной и термоядерной энергетики, на основе создания и широкого использования вычислительной техники и программного обеспечения. Его организатором и директором (1953–1978 гг.) был президент Академии наук СССР Мстислав Всеволодович Келдыш.
Институт прикладной математики им. М. В. Келдыша определен головной организацией по ряду ведущих направлений прикладной математики. Работы Института получили широкое признание в нашей стране и за рубежом. От него в разное время отпочковались и стали ведущими по своим направлениям такие организации Российской академии наук, как Вычислительный центр, Институт космических исследований, Институт математического моделирования.