Суперкомпьютеры, иерархия памяти и потоковая модель вычислений

Современные суперкомпьютеры устроены иерархически, и глубина этой иерархии будет только расти. Структурная иерархия (ядро–чип–узел–шасси–стойка–система) создает заметные неоднородности в коммуникационной сети. Иерархия памяти тоже создает неоднородность доступа: больше объем — медленнее доступ. Поэтому среди факторов неэффективности на первый план выходят затраты на перемещения данных, и соответственно растет сложность построения хорошо оптимизированных по этому фактору программ. Возникающие трудности в значительной мере являются следствием традиционной парадигмы программирования, восходящей к фон Нейману. И хотя в защиту этой парадигмы имеются такие серьезные аргументы как сложившиеся навыки и накопленное программное обеспечение, все же полезно хотя бы в теории понимать альтернативы. Мы видим корень проблем фон-неймановского программирования в том, что в нем осуществляется парадигма сбора, и предлагаем перейти к использованию модели вычислений с управлением потоком данных, которой свойственна работа в парадигме раздачи, и в которой благодаря этой парадигме проблемы оптимизации перемещения данных решаются и проще, и эффективнее.