Алгоритмы коллективных операций стандарта MPI

В монографии изложены алгоритмы коллективных операций стандарта MPI (Message Passing Interface), эффективность которых в значительной степени влияет на производительность параллельных программ для высокопроизводительных вычислительных систем с распределенной памятью. Основная часть включает описание архитектурно-независимых алгоритмов на базе примитивов двусторонних текстурно-независимых обменов. Изложены способы реализации неблокирующих коллективных операций: построение расписаний и продвижения их выполнения. Отдельных раздел посвящен подходам к построению алгоритмов для систем с общей памятью. Описаны методы реализации коллективных операций для иерархических систем с многоуровневой организацией памяти и коммуникационных сетей. Для гибридных систем, которые нашли широкое применение для распределенного машинного обучения, приведены способы построения структурно-ориентированных алгоритмов коллективных обменов.