Внутренние связи в многопроцессорных системах

Межпроцессорные связи в вычислительных системах и сетях и их классификация

Структура связей в параллельных вычислительных системах

Если рассмотреть связи для обмена информацией между процессорами на уровне оборудования, обеспечивающие соединение каждого процессора с любым другим в вычислительных системы и сетях, то можно построить схему классификации и структурную схему межпроцессорных связей, изображенную на рис. 21. Схема имеет пять уровней, первый из которых является исходным, второй определяет стратегию организации обмена информацией, третий - метод управления соединением трактов обмена, четвертый -структуру путей передачи информации, а пятый уровень определяет соответствующие типы структур вычислительных систем и сетей.

Первый уровень - исходный, он включает внутренние связи для обмена информацией. Второй уровень включает прямые и косвенные (непрямые) тракты обмена. В первом случае осуществляется прямая передача информации, когда передатчик выбирает путь, а приемник распознает предназначающиеся для него сообщения. При этом в канале связи никакой логики не предусмотрено, за исключением, возможно, буферных устройств и устройств повторения сообщений. Во втором случае осуществляется непрямая передача информации, когда между передатчиком и приемником предусматривается логика выбора одного из нескольких альтернативных путей передачи на промежуточных пунктах, а также, в некоторых случаях, дополнительное преобразование информации.

Управление соединением трактов обмена может быть централизованным и децентрализованным (третий уровень). При прямой передаче альтернатив не существует и не требуется управления соединением трактов обмена. Непрямая передача при помощи централизованного управления характеризуется тем, что все сообщения передаются через что осуществляется выбор одного из нескольких пунктов пере­дачи информации.

Четвертый уровень соответствует двум структурам путей пе­редачи информации. Первая определяет индивидуальные (раз­дельные) тракты обмена, которые назначаются (выделяются) для источник, но может иметь много пунктов назначения. Непрямая передача при помощи общего пути и децентрализованного управления означает, что передача осуществляется по многим путям,, каждый из которых может быть одновременно (совместно) использован многими приемниками информации в режиме разделения времени для обмена данными.

Пятый уровень включает различные типы структур вычислительных систем и сетей (Шаг 1, 2,... 10).

Прямой передаче по раздельным путям соответствует кольцевая структура процессорных элементов без коммутаторов (№ IX каждый элемент которой имеет соседа-предшественника и соседа-преемника. Передача инициируется данным предшественником, после чего каждый последующий элемент проверяет адрес сообщения и, в случае необходимости, передает его по индивидуальному пути дальше своему преемнику. Передача прекращается в пункте назначения. Такая структура отличается логической простотой и обладает явно выраженной модульностью, но она не обладает высокой надежностью, а скорость передачи в ней ограничена из-за последовательного характера передачи информации по кольцу. В качестве примера можно указать кольцевую версию САМАС.

Другим типом структуры при прямой передаче по раздельным путям является структура с полным набором связей (№ 2.). В этом случав каждый источник имеет пути ко всем приемникам. Такая структура не отличается модульностью построения и характеризуется высокой стоимостью системы при большом числе элементов, но она обеспечивает высокую скорость обмена информацией при сравнительно простой логике организации этого обмена. Структуру с полным набором связей имеет вычислительная сеть MERIT, в которой соединены CDC 6500 и две машины IBM 360/67.

Прямой передаче с общим путем соответствует классическая многопроцессорная структура с общей основной памятью (№ 3). В таких системах все сообщения передаются через основную память. При этом обеспечивается очень высокая пропускная способность, поскольку обмен фактически представляет собой запись в оперативную память и чтение из нее. Если такая память используется также и для обработки данных, что является типичным случаем, то она оказывается нередко узким местом системы.

Другим типом структуры при прямой передаче с общим путем является структура с общей шиной (магистралью передачи), используется для связи со всеми системными элементами в режиме разделения ее времени (№ 4). Такие структуры часто применяются в авиационно-космических системах и системах военного) назначения, а также при построении автоматизированных систем в промышленности и научных лабораториях. Они отличаются простотой и явно выраженной модульностью, однако при их использовании требуется тщательное планирование занятия времени шины в целях повышения производительности всей системы. В качестве примера рассматриваемой структуры можно привести соответствующую конфигурацию САМАС.

Непрямой передаче по раздельным путям при централизованном управлении соответствует структура в виде звезды (№ 5). При передаче сообщения проходят через центральный коммутатор. Такая структура часто реализуется на основе матричного коммутатора, однако в некоторых случаях применяется также процессор как центральный элемент системы. Она отличается простотой логики работы, но не имеет высокой надежности.

В качестве примера можно указать вычислительную сеть ЮМ Network/440.

Другим типом структуры при непрямой передаче по раздельным путям при централизованном управлении является кольцевая структура процессорных элементов с центральным коммутатором (№ 6). Такая структура сочетает в себе особенности кольцевой структуры (№ 1) и структуры в виде звезды (Jfe 5). Пересылка сообщений осуществляется по кольцу через центральный коммутатор или же пересылка ведется по кольцу под управлением центрального коммутатора, который осуществляет адресацию пересылок. В качестве примера можно отметить экспериментальную систему обмена информацией SPIDER.

Непрямой передаче по общему пути при централизованном управлении соответствует структура с общей шиной и центральным коммутатором (№ 7). Такая структура в функциональном отношении эквивалентна структуре в виде звезды (№> 5). При этом главное отличие первой состоит в том, что процессоры связываются друг с другом не через индивидуальные тракты, соединяемые центральным коммутатором, а при помощи общей шины и организации доступа к ней.

При передаче информации процессорный элемент посылает сообщение через общую шину 'к центральному коммутатору, который переправляет его к процессорному элементу -приемнику данного сообщения. На время передачи сообщений между каким-либо процессорным элементом и центральным коммутатором шина занята этой передачей и другие процессорные элементы не имеют к ней доступа, т. е. заблокированы по входу и по выходу. Рассматриваемая структура сочетает в себе качества экономичности и логической простоты, но при ее применении приходится преодолевать некоторые трудности, связанные с невысокой степенью модульности и сравнительно невысокой надежностью.

Непрямой передаче по раздельным индивидуальным трактам при децентрализованном управлении соответствует регулярная структура (№ 8). Каждый процессорный элемент связан с ближайшим соседом слева, справа, сверху и снизу, причем регулярный характер связи сохраняется и для крайних процессорных элементов, которые соединяются с соответствующими им крайними процессорными элементами на противоположной стороне. Сообщения проходят через сеть от одного элемента к другому соседнему, причем каждый из процессорных элементов выбирает тракт для отсылки сообщения. Можно считать, что кольцевая структура без центрального коммутатора (№ 1) есть частный случай регулярной структуры, когда в последней каждый элемент имеет два связанных с ним соседних элемента и когда не принимается решений о выборе тракта для отсылки сообщения.

Модульность и высокие характеристики надежности определяются регулярным характером рассматриваемой структуры. Вместе с тем, такая структура требует сложной логики организации работы, выдвигает проблемы полной загрузки узлов сети и соединяющих их линий и другие. В настоящее время такие структуры представляют интерес, скорее, с точки зрения исследовании, однако перспективы их применения на практике представляются очень обнадеживающими.

Другим типом структуры при непрямой передаче по раздельным индивидуальным трактам и децентрализованном управлении является нерегулярная структура (№ 9). Она становится все более распространенной в таких системах, в которых процессоры и связи между ними имеют высокую стоимость. Здесь не требуется связь процессора с каждым соседним процессором, что усложняет логику переключений при передаче сообщений, но упрощает межпроцессорные связи. При использовании нерегулярной структуры достигается довольно высокая надежность системы и, одновременно, возможность ее наращивания новыми модулями.

Основное применение нерегулярная структура находит в вычислительных сетях с географически разнесенными узлами, пример - сеть АRРА.

Непрямой передаче по общему тракту при децентрализованном управлении соответствует структура с общей шиной и комбинированным подключением к ней коммутаторов и процессорных элементов (№ 10). Такая структура подобна нерегулярной структуре с точки зрения характеристик модульности и возможностей наращивания. Однако, она обладает более низкими характеристиками надежности и меньшими возможностями реконфигурации, поскольку процессорные элементы и коммутаторы используют единственный тракт передачи информации.

Структуры с общей шиной при комбинированном подключении к ней коммутаторов и процессорных элементов становятся все более распространенными, в особенности, в универсальных вычислительных системах на базе мини-ЭВМ В качестве примера системы с такой структурой можно отметить систему PLURIRUS, предназначенную для выполнения функций связи в узлах сети АRРА.

Направления дальнейшего развития и применений рассмотренных структур будут в значительной степени связаны с распределенными вычислительными системами и сетями.

Среди структур можно выделить по совокупности их основных характеристик четыре «доминирующие» структуры, а именно:

• кольцевую структуру (№ I),

• структуру с общей шиной (№ 4),

• структуру в виде звезды с коммутатором в центре и процессорными элементами в концах лучей (№ 5)

• нерегулярную структуру (№ 9).

Проведенный анализ показывает, что эта классификация или какая-либо подобная ей представляет собой полезный инструмент для выбора структуры системных связей и количественной оценки выбранной системы по нескольким основным показателям. Одно из достоинств классификации состоит в возможности систематического перебора и сравнения всех, вариантов. Рассмотренная классификация, как обычно, обладает определенной степенью условности. Некоторые существующие вычислительные системы и сети не могут быть однозначно отнесены к тому или иному виду структур и сочетают в себе признаки структур более чем одного типа.

Рассмотрим несколько более подробно структуру внутрисистемных связей в многопроцессорных системах, т. е. структуру связей в центральной части таких систем. Можно выделить три основных типа структур, а именно:

• структуры с перекрестными связями (рис. 22),

• с многошинными связями (рис.23)

• со связями через общую шину (рис.24).

На рисунках через МПм и ПрМ обозначены модули памяти и процессорные модули соответственно. Периферийные устройства могут подключаться к центральной части при помощи схем аналогичной структуры.

Схема перекрестных связей является универсальной. Такая схема реализуется при помощи матричного коммутатора, который может быть построен как централизованным (полностью отделен от функциональных модулей), так и распределенным между соответствующими функциональными модулями системы. Коммутация может осуществляться в каждой точке матричной схемы, обеспечивая физическое подсоединение любого модуля памяти к любому процессору. При этом необходимо управлять очередями запросов на обмен между процессорными модулями и модулями памяти и разрешать конфликты, которые могут возникнуть. Обычно конфликты разрешаются при помощи приоритетов, которые могут быть переменными. Имеется возможность организовать несколько одновременно действующих путей передачи информации в матрице.

Матричный коммутатор представляет собой довольно сложное и дорогое устройство и является узким местом системы в том смысле, что через него проходят все обмены информацией между процессорными модулями и модулями памяти, так что выход его из строя означает отказ системы в целом. Поэтому в тех случаях, когда требуется повышенная надежность, матричный коммутатор может быть продублирован. Наконец, если число процессорных модулей и модулей памяти соответствует числу выходов коммутатора (максимальная комплектация), то дальнейшее наращивание системы такими модулями практически невозможно без конструктивных изменений. При этом наращивание системы от минимальной до максимальной комплектации не вызывает трудностей в силу модульности построения системы в целом.

Перечисленные недостатки связаны с обеспечением универсальности и гибкости работы коммутатора. Эти последние характеристики матричного коммутатора в совокупности с регулярностью его структуры, простотой и однотипностью логики являются настолько важными, что определяют его применение во многих многопроцессорных системах.

При использовании многошинных связей каждый процессорный модуль имеет доступ к любому модулю памяти при помощи своих собственных шин (рис. 23). Поэтому каждый модуль памяти должен быть многовходовым, в отличие от одновходовых для матричного коммутатора. Кроме этого, модули памяти должны разрешать конфликты, возникающие при одновременном обращении к данному модулю со стороны нескольких процессорных модулей (или устройств ввода-вывода). Скорость обмена в схемах с многошинными связями ниже по сравнению с матричным коммутатором, поскольку в первом случае модули памяти многоходовые и сами разрешают конфликты обращений, а во втором случае модули памяти одновходовые и не выполняют функций разрешения конфликтов, которые возлагаются на матричный коммутатор. Последний устанавливает физическую связь между процессорным модулем и модулем памяти один раз на весь сеанс обмена между ними.

Схемы с многошинными связями имеют меньшую стоимость по сравнению со схемами матричного коммутатора, поскольку первые содержат меньше точек пересечений, в которых нужно разрешать конфликты. Размер максимальной конфигурации схем с многошинными связями ограничивается числом входов в модулях памяти. Такие схемы нашли широкое применение в различных многопроцессорных системах.

Схема связей через общую шину (рис. 24) является наиболее простой из числа трех рассматриваемых основных схем. Ее реализация обходится наиболее дешево, она характеризуется высокой степенью модульности и наиболее хорошими возможностями наращивания. Управление может осуществляться при помощи стандартных методов разделения времени. Скорость обмена в такой схеме, однако, является наиболее низкой в силу разделения времени для передачи сообщений через одну шину. Схемы связи через общую шину получили наибольшее распространение в специализированных вычислительных системах и системах со сравнительно небольшой производительностью.

В заключение отметим, что рассмотренные типы схем внутренних связей являются базовыми и что существуют их разнообразные варианты.