Мета-компьютинг. Программное обеспечение

Программное обеспечение

Внешний доступ и управление системой

Конструктивные решения МВС-1000

Процессорный узел смонтирован на типовой многослойной плате. В конструктивном модуле в виде стандартной стойки размером 0.6x0.8x2.2 м3 размещается до 64 узлов с системой электропитания и охлаждения. Вес стойки - 200 кг, электропотребление - 4 кВт. Система МВС-1000 с производительностью до 1 TFLOPS состоит из 8 стоек (512 узлов).

Для управления массивом процессоров и внешними устройствами, а также для доступа к системе извне используется так называемый хост-компьютер (управляющая машина). Обычно это рабочая станция AlphaStation с процессором Alpha и операционной системой Digital Unix (Tru64 Unix) или ПК на базе Intel с операционной системой Linux.

Пользователям предоставляются компиляторы языков Fortran 77 и C/C++. Коммуникационное ПО в МВС-1000 строится на основе специализированной транспортной службы Router+. На базе Router+ реализована адаптированная к МВС-1000 реализация интерфейса параллельного программирования MPI. Аналогично могут быть реализованы интерфейсы PVM, GNS, DVM, HPF и др. Пользователи могут также вызывать функции Router+ непосредственно в своих программах. В планах разработчиков также поддержка на вычислительных узлах стандартных протоколов TCP/IP.

Для задач визуализации разработана специализированная библиотека GraphLib.

В настоящее время производится разработка системы управления очередями и распределения нагрузки, а также адаптация системы профилирования и трассировки параллельных программ.

Реализован многопользовательский режим и удаленный доступ к системе через специальный промежуточный компьютер (gateway). Для пользователей обеспечивается Unix-совместимая среда компиляции и запуска программ.

(краткий обзор технологий организации распределенных вычислений в Интернет)

Что такое мета-компьютинг? Этот термин возник вместе с развитием высокоскоростной сетевой инфраструктуры в начале 90-х годов и относился к объединению нескольких разнородных вычислительных ресурсов в локальной сети организации для решения одной задачи. Основная цель построения мета-компьютера в то время заключалась в оптимальном распределении частей работы по вычислительным системам различной архитектуры и различной мощности. Например, предварительная обработка данных и генерация сеток для счета могли производится на пользовательской рабочей станции, основное моделирование на векторно-конвейерном суперкомпьютере, решение больших систем линейных уравнений - на массивно-паралллельной системе, а визуализация результатов - на специальной графической станции.

В дальнейшем, исследования в области технологий мета-компьютинга были развиты в сторону однородного доступа к вычислительным ресурсам большого числа (вплоть до нескольких тысяч) компьютеров в локальной или глобальной сети. Компонентами "мета-компьютера" могут быть как простейшие ПК, так и мощные массивно-параллельные системы. Что важно, мета-компьютер может не иметь постоянной конфигурации - отдельные компоненты могут включаться в его конфигурацию или отключаться от нее; при этом технологии мета-компьютинга обеспечивают непрерывное функционирование системы в целом. Современные исследовательские проекты в этой области направлены на обеспечение прозрачного доступа пользователей через Интернет к необходимым распределенным вычислительным ресурсам, а также прозрачного подключения простаивающих вычислительных систем к мета-компьютерам.

Очевидно, что наилучшим образом для решения на мета-компьютерах подходят задачи переборного и поискового типа, где вычислительные узлы практически не взамодействуют друг с другом и основную часть работы производят в автономном режиме. Основная схема работы в этом случае примерно такая: специальный агент, расположенный на вычислительном узле (компьютере пользователя), определяет факт простоя этого компьютера, соединяется с управляющим узлом мета-компьютера и получает от него очередную порцию работы (область в пространстве перебора). По окончании счета по данной порции вычислительный узел передает обратно отчет о фактически проделанном переборе или сигнал о достижении цели поиска.

Далее будут вкратце описаны и приведены ссылки на основные исследовательские проекты в области мета-компьютинга, разработанные программные технологии, конкретные примеры мета-компьютеров.

"Distributed.net"

https://www.distributed.net/.

Одно из самых больших объединений пользователей Интернет, предоставляющих свои компьютеры для решения крупных переборных задач. Основные проекты связаны с задачами взлома шифров (RSA Challenges). В частности, 19 января 1999 года была решена предложенная RSA Data Security задача расшифровки фразы, закодированной с помощью шифра DES-III. Достигнута скорость перебора, равная 75 млрд. ключей в секунду (всего требуется проверить 2⁶⁴ ключей). За решение этой задачи RSA предлагает приз в $10 тыс.

GIMPS - Great Internet Mersenne Prime Search

https://www.mersenne.org/

Поиск простых чисел Мерсенна (т.е. простых чисел вида 2^P-1). С начала проекта было найдено 4 таких простых числа. Организация Electronic Frontier Foundation предлагает приз в $100 тыс. за нахождение простого числа Мерсенна с числом цифр 10 млн.

SETI@home

https://setiathome.ssl.berkeley.edu

Проект SETI@home (Search for Extraterrestrial Intelligence) - поиск внеземных цивилизаций с помощью распределенной обработки данных, поступающих с радиотелескопа. Присоединится может любой желающий. Доступны клиентские программы для Windows, Mac, UNIX, OS/2. Для участия в проекте зарегистрировались около 920 тыс. человек.

TERRA ONE

Коммерческий проект TERRA ONE компании Cerentis ставит своей целью объединение множества персональных компьютеров, подключенных (или периодически подключаемых) к Интернет, для решения задач анализа информации, предоставляемой различными заказчиками. Клиентские компьютеры (TerraProcessor), подключенные к TERRA ONE, используются во время простаивания с помощью screen-saver'а. За обработку информации владельцы ПК получают возможность покупки в Интернет-магазинах - им начисляются "кредиты" (TerraPoints) за каждую единицу обработанной информации.