"Крылатый" кластер

Boris Paleev написал(а) к All в Sep 05 19:41:48 по местному времени:

Нello All!


"Computer-World Россия" от 06.09.2005

"Крылатый" кластер

Вадим Вирин
06.09.2005
Computerworld, #32/2005



В НПО "Сатурн" установлен суперкомпьютер IBM


Установленный в "Сатурне" суперкомпьютер IBM eServer Cluster 1350 под управлением ОС Linux на процессорах Xeon и Itanium 2 с межузловым соединением Infiniband на сегодняшний день является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и СНГ
Врамках авиасалона в Жуковском один из крупнейших его участников - научно-производственное объединение "Сатурн" не только продемонстрировало свои последние разработки в области авиационных двигателей, но и объявило о внедрении вычислительного комплекса для параллельных вычислений на базе высокопроизводительного и масштабируемого кластера. По словам руководителей компании, установленный в "Сатурне" суперкомпьютер IBM eServer Cluster 1350 под управлением ОС Linux на процессорах Xeon и Itanium 2 с межузловым соединением Infiniband на сегодняшний день является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и СНГ.

Главной целью проекта в "Сатурне" называют необходимость увеличения скорости расчетов при проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации. "В прошлом году в рамках реализации стратегии развития информационных технологий нами была поставлена цель увеличить пропускную способность имеющихся вычислительных систем в 50 раз", - сообщил ИТ-директор "Сатурна" Александр Пионтковский. В процессе проектирования инженерами предприятия широко используются пакеты собственной разработки и коммерческие программные системы для аэродинамических, тепловых, акустических и прочностных расчетов (Ansys, CFX, CFX TASCflow, LS-Dyna), которые могут работать в вычислительных средах с высоким параллелизмом, поэтому в качестве архитектуры новой системы был выбран многоузловой кластер.

Что французу хорошо, то русскому... тоже
Работы по созданию кластера были начаты в июне компанией "Крок", которая в конце прошлого года выиграла соответствующий тендер. Естественно, реализация проекта такого масштаба началась с проведения предварительного исследования вариантов внедрения системы с целью выбора наилучшей архитектуры. На первом этапе группа специалистов "Сатурна" и "Крока", а также российские и зарубежные специалисты IBM при участии Intel организовали предпроектное тестирование вычислительного комплекса. В частности, был проведен тестовый запуск используемых программных пакетов на вычислительных системах различной архитектуры в центре компетенции IBM во Франции. В процессе исследования рассматривались кластеры для параллельных вычислений на базе серверов IBM eServer xSeries и вычислительные SMP-системы архитектуры IBM eServer p5.

Затем последовала основная часть проекта, в рамках которой специалисты "Крока" и IBM осуществили поставку всех компонентов кластера, провели работы по монтажу системы, инсталляции операционной системы Linux, настройке вычислительных узлов и программного обеспечения IBM CSM и GPFS. Кроме того, интегратор выполнил работы по развертыванию иерархической системы хранения данных и системы резервного копирования. В рамках подготовки к запуску кластера в опытную эксплуатацию сотрудники НПО "Сатурн" прошли обучение по системе управления данными в учебном центре IBM.

По словам заместителя директора департамента вычислительных систем "Крока" Руслана Заединова, главная сложность проекта заключалась в совместимости выбранной версии Linux с различными компонентами решения: драйверами аппаратных средств и особенностями тех или иных программных продуктов. Также много времени и сил потребовала организация системы отвода тепла от кластера.

Инструмент для снижения издержек
В июле все основные этапы проекта были завершены, а в августе окончена тонкая настройка кластера и начата опытная эксплуатация системы. По словам представителей "Сатурна", созданное решение позволяет в десятки раз сократить время научных и технических расчетов при проектировании авиационных двигателей, а также является масштабируемым и тиражируемым, что позволит в случае необходимости легко нарастить производительность уже существующей системы или установить новые вычислительные комплексы.

"Достигнутая производительность вычислительного кластера на тесте Linpack составляет 768 GFLOPS, пиковая - 922 GFLOPS, что ставит нашу систему на первое место среди установленных на российских промышленных предприятиях и на третье место в апрельской редакции рейтинга суперкомпьютеров Top 50 по СНГ", - заявил Пионтковский. Разумеется, заплатить за все это пришлось немало - общая стоимость проекта (включая инфраструктуру и инженерные системы) составила порядка 1 млн. долл.

Однако, по мнению ИТ-директора "Сатурна", эта сумма полностью оправдана стоимостью производимой на предприятии продукции - по словам Пионтковского, один килограмм авиационного двигателя стоит примерно 3 тыс. долл., что втрое дороже "удельной стоимости" всего самолета и более чем в 100 раз выше цены килограмма современного автомобиля. Поэтому, по мнению руководства "Сатурна", купленный кластер не только окупит себя, но, возможно, уже в ближайшее время даже его мощности окажется недостаточно. "Проект внедрения кластерной системы для проведения инженерных расчетов является очередным, но не окончательным этапом в программе снижения издержек при создании новой продукции", - подчеркнул Пионтковский.

Решение от Голубого Гиганта
Основой созданного в "Сатурне" решения является вычислительный кластер IBM eServer Cluster 1350, который включает в себя 64 узла IBM eServer xSeries 336 с двумя процессорами Xeon/3,6 ГГц с технологией Intel EM64T и два мастер-узла IBM eServer xSeries 455 на базе четырех процессоров Itanium 2 с тактовой частотой 1,56 ГГц. Объем памяти вычислительных узлов составляет 256 Гбайт, а мастер-узлов - по 64 Гбайт.

В качестве межузлового соединения используется оборудование стандарта Infiniband, которое обеспечивает минимальную задержку при передаче сообщений между узлами и скорость передачи данных до 10 Гбит/с. Для доступа к данным применяется параллельная файловая система General Parallel File System, созданная IBM специально для вычислительных кластеров. Централизованное управление кластером осуществляется с помощью ПО IBM Cluster Systems Management xSeries под управлением Linux, что упрощает управление и облегчает вертикальное масштабирование.

Кроме вычислительного кластера, в состав комплекса входит управляющий сервер и система хранения данных. Последняя построена по иерархическому принципу, что позволяет оптимизировать расходы на хранение данных и состоит из трех уровней разной производительности и емкости. В качестве уровня наибольшей производительности используется дисковый массив на SCSI-дисках IBM TotalStorage DS400 емкостью 2 Тбайт, второй уровень промежуточной производительности реализован на массиве SATA-дисков IBM TotalStorage DS4100 емкостью 4 Тбайт. Для хранения редко используемых файлов применяется третий уровень - на базе ленточной библиотеки IBM 3583 с четырьмя приводами LTO2.

Все использованные устройства имеют интерфейс Fibre Channel и объединены в резервированную сеть хранения. В качестве программного инструментария для организации иерархического хранилища используется IBM Tivoli Storage Manager for Space Management, с помощью которого обеспечено резервное копирование данных на ленточную библиотеку IBM 3583.




Best regards, Boris

--- Ручка шариковая, цена 1.1.5-021027