Збірка кластерної комп’ютерної системи на базі стандартних комплектуючих, Локальні мережі, статті

&copyкомп’ютерна газета

Кластер являє собою тип паралельної або розподіленої комп’ютерної системи, яка складається з пов’язаних між собою повнофункціональних комп’ютерів, доступних для користувача як один обчислювальний ресурс.

Поняття “повнофункціональний комп’ютер” означає комп’ютерну систему, яка може використовувати свої власні: процесор (и), пам’ять, пристрої введення / виводу, операційну систему, програмне оточення і додатки.

Переваги пропонованого підходу

Технологічний прогрес в області високошвидкісних комп’ютерних мереж і збільшення продуктивності мікропроцесорів зробили кластери або мережі робочих станцій привабливим рішенням для виконання дешевих і ефективних паралельних розрахунків. Кластери, що використовують широкодоступні апаратні і програмні компоненти, відіграють основну роль у сьогоднішньому переосмисленні концепції суперкомп’ютерних обчислень.
Сучасні акценти паралельних обчислень зміщуються зі спеціалізованих платформ, подібних SGI / Cray T3E, на більш дешеві системи загального призначення, що складаються з компонентів, які широко використовуються в однопроцесорних або багатопроцесорних робочих станціях і персональних комп’ютерах.
Пропоновані вітчизняними користувачам багатопроцесорні обчислювальні системи середнього класу характеризує вкрай невигідне співвідношення ціна-продуктивність. Основними причинами такої ситуації є дорожнеча технічних рішень, використовуваних для розробок багатопроцесорної техніки, а також висока вартість кваліфікованої робочої сили в західних країнах. Вибір в якості базової платформи відносно дешевих доступних комплектуючих для персональних комп’ютерів і складання паралельних комп’ютерних систем у нас дозволяє обійти головні джерела збільшення собівартості і, відповідно, кінцевої вартості такої техніки. Слід зазначити, що вибір комплектуючих для персональних комп’ютерів і серверів в якості основи багатопроцесорної комп’ютерної системи не означає неможливості досягнення високих швидкостей обробки даних. Так, суперкомп’ютерних система “ASCI Red”, встановлена ​​в комп’ютерному центрі Національної лабораторії Сандія в США і показує найвищі результати по продуктивності, містить 9152 таких всім добре відомих процесора, як Intel Pentium Pro з тактовою частотою 200 Мгц. У комп’ютерних системах компанії Parsytec Gmbh давно використовуються стандартні материнські плати і процесори Intel і Motorola.

Реалізації

Ідея створення системи, здатної замінити дорогі суперкомп’ютери і має досить високу продуктивність для виконання наукових розрахунків, отримала безліч втілень. Один з найбільших проектів в цій області – проект Beowulf. Влітку 1994 року Томас Стерлінг і Дон Беккер, які працювали в CESDIS (Center of Excellence in Space Data and Information Sciences), побудували кластерну систему, що складається з шістнадцяти процесорів класу DX4, з’єднаних за допомогою мережі Ethernet. Машина, що одержала назву Beowulf, виявилася надзвичайно вдалою і набула великої популярності, а ідея використовувати стандартні компоненти для створення продуктивних систем, які відповідають особливим вимогам за обсягом обчислень, швидко поширилася по NASA (в той час NASA брала участь у багатьох розробках CESDIS), академічним і дослідницьким спільнотам. Розвиток ідей, покладених в основу цієї машини, швидко виросло в те, що зараз називають проектом Beowulf. Мірою успіху даного проекту може бути те, що вчені, які займаються високопродуктивними обчисленнями, тепер посилаються на машини такого типу саме як на кластерні системи класу Beowulf.
Avalon
Однією з найбільш відомих і найбільш потужних представниць Beowulf-кластерів в даний час є кластерна система Avalon, створена в Лабораторному центрі вивчення нелінійних ефектів в Лос-Аламосі. Ось лише деякі з технічних особливостей цього кластера:
Кожен вузол кластера представляє із себе окрему робочу станцію DEC Alpha з корпусом ATX. Станції оснащені процесорами – Alpha 21164A, що працюють на частоті 533 МГц. (Tm) Використовувані материнські плати – DEC AlphaPC 164LX підтримують по 256 Мбайт пам’яті (ECC SDRAM DIMM) на вузлах. В системі використовуються жорсткі диски – Quantum Fireball ST3.2A (EIDE U-ATA), розміром 3079 Mбайт. Мережеві адаптери виробництва компанії Kingston використовують мікросхему DEC Tulip. Комунікації всередині системи здійснюються за допомогою Fast Ethernet комутатора виробництва компанії 3Com. Крім цього, всі вузли комп’ютерного кластера підключені до послідовної мережі, утвореної з використанням многопортовие мережевих адаптерів Cyclades Cyclom 32-YeP. На вузлах обчислювального кластера встановлена ​​операційна система Linux. Виконаний для кластера паралельний тест Linpack показав продуктивність 19,7 Гфлоп / сек, результати програми розрахунку молекулярної динаміки (SPaSM) – 12,8 Гфлоп / сек, результати програми вирішення гравітаційних задач (gravitational treecode) – 10,0 Гфлоп / сек. Тести NAS Class B версії 2.3 показали наступні результати: BT – 2,2 Гфлоп / сек, SP – 1,0 Гфлоп / сек, LU – 3,5 Гфлоп / сек, MG – 2,1 Гфлоп / сек). Для порівняння цих результатів з продуктивністю “справжніх” паралельних машин можна сказати, що SPaSM, treecode і Linpack виконувалися приблизно з тією ж швидкістю, що і на 64-процесорному SGI Origin 2000 (частота процесорів – 195 МГц). Якщо врахувати, що в травні 1998 ціна на 64-процесорний Origin 2000 з 250 Мгц процесорами і 8 Гбайт оперативної пам’яті становила близько 1,8 мільйона доларів, а вартість проекту Avalon – Тільки 313 000 доларів, то представлені результати вельми вражають.
Loki
Кластер Loki можна назвати “молодшим братом” системи Avalon. Також як і Avalon, він був зібраний в Лос-Аламоської національної лабораторії, проте на відміну від Авалона цей кластер складається з вузлів на базі процесорів Intel Pentium Pro 200 МГц з інтегрованим L2 кешем на 256 Кбайт, материнських плат Intel VS440FX (Venus) з чіпсетом 82440FX (Natoma) і 128 Мбайт оперативної пам’яті (чотири 60 нс модуля SIMM). Вузли Loki оснащені жорсткими дисками Quantum Fireball розміром 3240 Мбайт, мережевими адаптерами Fast Ethernet Cogent EM400 TX PCI Quartet і SMC EtherPower 10/100 Fast Ethernet PCI, відеокартою S3 Trio-64 1 Мбайт PCI. Кожен вузол пов’язаний з чотирма сусідніми допомогою мережевого кабелю категорії 5. Мережева структура системи має вигляд гіперкуба. До гіперкуба підключені два комутатори 3Com SuperStack II, які забезпечують зв’язок системи з фронтальним машиною. Безперебійне живлення кластера забезпечується пристроєм APC Smart-UPS 2200. Всього в системі було використано: 16 процесорів Pentium Pro, 5 адаптерів Fast Ethernet, 2 Гбайт оперативної і 50 Гбайт дискової пам’яті, 2 комутатора Fast Ethernet. Кластер працює під управлінням операційної системи Linux. Таким чином, продуктивність Loki в 1,2 Гфлоп / сек була отримана лише за $ 63,000.
TopCat
Система TopCat являє собою Beowulf-подібний кластер, створений в Університеті Південного Квінсленда. Романтичні творці кластера розділили свій проект на чотири послідовні стадії:
Стадія I – Перші спроби.
Початок – травень 1997. Загальна вартість першої системи – AU $ 8500. Кластер складався з 8 вузлів, один з яких був ведучим, а 7 інших – відомими. Кожен вузол системи мав процесор Intel Pentium 120, оперативну пам’ять: 64 Мбайт на провідному вузлі і по 32 Мбайт на кожному підпорядкованому. Дискова пам’ять складалася з 4 Гбайт жорстких дисків на провідному і одному з відомих вузлів і жорстких дисків розміром 2,5 Гбайт на інших вузлах. Використовувалися мережеві адаптери 3COM 3C900-COMBO PCI 10 MB Ethernet. Вузли працювали під управлінням операційної системи Red Hat Linux. В якості додаткового паралельного програмного забезпечення використовувалися відомі пакети PVM, MPI, NAG і Fortran 90.
Стадія II – Від купи персональних комп’ютерів до Beowulf.
Початок – грудень 1997. Вартість усіх робіт – AU $ 15 000. Метою другої стадії було забезпечення більшої продуктивності і мінімізація часу, що витрачається на побудову Beowulf-кластери. Повний час створення кластера – близько 4:00, була поставлена ​​задача знизити цей час до однієї години. На другій стадії система містила 12 вузлів і 16 процесорів. Ведучий вузол був оснащений двома процесорами Intel Pentium II з тактовою частотою 233 Мгц. На 8 клієнтських вузлах працювало по одному процесору Intel Pentium 120, а три залишилися клієнтських вузла мали по два процесори Intel Pentium 160. Клієнтські вузли системи не мали окремих жорстких дисків. Операційна система завантажувалася з дискет, і через NFS підключався кореневої каталог. Це привело до можливості витрачати на підключення нового вузла до кластера не більше 3 хвилин.
Стадія III – За межами кластеру.
Початок – 8 квітня 1998. Мета цієї стадії – дозволити зовнішнім комп’ютерів, тобто машинам, що не входять в кластер, підключитися до кластеру TopCat. Такі машини (як правило, це вільні робочі станції) повинні бути завантажені із спеціальною дискети, після чого сервер (ведучий вузол) доконфігурірует їх автоматично.
Стадія IV – Крізь тунель.
Мета останньої стадії – об’єднати кілька Beowulf-кластерів в один великий віртуальний кластер. Ідея полягає в тому, щоб об’єднувати кластери з мінімальними змінами в їх конфігурації. Приватні мережі організацій, в яких встановлені такі кластери, повинні бути з’єднані за допомогою IP-тунелювання.

Підготовлено в Центрі суперкомп’ютерних додатків Інституту високопродуктивних обчислень і Баз Даних, Росія

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*