Огляд сервера високої щільності формату 2U: 4 ноди, 8 процесорів AMD, 512 Гб пам’яті в одному корпусі, Комп’ютери, огляди

Введення

Сьогодні основна тенденція в серверному обладнанні – підвищення обчислювальної щільності обладнання, і причини того вельми банальні – бажання замовника економити на обслуговуванні своєї інфраструктури. З одного боку, виробники процесорів, корпорації Intel і AMD вже давно переключилися з гонки гігагерц на гонку кількості ядер в одному фізичному корпусі процесора. З іншого боку, виробники серверного обладнання готові запропонувати замовникам надщільним рішення, використовуючи як уже обкатану технологію Blade-серверів, так і відносно нову – розміщення декількох серверних вузлів в одному корпусі.

Поки що для тих, кому не вистачає грошей на Blade-сервери або кому просто не потрібна потужність Blade-структури, промисловість пропонує установку двох фізичних серверів на 1U висоти корпусу. Відповідно, в 2U корпусі можна розмістити 4 фізичних сервера, причому досить потужних – двопроцесорних, з 16-ю слотами пам’яті, і навіть одним слотом розширення. Тобто, по суті, збільшуючи щільність в два (для 1U) або чотири (для 2U) рази, замовник майже нічого не втрачає.

Сьогодні ми розглянемо сервер, зібраний компанією Server Unit для математичних розрахунків і програм фізичного моделювання. Ця машина зібрана на процесорах AMD Opteron 6174, кожен з яких має 12 фізичних ядер, встановлених на 4-нодової платформу Supermicro 2022TG-HIBQR висотою 2U. Таким чином, обчислювальна щільність становить 48 ядер на 1U! Ця 56-кілограмова машинка вартістю в мільйон рублів відвідала наш тестовий стенд, і я вам скажу – тут є, чому дивуватися. Але перш, ніж ми продовжимо, дозвольте невелике технічне відступ.

Область застосування серверів високої щільності

У подібних серверах досягається можливість розміщення більшої кількості обчислювальних ядер і пам’яті на серверну стійку, а отже, і на серверну полку 1U. При цьому, можливості по зберіганню даних такі ж, або гірше, ніж у традиційних серверів. Адже якщо в 2U корпус можна встановити 12 жорстких дисків формату 3.5 дюйма, то в разі серверів високої щільності ці диски жорстко поділені між модулями. І якщо кожній фізичній вузлу доступні за 3 диска, то RAID 6 на них вже не збереш. Хоча, RAID 5 на вінчестерах великого обсягу цілком достатньо для операційної системи та зберігання якихось даних, навіть невеликих БД. Частково проблема вирішується використанням SFF вінчестерів і зовнішніх СГД.

До речі, підключення жорстких дисків, швидше за все, можливе лише до материнської плати модуля, а використання RAID контролерів для внутрішніх дисків неможливо. У деяких моделях може існувати можливість використання Zero Channel контролерів.

Ще одна проблема серверів високої щільності – це плати розширення. У кращому випадку, вам буде доступний один слот половинній довжини і повної або половинної висоти. Тому виробник намагається інтегрувати на плату те, що потрібно користувачеві. Наприклад, контролери інтерфейсу InfiniBand, що використовуються для MPI в обчислювальних кластерах і суперкомп’ютерах.

У порівнянні з традиційною конструкцією, сервер високої щільності заздалегідь програє в продуктивності дискової підсистеми, а так само в можливостях з розширення. Останнє може стати серйозною проблемою на шляху інтеграції в HPC, де все частіше використовуються GPU плати типу nVidia Tesla. А при використанні таких плат, модульні сервери вже втрачають свої переваги.

Якщо порівнювати з Blade-серверами, то сервер з декількома вузлами недалеко пішов від свого традиційного аналога. Він не має вбудованих комутаторів і KVM консолей, навряд чи буде мати розширене управління модулями, тому що в ньому відсутнє саме поняття «розумної полки», як в Blade серверах. Та й з обчислювальної щільності Blade-сервери не мають альтернатив.

Сервери підвищеної щільності дозволяють покупцеві непогано заощадити на купівлі обладнання (4-модульний сервер буде коштувати дешевше 4-х традиційних серверів з тією ж конфігурацією і від того ж виробника) і на експлуатації. Навіть вартість споживаної енергії буде нижчою, адже як і у випадку з Blade-серверами, тут використовуються загальні блоки живлення й вентилятори охолодження. Зіставте витрати – 4 традиційних сервера будуть мати від 4-х до 8-ми блоків живлення і від 16 системних вентиляторів. А в одному 2U сервері високої щільності, що складається з 4-х модулів, буде всього 2 блоки живлення і 4 системних вентилятора.

Природно, якщо ви орендуєте місця під сервер в дата-центрі або просто обмежені у використовуваному просторі, то ваша економія – на обличчя.

Сервера високої щільності не годяться для використання в якості систем зберігання даних, а для баз даних або сервера баз даних буде потрібно зовнішня СГД. Зараз є моделі з підтримкою GPU плат типу Tesla, але це скоріше данина моді, тому що в 2U корпус поміщається лише два модулі з GPU платами, при тому, що вже сьогодні існують корпусу формату 1U, підтримують установку двох плат типу Tesla. Однак, для задач віртуалізації, для веб-хостингу або для математичних розрахунків на рівні CPU це – ідеальний варіант. Вони дають серйозну економію як на етапі покупки, так і на етапі володіння обладнанням, при цьому, не поступаються в продуктивності традиційним серверам.

4-модульна серверна платформа

Розглянута нами модель сервера зібрана на платформі SuperMicro 2022TG-HIBQR, яка створювалася для нового покоління процесорів AMD Opteron 6-ї серії. На сьогоднішній день це єдині x86 процесори, мають 12 фізичних ядер. Відповідно, це краще рішення для задач по паралельних розрахунками, адже ви можете досягти щільності в 48 ядер на 1 полку 1U при використанні щодо недорогих 2-процесорних конфігурацій. Платформа SuperMicro 2022TG-HIBQR має чотири двопроцесорних модуля, 12 відсіків для SATA дисків формату 3.5 дюйма, відмовостійкий блок живлення потужністю 1400 Вт Кожен модуль має інтегрований контролер QDR InfiniBand з пропускною здатністю 40 Гбіт / с, що дуже стане в нагоді для з’єднання вузлів кластера майбутнього HPC. До того ж, кожен вузол має слот розширення PCI Express 16x для плат довжиною до 15 сантиметрів. Кожен вузол може містити до 256 Гб оперативної пам’яті. Тобто, практично цей сервер ніщо не може зупинити 🙂

 

Щоб зрозуміти, які завдання довелося вирішувати виробникові, досить уважно подивитися на сервер. Перш за все, перед нами рідкісний тип корпусу формату 2U, в якому знайшлося місце для 12 дисків – по одному стовпчику з трьох дисків на кожен вузол.

В результаті на корпусі не залишилося місця не те, щоб для USB портів, а навіть для кнопок – вимикачі та кнопки включення ідентифікації винесені на «вушка» кріплення в стійку. Правда, написи на кнопках і індикація без мікроскопа не видно.

Якщо вся лицьова панель зайнята лотками для HDD, то ми просто зобов’язані подивитися на них уважніше.

Конструкція лотків нагадує аналогічну у серверів Hewlett Packard, з тією різницею, що тут лоток не має решітки для захисту електроніки диска, а фронтальна частина являє собою грати з низьким опором повітряному потоку. І хоча клямка пластик, вона дуже зручна і створює враження надійності.

Подивимося на сервер ззаду – саме звідси виймаються вузли та модулі блоку живлення. Для витягання кожного вузла, його попередньо треба відключити, але на роботу інших вузлів це не впливає.

Кожен з вузлів щедро наділений засобами для спілкування зі світом: два USB 2.0 порти, VGA порт, що виглядає смішно RS232 порт, три RJ45 і один порт InfiniBand. З трьох мережевих портів два надаються собою Gigabit Ethernet, а третій, який розташований над USB портами служить для віддаленого моніторингу. Якщо вам цього мало, ви можете встановити плату розширення з відсутніми інтерфейсами. Хоча, що сюди можна встановити – Важко уявити.

Машина харчується від блоку живлення потужністю 1400 Вт, що має сертифікат 80Plus Gold. Зазвичай, серверні блоки живлення тепер мають приголомшливу ефективність і не потребують сертифікатах. За результатами вимірювань виробника, ККД блока живлення коливається від 84.4% до 92.31% – відмінні показники.

Охолоджуючий повітря надходить в сервер не тільки через фронтальну частину з дисками, але так само через бічні стінки і верхню кришку. На охолодження кожної пари модулів працюють по два 80-мм вентилятора потужністю по 17 Вт кожна. Причому, якщо включені праві два модулі, то пара вентиляторів зліва не працюють заради економії електроенергії.

Змінюються вентилятори парою, і робити це дуже незручно.

Давайте подивимося, як виглядає окремий вузол кластера. Він має дивну форму, з довгим «хвостом», яким є плата для з’єднання з backplane. Цікаво виглядає контактна група на цьому «хвості»: зверху – інтерфейсні контакти, знизу – великі силові. Судячи з маркування, це плата для підключення до SATA бекплейну, а значить є варіант і з інтерфейсом SAS. Але дивно інше, що харчування на всю електроніку модуля подається лише по двох силовим контактам.

Гнізда процесорів і модулі пам’яті встановлені в шаховому порядку, по 8 слотів DIMM на кожне CPU гніздо. З тильного боку корпусу модуля розміщуються чіпсет материнської плати, контролер InfiniBand, а так же єдиний слот розширення. Як ви можете бачити, місця для установки плати розширення тут не багато – для плати половинної висоти та довжиною до 15 см. Для додаткової мережевої карти може вистачити. Місця для SD карт тут не залишилося, але є USB порт, в який можна встановити флешку з операційною системою або ключами доступу. Так само на материнській платі є роз’єми для підключення планки з портами USB 2.0 і RS232.

Загалом-то, не дивлячись на компактність материнської плати, на ній збережена типова серверна компоновка, вам доступні навіть додаткові інтерфейсні порти і один слот розширення. Тепер залишилося подивитися, як цей вузол працює.

Віддалений моніторинг

Будь-який сучасний сервер такого класу зобов’язаний мати функціональну систему моніторингу, і платформи SuperMicro – не виняток. Користувачеві доступно кілька варіантів апаратного моніторингу, в тому числі SNMP, але більш цікавий моніторинг через інтернет.

Для цього треба встановити утиліту SuperODoctor під Windows, після чого ви отримаєте доступ через Web-інтерфейс до сервера. Вам буде доступна KVM консоль, віртуальний диск, а так само дані апаратного моніторингу в реальному часі.

Однак, відеолога процесу запуску, як у серверів Dell або HP, немає. Та й програмне забезпечення доступно тільки під Windows, а під Linux існує лише сильно урізана його частину. Однак, якщо ви не хочете залежати від операційної системи, то можете підключитися безпосередньо до спеціального порту мережі вузла і працювати вже через HTTP протокол, без додаткових програм. Правда, централізоване управління вузлами недоступно: хочете керувати всіма чотирма вузлами – підключайтеся чотирма кабелями і відкриваються чотири браузера. А якщо таких вузлів 256? У будь-якому випадку, таке рішення краще, ніж нічого.

Тестування

Протестуємо продуктивність одного вузла сервера високої щільності, щоб з’ясувати продуктивність, яку він може дати при роботі з обчисленнями. Почнемо з десктопного тесту SiSoft Sandra. Ми ще не тестували сервери на процесорах AMD, тому порівняємо результати з даними серверів Dell на процесорах Xeon серії Nehalem і HarperTown. Ці сервери тестувалися з 12 Гб пам’яті, так що на 100% наш тест не буде точним, адже в одному вузлі нашого випробуваного – 128 Гб пам’яті. Але тим не менш, результати будуть цікаві.

Модель

Supermicro Node

PowerEdge 2950 III

PowerEdge R710

Процесор

2x Opteron 6174, 12 core, 2.2 GHz, 6Mb L2

2x Xeon X5450 QC, 3.0 GHz, 1333 MHz FSB, 12 Mb L2

2 x Xeon X5550 QC, HT, 2.6 GHz, 8 Mb L3

Пам’ять

128 Gb PC3-10600

12 Gb PC2-5300 Fully Buffered DIMM

12 Gb PC3-10600 ECC Unbuffered

Дискова підсистема

1xSeagate Barracuda 7200.10, 500Gb

4x Seagate Barracuda ES2 7200 rpm SAS 250Gb RAID 10, DELL PERC 6/i

4x DELL 146Gb SAS 15000 rpm RAID10, DELL PERC 6/i

Операційна система

MS Windows Server 2008

MS Windows Server 2008

MS Windows Server 2008

Через відмінності дискових систем, тести файлової швидкості проводити не будемо.

В принципі, є про що подумати – більша кількість ядер дає величезну перевагу в тестах процесорної продуктивності. Аріхітектура AMD дає прорив і в пропускної здатності пам’яті, хоча і поступається в латентності. Враховуючи дані цієї синтетики, можна припускати величезну перевагу AMD-ної платформи в наступних тестах.

MCS Benchmark

Цей синтетичний тест показує в тому числі і многоядерную продуктивність.

І перший же тест для нас приносить розчарування – занадто маленька продуктивність, порівнянна з процесорами Intel попереднього покоління. Але може бути, справа в самому коді тесту … Перейдемо до тестів групи SPEC.

SPEC ViewPerf x64

Дивно припускати, що на подібних системах хтось буде використовувати однопоточні програми для рендеринга. Однак, чим адмін не жартує – наш традиційний тест SPEC ViewPerf ми проводимо як в багатопотоковому, так і в однопоточному режимах.

У цьому тесті платформа AMD просто не має шансів перед навіть досить старим поколінням процесорів Intel. Звичайно, частота та архітектура конвеєрів Xeon дає їм переваги. Включаємо багатозадачність …

 

Розумійте як хочете, але більша кількість фізичних ядер на вузол тут грає на користь архітектури AMD. Не думаю, що має значення обсяг пам’яті, так як навіть 12 Гб вистачало для тіста з надлишком. Зверніть увага – цей тест використовує всього 4 потоки. У наступному тесті від SPEC ми перевіримо роботу JAVA.

SpecJVM2008

Цей тест може паралелі на кількість гілок, рівних кількості ядер в системі.

Звичайно, платформа AMD виграє в більшості тестів, але перевага якесь непевне. Наприклад, в складних тестах Derby і Crypto абсолютно різна ситуація. Мабуть, дивлячись на Scimark.small і Scimark.large, стає зрозуміло, що швидкість визначається в більшій частині не кількістю ядер і об’ємом кеша, а оптимізацією програми, але в цілому потенціал у процесорів Magny-Cours величезний.

Ціна питання

Давайте порівняємо економічну вигоду від використання сервера на кілька вузлів у порівнянні з покупкою декількох серверів тієї ж конфігурації. Ми приберемо з порівняння жорсткі диски, щоб легше було оцінити конфігурацію і не прив’язуватися до системи зберігання даних.

Сервер

Ціна, руб

Підсумкова ціна

SuperMicro 2022TG- HIBQR

4 node: 4x(2x AMD Opteron 6174 + 128 Gb DDR3, Infiniband), 1400Wt Redundant PSU

Barebone: 166756

CPU: 8×45479

RAM: 64×6883

971 100

SuperMicro 1022G-URF, 2xAMD Opteron 6174 + 128 Gb DDR3 + AOC-UIBQ-M1 Infiniband card, 700 Wt redundand psu

Barebone: 43543

CPU: 2×45479

RAM: 16×6883

Infiniband: 15702

1 Server: 260331

1 041 324

Як бачите, вартість покупки нижче при виборі сервера на 4 вузли, адже в цьому випадку ви економите ще і на infiniband контролерах, але якщо вони не потрібні, то вартість приблизно порівнянна. Найголовніше, що такі сервери високої щільності не стоять відчутно дорожче звичайних, але в два рази економлять місце в стійці.

Висновки

Наша стаття в чому пояснює, чому сервер високої щільності вигідніше, ніж звичайний 1-юнітовий сервер, особливо, коли ви будуєте кластер для математичних розрахунків. Більш того, для цієї мети краще використовувати процесори з максимальною кількістю фізичних ядер, що наочно демонструє архітектура AMD Magny-Cours.

До недоліків платформи можна віднести те, що до кожного вузла жорстко прив’язані по 3 жорстких диска з інтерфейсом SATA, і у користувача немає можливості ніяк змінювати конфігурацію власної системи зберігання сервера. Але для випадків, коли необхідно для зберігання даних використовувати власні ресурси серверів, можна придивитися до варіантів з 2.5-дюймовими жорсткими дисками. Та й поки що варіантів для апгрейду обчислювальних вузлів не передбачено.

Серверна платформа Supermicro 2022TG-HIBQR виявляється вигідніше, ніж чотири аналогічних платформи формату 1U при використанні інтерфейсу InfiniBand, як при купівлі, так і при експлуатації. Висока ефективність енергоспоживання і щільність обчислення – 48 ядер на 1U роблять її ідеальним рішенням для побудови HPC (High Performance Computer) або кластера для розрахунків. І в порівнянні з blade-серверами, тут ви не прив’язані до виробника устаткування, і можете з часом замінити один сервер на інший, що так само підвищує гнучкість вашої інфраструктури.

Ми дякуємо компанії Server Unit за наданий сервер.

LIKE OFF

21/03.2011

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*