Конфігуруємо дискові системи HP StorageWorks MSA 2000sa, Комп’ютери, огляди

Введення

Від того, як сконфігуровані системи зберігання даних, в ряді випадків залежать їх відмовостійкість і продуктивність. Адміністраторам популярних систем зберігання даних HP StorageWorks MSA2000sa важливо знати ряд тонкощів створення консолідованої середовища зберігання на базі цих дискових масивів.

Дискові масиви MSA2000sa в корпусі 2U призначені для формування консолідованої середовища зберігання даних малих та середніх підприємств, а також для організації дискових сховищ другого або третього рівня у віддалених офісах та філіях великих компаній. Для систем початкового і середнього рівня можна придбати систему в базовій (мінімальної) конфігурації з одним контролером, а потім модернізувати її, дооснастити другого контролера, або відразу купити рішення з двома контролерами. Максимальна місткість системи складає 5,4 Тбайт при використанні дисків SAS або 12 Тбайт при оснащенні дисками SATA в основному корпусі з 12 відсіками. Якщо ж підключити три додаткові дискові полки по 12 відсіків у кожній, то ємність системи можна збільшити до 21,6 Тбайт у разі застосування дисків SAS і до 48 Тбайт для SATA. До однієї системі MSA2000sa можна підключити до чотирьох хост-серверів безпосередньо з SAS-інтерфейсу.

Скільки треба контролерів?

Для забезпечення високої доступності даних і продуктивності краща конфігурація з двома контролерами, однак у ряді випадків цілком виправдано застосування одного.

Конфігурація зі здвоєним контролером забезпечує більш високу доступність додатків, оскільки при відмові одного контролера (імовірність такої події виключно мала) його функції – управління масивами RAID і кеш-пам’яттю дискової підсистеми, рестарт сервісів захисту даних і призначення хост-портів – «підхоплюються» резервним контроллером, а вийшов з ладу вузол можна замінити без відключення пристрою зберігання даних. Додаткова перевага даної конфігурації – можливість підняти продуктивність за рахунок розподілу навантаження по обробці операцій введення / виводу.

У конфігурації з двома контролерами застосовується дзеркалювання кеш-пам’яті. Завдяки автоматичній передачі в режимі <<мовлення>> (broadcast) записуваних даних на резервний кеш, знижуються навантаження і затримки для кеш-пам’яті основного контролера. При відключенні живлення кешируємой дані негайно записуються на флеш-пам’ять обох контролерів, що виключає ризик втрати даних. Реалі-ція записи в режимі «мовлення» дозволяє краще захистити дані, не жертвуючи продуктивністю і часом відгуку.

Конфігурація з одним контролером потенційно може стати єдиною точкою відмови (Single-Point-of-Failure, SPOF)-один контролер здатний обслуговувати до двох хост-серверів (при прямому підключенні) зі швидкістю доступу 3 Гбіт / с, і при його відмові хост-сервер втрачає доступ до системи зберігання.

Звичайно, один контролер дешевше двох, і така конфігурація виправдана для рішень, де не потрібна висока ступінь доступності даних і припустимі короткочасні простої для відновлення доступу. Подібні конфігурації застосовуються і при забезпеченні надмірності на рівні серверів, наприклад в двовузлового кластерах, де кожен сервер підключається до власного контролеру і вихід з ладу останнього веде до відмови відповідного вузла. Є ще варіант побудови системи зберігання високої доступності із застосуванням менеджера томів, з його допомогою підтримується дзеркальна копія даних на двох незалежних системах зберігання, кожна з яких має по одному контролеру. При виході з ладу дані відновлюються по резервної копії.

Пряме підключення

У схемі Direct Attach Storage (DAS) система зберігання даних безпосередньо підключається до хост-сервера. Завдяки відсутності комутаторів (storage switch) таке рішення економічно, як і в рішенні з використанням масиву MSA2000fc (fibre channel), допускається колективне використання системи зберігання, але його можливості будуть обмежені кількістю зовнішніх портів контролерів. Істотна перевага даної системи зберігання – підтримка при безпосередньому підключенні чотирьох хост-серверів по одному порту або двох хост-серверів по двох портів без застосування комутатора.

При реалізації рішення з DAS-підключенням рекомендується застосовувати схему підключення хост-серверів по двох портів.

Віртуальні диски

Віртуальний диск (vdisk) – це група дисків, об’єднаних в RAID-групу, при цьому окремі віртуальні диски можуть формуватися різним рівнем RAID. До складу віртуального диска можуть входити або пристрою SATA, чи-бо SAS. але змішувати їх не можна. В системі HP StorageWorks MSA2000 може бути до 16 віртуальних дисків на контролер – максимум 32 віртуальних диска в двухконтроллерной конфігурації.

Створюючи дискові групи, віртуальні диски доцільніше укрупнювати, а не дробити. У RAID 3-конфігураціях з точки зору ефективного використання простору мати багато “дрібних” віртуальних дисків неефективно-якщо в групі з дванадцяти дисків службовим (на ньому зберігаються контрольні суми) є тільки один, а одинадцять зайняті даними, то в чотирьох групах, що містять по три диски, службових буде вже чотири, а «корисних» – вісім.

Обсяг віртуального диска може перевищувати 2 Гбайт, тому, створюючи диски великої обсягу в масивах RAID з контролем парності, число службових дисків можна скоротити, проте в загальному випадку для роботи з логічними томами обсягом понад 2 Тбайт можуть знадобитися спеціальні версії операційних систем, адаптерів НВА та підтримка прикладних програм.

речі, пристрій MSA2000 sa підтримує віртуальні диски об’ємом до 16 Тбайт. У RAID 0,3,5,6, 10 може бути до 16 дисків (1 Тбайт на пристрій SATA, або всього 16 Тбайт). У RAID 50 може бути до 32 дисків (1 Тбайт на пристрій SATA, або всього 32 Тбайт).

При організації великих обсягів зовнішньої пам’яті слід ретельно зважити переваги і недоліки декількох укрупнених віртуальних дисків у порівнянні з великим числом менш «ємних» віртуальних дисків з меншою кількістю накопичувачів. Щоб збільшити ККД дискової пам’яті (але не продуктивність), можна створити віртуальні диски об’ємом більше 2 Тбайт і розділити їх на декілька логічних томів об’ємом до 2 Тбайт. Максимально підтримуваний обсяг віртуального диска визначається добутком кількості дискових пристроїв в даній конфігурації RAID на найбільший обсяг одного пристрою.

Найкраще додавати віртуальні диски, розподіляючи їх рівномірно по обом контролерам. Якщо до кожного контролера під’єднати хоча б по одному віртуальному диску, контролери починають працювати по принцип y «активний-активний» (active- active). Подібна конфігурація забезпечує ефективність використання ресурсів у разі застосування двох контролерів у системі зберігання MSA2000 sa. Крім того, для запобігання втрати даних при відмові дискової полки (shelf enclosure) треба цілком зробити «страйпінг» ( stripe) віртуальних дисків з кількох дисковим полицях. Віртуальний диск з конфігурацією RAID 1,10,3,5,50 в залежності від числа задіяних дискових полиць може протистояти загрозі втрати даних при виході з ладу цілої дискової полки.

Створюючи віртуальний диск, можна вибрати розмір безперервного фрагмента даних (chunk) за умовчанням або найкращим чином підходить для роботи з додатком. Розмір безперервного фрагмента (stripe unit) – Це кількість розташованих один за одним даних, записуваних на віртуальний диск, після створення якого цю характеристику вже змінити не можна. Страйп – сукупність безперервних фрагментів (Stripe units), записуваних в одні й ті ж логічні області кожного жорсткого диска в складі віртуального. Параметри страйпінга визначаються кількістю фізичних жорстких дисків у складі віртуального диска. Ці параметри можуть змінюватися. Допустимі значення 16,32 і 64 Кбайт (значення за замовчуванням). Наприклад, якщо хост-сервер віддає дані порціями по 16 Кбайт, то такий розмір страйпа при випадковому доступі забезпечить рівномірний розподіл навантаження по операціях читання між усіма пристроями, що позитивно позначиться на продуктивності. Якщо ж дані запитуються по 16 Кбайт, а розмір блоку даних дорівнює 64 Кбайт, то деякі операції доступу будуть звертатися до одного й того ж жорсткого диску – кожен фрагмент страйпа включає в себе чотири можливі групи розміром 16 Кбайт, до яких може звернутися хост-сервер, що не можна визнати оптимальним. З іншого боку, якщо доступ здійснювався порціями по 128 Кбайт, то при читанні хост-серверу потрібно звертатися до обох пристроїв, складовим віртуальний диск.

Рекомендується встановлювати розмір безперервного фрагмента рівним розміром блоку даних, яким оперує додаток.

Вибір рівня RAID для масиву залежить від мети оптимізації конфігурації: підвищення відмовостійкості або підвищення продуктивності. Якщо не потрібно відмовостійкість або продуктивність, забезпечуються застосуванням груп RAID, то розумно скористатися конфігураціями без надмірності.

Гаряче резервування дисків

При конфігуруванні віртуальних дисків до надмірного віртуальному диску (RAID 1,3,5, б і 50) можна додати до чотирьох жорстких дисків (з числа доступних) для резерву. При відмові будь-якого жорсткого диска, входить до складу віртуального, контролер автоматично використовує резерв для відновлення відповідного віртуального диска. Тип резервного диска (SAS або SATA) повинен бути таким же, як і в інших дисків у віртуальному диску. Розмір резерву повинен забезпечувати відновлення жорсткого диска меншого обсягу в складі віртуального диска. У разі відмови двох жорстких дисків, що входять у віртуальний диск RAID 6, перш ніж починати відновлення, необхідно мати в наявності два резервних диска відповідного розміру. При виході з ладу більш ніж одного із жорстких дисків у віртуальному диску при RAID 50 відбувається реконструкція даних у порядку їх нумерації. Резерв може бути «глобальним» і забезпечувати відновлення при відмові в будь-якому віртуальному диску або «локальним», застосовуваним для відновлення конкретного віртуального диска.

В якості альтернативного варіанту застосовується динамічний глобальний резерв – при відновленні відмовив жорсткого диска в будь-якому з віртуальних система використовує будь-який з «вільних» дисків, не входить ні в один з віртуальних.

Найбільший ефект досягається, якщо кожному віртуальному диску виділяти «власний» резерв, що досить дорого, тому в якості альтернативи можна або скористатися підтримуваним системою динамічним резервом, або призначити один або декілька вільних жорстких дисків в якості глобального резерву.

Управління кеш-пам’яті

Параметри кеш-пам’яті контролера впливають на відмовостійкість і продуктивність системи і можуть задаватися індивідуально для кожного жорсткого диска. Параметри задаються за допомогою утиліти HP StorageWorks 2000 CommandLinelnterface (HPMSA2000 Cll), причому у користувача повинні бути повноваження diagnostic, a НЕ standard. Для їх зміни слід скористатися командами Manage -> General Config -> User Configuration -> Modify’ Users в про-грамі HP Storage Management Utility.

Налаштування буфера читання,

Значення параметра Read-ahead cache визначає, скільки даних слід попередньо зчитувати в буфер після виконання поспіль двох операцій послідовного читання. Попереджуюче зчитування може виконуватися в прямому (за зростанням LBA) або зворотному (за спаданням) напрямку. Збільшення розміру буфера попереджувального зчитування може істотно підняти ефективність виконання масових операцій послідовного (потокового) читання даних, але продуктивність читання в довільному порядку при цьому може знизитися.

За умовчанням значення параметра Read-ahead cache для першої операції послідовного читання встановлюється рівним розміру безперервного фрагмента, а для наступних операцій доступу – рівним розміром одного страйпа. Така схема підходить для більшості користувачів і додатків. З точки зору контролера, навіть якщо не застосовується страйпінг, розмір страйпа становить 64 Кбайт для логічних томів і віртуальних дисків з дзеркалювання (RAID 1).

Змінювати настройки буфера попереджувального зчитування доцільно тільки в тому випадку, якщо зрозуміло, як відбувається переміщення даних між операційною системою, додатком, адаптером, мережею. Для більш тонкої настройки може знадобитися моніторинг продуктивності системи за допомогою засобів збору статистики доступу хостів до віртуальних дисків.

Розмір буфера попереджувального зчитування Read-ahead може бути встановлений таким чином.

– За замовчуванням (Default). Розмір буфера попереджувального зчитування приймається рівним розміру безперервного фрагмента для першої операції послідовного читання, а для наступних операцій доступу – рівним розміру одного страйпа. Розмір фрагмента залежить від розміру блоку, який був заданий при створенні віртуального диска (за замовчуванням 64 Кбайт). Для віртуальних дисків, не об’єднаних в RAID-групи або входять до групи

RAID 1, розмір страйпа приймається рівним 64 Кбайт.

Відключено (Disabled). Відключення буфера попереджувального зчитування доцільно, якщо управління покладається на хост-сервер, наприклад якщо хост розбиває довільні операції введення / виводу на дві менше за розміром, з відповідним тригером буфера попереджувального зчитування (read ahead). Характер запитуваних хост-сервером операцій доступу можна визначити за допомогою статистичних гістограм.

64,128,256 або 512 Кбайт; 1,2,4,8,16 або 32 Мбайт. Конкретні значення визначають обсяг даних, зчитувальних при першому зверненні. Стільки ж даних надходить в буфер при подальших операціях з випереджувальним зчитуванням.

Максимальний (Maximum). Розмір буфера попереджувального зчитування для логічного розділу динамічно встановлює сам контролер, наприклад, якщо є всього один логічний том, то приблизно половина об’єму кеш-пам’яті резервується під буфер попереджувального зчитування.

Максимальний розмір слід встановлювати тільки в тому випадку, коли критична продуктивність хост-сервера, а затримки при доступі до диска необхідно компенсувати за рахунок кешування даних. Наприклад, в додатках, що інтенсивно зчитують дані, доцільно мати в кеш-пам’яті дані, до яких звернення відбувається частіше. В іншому випадку контролер повинен буде спочатку визначити, на якому диску розташовані дані, перемістити їх в кеш-пам’яті і лише потім передати хост-сервера.

При наявності двох і більше томів у випадку роботи з кеш-пам’яттю може виникнути конкуренція і конфлікти, на вирішення яких витрачаються обчислювальні ресурси контролера, тому в даній ситуації не слід встановлювати максимальний розмір буфера попереджувального зчитування.

Варіант оптимізації використання кеш-пам’яті може бути заданий за допомогою параметра Cache Optimization.

Стандартний (Standard). Діє за замовчуванням і орієнтований на типові програми, в яких поєднується послідовний і довільний доступ до даних.

Суперпоследовательний (Super-Sequential). Стандартний алгоритм управління буфером попереджувального зчитування незначно змінюється: після того, як дані з кеш-пам’яті передані хост-серверу, в буфері звільняється місце для наступного циклу попереджувального зчитування. Цей варіант не оптимальний при довільному доступі, тому його слід використовувати лише для збільшення швидкості роботи додатків, що здійснюють строго послідовний доступ до даних.

Установки відкладеного запису

При відкладеного запису (Write-back cache) контролер, отримавши дані для запису на диск, зберігає їх у буфері і, не чекаючи завершення фізичної операції, негайно повідомляє операційну систему хост-сервера про те, що операція запису виконан-нена. При цьому в кеш-пам’яті зберігається копія записуваних на диск даних. Механізм відкладеного запису підвищує швидкість запису і пропускну здатність контролера.

Якщо відкладений запис відключена, то працює режим наскрізний запису (Write-through), при цьому контролер спочатку записує дані на диск, а потім повідомляє операційну систему хост-сервера. Швидкість запису і пропускна здатність контролера при цьому невисокі, але підвищується надійність, оскільки знижується ризик втрати даних при збої живлення. У той же час при наскрізний запису в кеш-пам’яті не створюється дзеркальна копія направляються на диск даних.

В обох режимах управління кеш-пам’яттю в разі відмови одного з контролерів підтримується автоматичне перемикання по схемі «активний-активний». Для кожного дискового тому за замовчуванням задіюється режим відкладеного запису, але його можна відключити. Дані при збої електроживлення не втрачаються завдяки резервному енергопостачанню за допомогою високоемкостних конденсаторів. Цей режим підходить для більшості додатків. Швидкість обміну даними при дзеркальному копіюванні кеш-пам’яті контролерів залежить від пропускної здатності їх шини обміну даними (Backend bandwidth), тому при запису великих безперервних фрагментів даних (наприклад, при обробці відеоданих, в телеметрії або при журналізації) схема з наскрізною записом забезпечує істотне (у ряді випадків до 70%) збільшення продуктивності. Тому, якщо до цього тому не передбачається доступ в довільному порядку, можна спробувати відключити відкладений запис.

Відключати відкладений запис має сенс тільки в тому випадку, якщо повністю зрозуміло, як відбувається переміщення даних між операційною системою, додатком і адаптером НВА (SAS). Інакше може постраждати продуктивність системи зберігання даних.

Автоматичний вибір режиму запису

Можна задати умови, при яких контролер буде автоматично перемикати режим запису на диск (нагадаємо, що продуктивність системи в режимі наскрізний запису може виявитися нижче). За замовчуванням система повинна перейти в режим відкладеного запису, коли немає будь-якої умови-тригера. Переконатися в цьому можна за допомогою утиліти HP SMU або користуючись інтерфейсом командного рядка. Можна вказати наступних щие варіанти.

Повернення в попередній стан (Revert when Trigger Condition Clears). При виконанні умови система переходить

в режим відкладеного запису. За умовчанням цей варіант включений, що відповідає найбільш загального випадку.

Повідомлення іншого контролера (Notify Other Controller). При наявності двох контролерів другий повідомляється про те, що виконана умова-тригер. За умовчанням цей варіант вимкнено.

Віддзеркалення даних у кеш-пам’яті

У встановлюється за умовчанням режимі «активний-активний» (active-active) в кеш-пам’яті обох контролерів підтримуються дзеркальні копії даних, які записуються на дискові томи в режимі відкладеної запи-сі. Віддзеркалення незначно знижує продуктивність, але забезпечує відмовостійкість. Якщо відключити дзеркалювання, то управління кеш-пам’яттю кожного з контролерів буде здійснюватися незалежно в режимі ICPM (independent cache operation performance mode).

Гідність режиму ICPM полягає в тому, що кожен контролер разом з високою пропускною здатністю може забезпечити і запис даних у відкладеному режимі. Цільові дані зберігаються в енергонезалежній пам’яті, причому резервне живлення забезпечують високоемкостние конденсатори. Особливо продуктивний такий варіант для високопродуктивних обчислень, коли швидкість обробки важливіше ризику втрати записуваних на диск даних. Недолік режиму пов’язаний з тим, що при апаратній відмову одного з контролерів другий не зможе «підхопити» (failover) обробку операцій введення / виводу – заміна несправного контролера призведе до втрати даних у його кеш-пам’яті, запис яких була відкладена.

При програмному збої або у випадку вилучення контролера з дискової полки дані не повинні бути втрачені – вони залишаються в кеш-пам’яті і записуються на диск при перезапуску контролера. Але якщо помилку усунути не вдасться, дані в режимі ICPM можуть будуть втрачені.

Цілісність даних може бути порушена, якщо в RAID-контролері після отримання чергової порції даних відмова відбувається до завершення запису цих даних на диски, тому в відмовостійких системах режим ICPM застосовувати не слід.

На закінчення ще раз відзначимо, що вибір мети оптимізації конфігурації – відмовостійкість або продуктивність системи зберігання даних – залишається за адміністратором.

SAS-комутатор

Поява пристрою HP StorageWorks 3Gb SAS BL Switch відкрило зовсім нові можливості реалізації масштабованої зовнішньої системи зберігання, спільно використовуваної серверами в складі блейд-систем HP c-Glass. . Це рішення забезпечує найкращий варіант підключення серверів з контролерами Smart Array P700m і зовнішніх дискових масивів HP StorageWorks MSA 2000sa, що складаються з дисків SAS або SATA. У цьому випадку не тільки знижуються прямі витрати на придбання обладнання, а й розширюються функціональні можливості, забезпечується необхідний рівень продуктивності, відмовостійкості та надійності, а також економиться час і ресурси на розгортання рішень, що особливо важливо в умовах подолання наслідків кризи міжнародної фінансової системи.

Ємність підключається зовнішньої дискової пам’яті досягає 192 Тбайт, при цьому питома вартість зберігання виявляється нижче, ніж у мережах зберігання даних на базі технології Fibre Channel (менше 3 дол. / Гбайт). Одночасно спрощується розгортання системи та управління нею (підключення пристроїв, завантаження до спільно використовуваних зовнішніх дисків, управління Target based management). У цьому рішенні реалізовані потужні і більш доступні за ціною засоби забезпечення відмовостійкості, такі як резервування шляхів, контролери Active / Active, захист даних за допомогою RAID, включаючи RAID 6:

Дане рішення за прийнятну ціну дозволяє розгорнути спільний серверами високопродуктивний і відмовостійкий пул, зовнішньої дискової пам’яті, що працює під управлінням адміністратора; блейд-систем, воно адресовано як великим організаціям, так і підприємствам середнього та малого бізнесу, а також віддаленим офісам і філіям великих компаній.

Конфігурування MSA 2000sa

Налаштування управління кеш-пам’яттю контролерів. У відмовостійких системах кращий вибір режиму відкладеного запису. Для задач з послідовним і довільним доступом до даних, наприклад при обробці транзакцій і оновленні баз даних, доцільно скористатися стандартним варіантом оптимізації, при якому розмір блоку кеш-пам’яті встановлюється рівним 32 Кбайт, Якщо ж доступ до даних відбувається строго послідовно і потрібно максимально скоротити затримки, наприклад при відтворенні або постобробці відео-або аудіо, то слід скористатися «суперпоследовательним» варіантом оптимізації, при якому розмір блоку кешпамяті встановлюється рівним 128 Кбайт, В таблиці наведено параметри оптимізації продуктивності системи зберігання даних при вирішенні різних завдань.

Оптимізація продуктивності системи зберігання даних для різних завдань

Тип завдання, характер обробки

Рівень RAID

Розмір буфера попереджувального зчитування

Варіант оптимізації кеш-пам’яті

Стандартна

5,6

За замовчуванням

Стандартний

Високопродуктивні обчислення

5,6

Максимальний

Стандартний

спулінг електронної пошти

1

За замовчуванням

Стандартний

Віддзеркалення NFS

1

За замовчуванням

Стандартний

СУБД Oracle, система підтримки прийняття рішень

5,6

Максимальний

Стандартний

СУБД Oracle, обробка транзакцій

5,6

Максимальний

Стандартний

СУБД Oracle, обробка транзакцій, висока доступність

10

Максимальний

Стандартний

Довільна 1

i

За замовчуванням

Стандартний

Довільна 5

5,6

За замовчуванням

Стандартний

Послідовна

5,6

Максимальний

Супер послідовний

СУБД Sybase, система підтримки прийняття рішень

5,6

Максимальний

Стандартний

СУБД Sybase, обробка транзакцій

5,6

Максимальний

Стандартний

СУБД Sybase, обробка транзакцій, висока доступність

10

Максимальний

Стандартний

Потокове відео

1,5,6

Максимальний

Супер послідовний

База даних MS Exchange

10

За замовчуванням

Стандартний

Підвищення пропускної здібності. Віртуальні диски в цьому випадку слід рівномірно розподілити між двома контролерами. Так само рівномірно між двома контролерами слід розподілити і фізичні диски. Дешевші диски SATA краще застосовувати для потокової обробки даних і в системах електронної пошти, а в інших випадках користуватися дисками SAS. При установці параметрів кеш-пам’яті треба керуватися таблицею або специфічними вимогами програми.

Підвищення відмовостійкості. Слід придбати систему з двома контролерами. Підключення хост-серверів слід здійснювати двома шляхами, Треба використовувати технологію паралельної передачі даних по декількох каналах між сервером і системою зберігання (Multipath Input / Output, MPIO).

Дмитро Нечаєв

13/04.2009

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*