Суперечка триває: яким бути сховища даних

Приводом до написання цього матеріалу стала стаття "Сховища даних: кроки від ідеї до впровадження", опублікована CNews 17 серпня цього року. Суперечка експертів про основи і практичні моменти створення і впровадження сховищ даних триває.


Проблеми з орієнтацією в інформаційному потоці спостерігаються в будь-якій сфері діяльності сучасної людини. Особливо це помітно на прикладі великої компанії, яка динамічно розвивається на ринку. При цьому неважливо, яким бізнесом компанія займається. Проблеми з правильним структуруванням інформації скрізь приблизно однакові.


Якщо бізнес компанії розвивається, то зростають і її потреби в інформації. Купуються нові системи, замінюються старі, будуються різні рішення. З часом набір різних додатків в компанії починає походити на зоопарк. З одного боку, необхідні функції з обробки інформації начебто виконуються, але, з іншого, втрачається розуміння. Кожне рішення має свої особливості у візуалізації оброблюваних їм даних: звітну систему або набір власних форм. Чіткої узгодженості між системами та рішеннями зазвичай немає. Звідси й випливають основні проблеми з розумінням інформації: несумісність, відсутність повноти, відмінності у форматах уявлення і т.д.


Але компанія має розвиватися далі – затримуватися у розвитку через безлад у власних даних не можна. Ось тут на допомогу і приходить технологія використання сховищ даних.


Вид на бізнес з висоти


Звичайно, будь-який представник великої компанії і так знає, що отримати необхідні відомості не так-то просто. Але практика показує, що основна проблема при впровадженні сховищ даних – це постановка завдання, безпосередньо пов'язана з розумінням необхідності впровадження.


Сховища даних не привносять ніякої новизни до відомостей, якими оперують. Це всього лише копія існуючих даних в системах компанії, але представлена у формі, зручній для подальшої візуалізації та проведення розрахунків. Основними завданнями компанії, яка приймає рішення про побудову сховища даних, є зазвичай отримання єдиної, консолідованої звітності у визначених напрямках компанії і, проведення аналітичних операцій над існуючими даними для виявлення різних залежностей.


Динамічній компанії дуже важливо отримати єдиний погляд на власний бізнес, оцінити його "зверху", швидко визначивши область, де робота компанії є особливо успішною. Іноді необхідно на підставі існуючих відомостей провести аналіз впливу тих чи інших факторів на бізнес, що можна здійснити лише за допомогою повних і узгоджених даних.

Стандартна схема сховища даних


При створенні сховища даних дуже важлива гарна команда


Як видно, етапи побудови сховища даних у принципі не відрізняються від проектів багатьох інших типів, однак є деякі особливості. Практика показує, що всі подібні проекти мають ітераційний характер. Якщо не враховувати цю особливість, проект може бути сильно затягнутий або взагалі не виконаний.


На етапі аналізу найчастіше оцінюють структури, типи даних, але мало хто замислюється про якість вихідних відомостей. Якщо оцінку якості не провести на етапі аналізу, то в процесі тестування будуть послідовно раз по раз виникати різного роду помилки з неспівпадання очікуваних і реальних даних, що зазвичай призводить до доопрацювання, повторного тестування і, відповідно, до затягування проекту. Зазвичай кількість таких ітерацій досягає 10-12 разів.


Для вирішення цієї проблеми повинні використовуватися засоби профілювання інформації, що визначають якість і залежності даних до етапу проектування. Профілювання допомагає уникнути численних ітерацій розробки за рахунок введення обмежень на невірні дані та їх уніфікації. Це дозволяє зменшити кількість ітерацій на проекті до 2-3 разів.


Проектування та розробка проекту часто сприймається як створення моделі даних, розробка звітів і ETL-процесів. Тут завданням команди є тільки правильне використання вибраних засобів для побудови рішення. Однак з метою збільшення швидкості і якості розробки, а також підвищення відповідальності програмістів необхідно залучати аналітиків, що описують процеси завантаження даних.


Передавати проектування процесу ETL і побудова звітів безпосередньо розробнику досить ризиковано, оскільки він, швидше за все, мало розуміється на предметної області роботи замовника. З іншого боку, представники замовника навряд чи зможуть максимально використати можливості ETL-інструменту для правильної побудови процесів. Тому і необхідні аналітики, які розуміються на предметної області замовника і, при цьому, що мають уявлення про технічної складової проекту. Основним їх завданням є випуск технічних специфікацій на необхідні процеси наповнення сховища.


На відміну від впровадження інших рішень проекти щодо створення сховищ даних зазвичай мають досить складний і довгий етап тестування. Так відбувається через складність перевірки збігу результатів і виявлення помилок в отриманих звітах, які користуються даними зі сховища, що містить вже консолідовану інформацію. З іншого боку, у замовника немає аналогічних засобів і технологій, щоб перевірити точність розробки процесів завантаження: у них просто може не бути такого роду звітів або їх формування вкрай утруднено. Тому потрібно до початку тестування розробити його методику, яка буде містити не тільки послідовність дій, але і набори даних для перевірки засобами замовника і з допомогою сховища. Траплялося, що результати роботи сховища доводили неправильність застосовуваних замовником підходів до формування власної звітності.


Звичайно, дуже важливим чинником є наявність кваліфікованої, дослідної робочої команди. В ідеалі вона повинна складатися як з представників замовника, так і координатора для забезпечення злагодженої роботи по всіх напрямах проекту.


Кожен етап проекту повинен бути обов'язково задокументований, що необхідно і замовнику, і для виконавця проекту.


Сховище даних поступово задовольнить всі потреби компанії в цій сфері. Від етапу до етапу організація буде все краще розуміти важливість отриманого рішення. Правильно побудоване сховище дасть можливість швидко розвивати свій бізнес, змінювати напрями розвитку, правильно розуміти проблеми і пріоритети. Крім того, на цій основі компанія зможе будувати інші рішення, наприклад, уніфікувати нормативно-довідкову інформацію, що також часто є "головним болем". Сховище – це потужний інструмент, значення якого розумієш не відразу. Але, отримавши такий інструмент в руки, з нього можна отримати вигоду, про яку, можливо, ніхто і не здогадується.

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*