Архітектура Oracle Data Integrator: короткий технічний огляд, Інші СУБД, Бази даних, статті

 

[ Від редакції Oracle Magazine / RE: Інтеграційний продукт Oracle Data Integrator, раніше відомий як Sunopsis Data Conductor, відрізняється від Oracle Warehouse Builder тим, що функціонує в середовищі Fusion Middleware / SOA Suite, а не СУБД Oracle. Цей продукт реалізує витяг даних з різнорідних джерел і їх завантаження також в різнорідні бази даних. Він розроблений для середовища SOA, дозволяє розділяти схеми відображення даних (data mappings) на бізнес-правила (business rules) і специфічні для платформ і процесів завантаження (platform / load-type specifics) частини. Можливості цього продукту розширювана завдяки використанню модулів знань (“knowledge modules”). Подібно Oracle Warehouse Builder, він побудований із застосуванням Java та використовує сервер цільової бази даних як ETL-движок, перетворюючи дані після їх вилучення та завантаження, при цьому використовуючи, коли це можливо, набори операцій (set-based operations). ]

Введення

Продукт Oracle Data Integrator складається з декількох компонент, що працюють з єдиним централізованим репозиторієм метаданих (metadata repository). Ці компоненти – графічні модулі (graphical modules), компоненти часу виконання (runtime components) і Web-інтерфейс – разом з іншими просунутими функціями і роблять Oracle Data Integrator “легкої” (lightweight), вільної від атавізмів (legacy-free), вчиненої інтеграційної платформою.

У цьому короткому технічному огляді представлена ​​архітектура Oracle Data Integrator.

Огляд архітектури

Архітектура Oracle Data Integrator організована навколо модульного сховища, який доступний компонентам, графічним модулям і агентам виконання (execution agents), цілком написаним на Java, в режимі клієнт-сервер. Ця архітектура також включає Web-додаток – Metadata Navigator, яке дозволяє користувачам отримувати доступ до інформації (репозиторію) через Web-інтерфейс.

Графічні модулі

Графічних модулів четверо: Designer, Operator, Topology Manager і Security Manager. Ці модулі можуть бути встановлені на будь графічної платформі, яка підтримує Java Virtual Machine 1.5 (J2SE), а це Windows, Linux, HP-UX, Solaris, AIX, Mac OS і інші.

Малюнок 1: Графічні модулі і репозиторій

Функції графічних модулів:



Вся розробка проекту відбувається в цьому модулі; саме тут визначаються і сюди імпортуються метадані баз даних і додатків. Модуль Designer використовує метадані та правила для генерації сценаріїв для виробничого середовища. Цей модуль є ключовим для розробників і адміністраторів метаданих;



Всі модулі зберігають свою інформацію в централізованому репозиторії.

Компоненти часу виконання

Під час виконання Scheduler Agent координує виконання сценаріїв.

Scheduler Agent може бути встановлений на будь-якій платформі, яка підтримує Java Virtual Machine (J2SE), а це Windows, Linux, HP-UX, Solaris, IBM AIX, iSeries/AS400, zSeries/OS/390. Виконання може бути запущено з одного з графічних модулів або вбудованим обробником розкладів (built-in scheduler) або зовнішнім обробником розкладів (thirdparty scheduler).

В рамках архітектури Extract-Load Transform (E-LT; витягти-завантажити (дані) і перетворити їх), Scheduler Agent рідко виконує будь-які перетворення. Він просто вибирає код з репозиторію виконання (Execution repository) і потім запитує сервери баз даних, операційні системи або “двигуни” скриптів (scripting engines) для виконання цього коду. Коли виконання завершено, Scheduler Agent змінює журнали виконання (execution logs) в репозиторії і потім формує звіти з повідомленнями про помилки і статистикою виконання. Користувачі можуть переглядати журнали виконання з модуля Operator або Web-інтерфейсу Metadata Navigator. Важливо розуміти, що хоча Scheduler Agent може діяти як “двигун” перетворень (transformation engine), він рідко використовується з цією метою. Агенти встановлюються в місцях тактичного призначення (tactical locations) в інформаційній системі для координації інтеграційних процесів і максимального використання існуючих систем. Вони є многонітіевимі (multithreaded), балансуючим навантаження (load-balanced), “легкими” (lightweight) компанента в цій розподіленої інтеграційної архітектурі.

Рисунок 2: Компоненти часів виконання.

Репозиторії

Репозиторій складається з головного (або майстер-, master) репозиторію і кількох робітників (work) репозиторіїв. Ці сховища є базами даних, керованими засобами реляційних СУБД. Всі об’єкти, які c застосуванням модулів конфігуруються, розробляються або використовуються, зберігаються в одному з цих репозиторіїв і доступні в режимі клієнт-сервер для різних компонентів архітектури.

Звичайно є один головний репозиторій, який містить інформацію про безпеку (для користувача профілі і привілеї), топологічну інформацію (визначення технологій і серверів) і версії об’єктів. Для ведення інформації, збереженої в головному репозиторії, використовуються Topology Manager і Security Manager. Всі модулі мають доступ до головного сховища, тому що всі вони зберігають інформацію про топологію і безпеки в ньому.

Малюнок 3: Головний репозиторій і робочі репозиторії.

Об’єкти проектів зберігаються в робочих репозиторіях. Кілька робітників репозиторіїв можуть співіснувати на одній і тій же установці. Це корисно для ведення окремих середовищ або відображення особливих версій життєвого циклу – наприклад, середовища розробки (development), кваліфікування (qualification) і виробнича середу.

Робочий репозиторій зберігає інформацію по таких об’єктах:


Користувачі працюють з контентом робочого сховища, використовуючи модулі Designer і Operator. Робочі репозиторії також доступні під час виконання агентам.

Коли робочий репозиторій використовується тільки для зберігання інформації, необхідної для виконання (як правило, це має місце для виробничих середовищ), він називається репозиторием виконання (execution repository). Цей репозиторій жлступен під час виконання агентам і через інтерфейс модуля Operator. Важливо пам’ятати, що всі робочі репозиторії завжди приєднані до одного і лише одному головному сховища.

Навігатор метаданих

Metadata Navigator (Навігатор метаданих ) – Це додаток для середовища Java 2 Enterprise Edition (J2EE), яке забезпечує доступ через Web до репозиторіїв. Воно дозволяє користувачам переглядати об’єкти, включаючи проекти, моделі та журнали виконання. Metadata Navigator може бути встановлений на сервер додатків, такий як Oracle Container for Java (OC4J) або Apache Tomcat. Бізнес-користувачі, розробники, оператори та адміністратори можуть використовувати Metadata Navigator через Web-браузер. Через Web-інтерфейс цього додатка користувачі можуть побачити карти потоків (flow maps), знайти джерела всіх даних і навіть “просвердлити” (drill down) до рівня показника (field level), щоб зрозуміти перетворення, які використовуються для побудови цих даних. Вони можуть також запускати сценарії і стежити за ними з Web-браузера через Metadata Navigator.

Рисунок 4: Використовуючи Metadata Navigator, користувачі можуть отримувати доступ до метаданих і виконувати їх з Web-браузера.

Інші компоненти і функції

Oracle Data Integrator також включає наступні необов’язкові компоненти та функції:


Висновок

Oracle Data Integrator – це “легка”, вільна від атавізмів, вчинена інтеграційна платформа. Всі компоненти можуть виконуватися незалежно на будь сумісної з Java системі.

Завдяки свій вільної від атавізмів архітектурі, Oracle Data Integrator встановлюється протягом хвилин на будь-якій платформі.

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*