Реферат Сховища даних та OLAP-засоби

Страница 1 из 2 | Следующая страница

>СОДЕРЖАНИЕ

 

Запровадження

1 Вічне зберігання даних

2 Важлива термінологія

3 Бази і сховища даних

4 Незмінний супутник сховищ даних

5 Деякі аспекти зберігання даних

5.1 Структури зберігання даних

5.2 Постачальники

6 Кілька порад із підвищенню продуктивностіOLAP-кубов

Висновок

Література

 


Запровадження

 

Тема контрольної роботи «Сховища даних, іOLAP- кошти».

Сьогодні у багатьох організаціях проблема використання великого об'єму зібраних за багато років даних відчувається дедалі гостріше. Упродовж багатьох років на підприємствах нагромаджуються і зберігаються величезні масиви інформації, та заодно її більшість може бути використана аналітиками і керівниками. Найчастіше цю інформацію доступне тільки тим підрозділам, у яких вона накопичується. Тому немає й виникає потреба у системах, дозволяють отримувати необхідну «аналітику». Хоча у сучаснихбизнес-приложениях дедалі більше коштів на аналітичного аналізу інформації, тим щонайменше, досить багато «аналітики» невиразно тримають у даних попередніх періодів діяльності, коли на підприємствах не було сучасних інформаційних систем.


1 Вічне зберігання даних

Крім оперативних баз даних (>БД), джерелом інформацією сховищах даних (Х-Д) є текстові файли. «Очищені» дані, які у Х-Д, не використовуються безпосередньо системами уявлення та аналізу. Для цього використовуються вітрини даних, дозволяють користувачам працювати тільки з даними, що їм потрібні. У цьому підвищується безпеку доступу до даних, які структура відбиває вимоги користувача і знижується навантаження основне Х-Д.

>Предметная орієнтація - ключове відмінність оперативнихБД від Х-Д. Різні докладанняБД можуть описувати те ж предметну область із різних точок зору рішення, прийняте з урахуванням даних, що відбивають тільки один бік питання, може бути неефективними, а де й просто невірними.

У оперативнихБД інформація може додаватися, віддалятися і змінюватися, а Х-Д дані можуть розв'язуватися тільки завантажуватися і читатися. У цьому дані у Х-Д даних діляться втричі основних категорії:

 


2 Важлива термінологія

 

Сховище даних (>Data >Warehouse). >Предметно-ориентированний, інтегрований, незмінний, підтримуючий хронологію набір даних, організований з метою підтримки прийняття рішень (з визначення засновника сховищ даних Б.Инмона). Більше просто: це база даних, що зберігає дані,агрегированние за багатьма вимірам.

Вітрина (чи кіоск) даних (>Data >Mart). Невеликий сховище, а кінцеві користувачі можуть створювати власні структури даних у ньому.

Інформаційна система керівника (ІСР) (Executive Information System([>EIS)). Додатка, створені від використання керівниками.

КоштиOLAP (>On-line >Analytical >Processing). Інструментарій навігації по багатовимірним даним.

>MOLAP (>Multidimensional >OLAP). Детальні дані і агрегати зберігаються у багатовимірноїБД. І тут виходить найбільша надмірність, оскільки багатовимірні дані містятьреляционние.

>ROLAP (>Relational >OLAP). Детальні дані залишаються своєму місці (в реляційноїБД), агрегати зберігаються у тієї жБД в спеціально створених службових таблицях.

>HOLAP (>Hybrid >OLAP). Детальні дані залишаються дома (в реляційноїБД), а агрегати зберігаються у багатовимірноїБД.

ОперативніБД. Цей термін означає традиційніБД і введений у тому, аби підкреслити їх суттєва відмінність відБД, що використовуються реалізації Х-Д.

Кошти аналізу. Додатка для кінцевого користувача, включаючи кошти прийняття рішень, коштиOLAP та інші спеціалізовані кошти аналізу, прогнозу і її уявлення даних.


3 Бази і сховища даних

Ні кому як відомо, що з основних чинників на успіх бізнесі і потребу керувати є швидкість і якість прийнятих рішень. А в цих рішень лежить що є інформація. У період глобальної комп'ютеризації інформація виходить з наведених даних, які у електронному вигляді у файлах різних форматів. Для ефективного зберігання даних сьогодні використовуються бази даних (>БД), а точнішеСУБД - системи управління базами даних. У складі будь-який бази даних є таблиці, між полями якому існують зв'язку (реляції, відносини). Звідси і назва «>реляционниеБД». Саме з допомогою можна структурувати інформації і забезпечувати швидке й зручний доступом до ній.

Виходячи з цього, донедавна підприємець, керівник підприємства будь-якої іншої людина, приймає відповідальні рішення, отримував відомості, який завждиудовлетворявшие його вимоги.

По-перше, більшість інформаціїстандартизована і в стандартних формах звітності. По-друге, цю інформацію має різну міру деталізації: від докладних відомостей, наприклад, про щоденних продажах, до зведених квартальних звітів. По-третє, всі дані поставляються за фіксованими дат: наприкінці дні місяця, кварталу, року. Але у тому, що ця регламентованість роботи з туристичною інформацією Демшевського не дозволяє забезпечити своєчасне прийняття нестандартних рішень.

Безсумнівно, бази даних - це незамінний джерело інформації. З іншого боку, їх використовують як у локальнихфинансово-учетних системах, іMRP- іERP-системах. Однак звичайнаБД обслуговує як керівників, що рішення, а й інших користувачів які безпосередньо працюють з цими, що б'є по швидкості обробки інформаційних потоків.

Частота запитів доБД пов'язані з деталізацією необхідних даних: з прискорення доступу до даних потрібна окремаБД, працююча лише у режимі читання і що зберігаєагрегированние (інтегровані) дані. З іншого боку, складні аналітичні запити до оперативної інформації гальмують поточну роботу інформаційної системи підприємства, блокуючи таблиціБД і захоплюючи ресурси серверу.

Саме тому дедалі більше погляди експертів і аналітиків звернені до сховищам даних (Х-Д) - оптимально організованоюБД, яке береже дані,агрегированние за багатьма вимірам, і забезпечує максимально швидкий доступом до інформації, яка потрібна на прийняття управлінські рішення. Дані в Х-Д потрапляють з оперативнихБД і систем, призначених для автоматизації бізнес-процесів. З іншого боку, Х-Д може поповнюватися з зовнішніх джерел, наприклад, статистичних звітів. Резонне запитання: ніж Х-Д кращеБД? Адже вони містять явно надлишкову інформацію, що зберігається вБД чи файлах оперативних систем? Аналізувати дані оперативних систем безпосередньо неможливо чи, по крайнього заходу, дуже важко, оскільки дані зберігаються у форматах різнихСУБД і різними носіях в корпоративної мережі.

Поповнення Х-Д відбувається періодично, у своїй автоматично є формування нового агрегати даних, залежать від старих, т. е. щодо одного місці й у простий структурі зберігається «сировину» для аналізу (рис. 1).

Якщо останнього часу для аналізу наявних даних застосовувалася схема:БД - Засіб аналізу, то швидко розвиваючись концепція сховищ даних (Х-Д) пропонує змінити схему:БД - об'єкти Х-Д - Засіб аналізу. Це і суть інформаційна система коштує нової генерації.



>Рис. 1. Архітектура інтелектуального вилучення даних із Х-Д

 


4 Незмінний супутник сховищ даних

Централізація та зручне структурування даних - це зовсім усе, що потрібно аналітику. Традиційні звіти, навіть побудовані з урахуванням єдиного сховища, позбавлені гнучкості. Не дозволяють

отримувати безліч зрізів і розрізів даних. Чим більший зрізів і розрізів бачить аналітик, тим більше в нього ідей. Для цього такий інструмент, якOLAP.

Не вдаючись у складну теорію визначальних принципівOLAP, сформульованих Є.Коддом - «винахідником»реляционнихБД, наведемо таке визначенняOLAP: Швидкий АналізРазделяемойМногомерной Інформації -FASMI (FastAnalysis ofSharedMultidimensional Information). Fast означає, що систему мають забезпечувати видачу більшості відповідей користувачам не більше 5 секунд.Analysis означає, що систему може справлятися із кожним логічним і статистичним аналізом.Shared означає, що систему здійснює всі вимоги конфіденційності (можливо рівня записи), а при доступі кількох користувачів забезпечує блокування змін відповідного рівня.Multidimensional - система має забезпечити багатомірне концептуальне уявлення даних, включаючи повну підтримку для ієрархій і багатьох ієрархій даних. І, нарешті, Information - усе це, із чим працюємо щодня і намагаємося за її основі отримати прогнозовані результати.

>OLAP надає користувачеві швидкодіючі кошти доступу, перегляду та якісного аналізубизнес-информации. Користувач отримує інтуїтивно зрозумілу модель даних, організовуючи у вигляді багатомірних кубів. Осі багатовимірної системи координат - основні атрибути аналізованого бізнес-процесу. Наприклад, для продажів що можуть бути товар, населений пункт, категорія покупців. Як один з вимірів використовується час. На перетинахосей-измерений перебувають дані, кількісно що характеризуютьпроцесс-мери. Це може бути обсяги продажів штуки чи грошах, залишки складі тощо. п. Користувач, аналізуючий інформацію, може «розрізати» куб з різних напрямів, отримувати зведені (наприклад, за літами) чи, навпаки, детальні (по тижнів) відома і здійснювати інші маніпуляції.

 


5 Деякі аспекти зберігання даних

 

5.1 Структури зберігання даних

>OLAP-сервери, чи сервери багатомірнихБД, можуть зберігати свої багатовимірні дані по-різному. Річ у тім, що у будь-якій Х-Д поруч із докладними даними, вилучаються з оперативних систем, зберігаються і сумарні (>агрегированние) показники (агрегати), такі, як суми обсягів продажу по місяців, за категоріями товарів хороших і т. п. Агрегати зберігаються у явному вигляді, аби пожвавити виконання запитів, оскільки аналітиків здебільшого цікавлять не детальні, а великі цифри. До того, якщо кожне раз для обчислення суми продажів протягом року довелося б підсумовувати десятки і сотні тисяч продажів, то швидкість було б абсолютно неприйнятною. Хоча заодно за швидкість доводиться «розплачуватися» обсягом даних.

Як детальні дані, і агрегати можуть зберігатися або уреляционних, або у багатомірних структурах.Многомерное зберігання дозволяє поводження з даними і з багатовимірним масивом, завдяки чому забезпечуються однаково швидкі обчислення агрегатів й різні багатовимірні перетворення за будь-яким з вимірів.

При зберіганні даних в багатомірних структурах виникає потенційна проблема «>разбухания» з допомогою зберігання порожніх значень. Адже тоді як багатомірному масиві зарезервоване місце під всіх можливих комбінації міток вимірів, а як реально заповнена лише мала частка (наприклад, ряд продуктів продається у невеликому числі регіонів), то більшість куба буде бути порожніми, хоча місце буде зайнято.

 


5.2 Постачальники

Найперше зауважимо принципові відмінностіOLAP-систем. Цей програмний забезпечення, надає користувачеві можливість у режимі реального часу отримувати відповіді довільні аналітичні запити. До класуOLAP-систем відносять ті програми, використані ними для зовнішнього інтерфейсу надають користувачеві багатовимірну змінювану таблицю. Ця таблиця дозволяє користувачеві змінювати місцями стовпчики і рядки, ставити умови фільтрації і навіть вона автоматично обчислює проміжні підсумки в групах даних, і остаточні підсумки. Невід'ємною частиноюOLAP-анализа є графічне відображення даних.

Програмна реалізаціяOLAP-решения припускає наявність машини обчислень (>OLAP-сервера) і багатовимірної бази даних (>MO-LAP), до котрої я звертаються клієнтські програми з запитами отримання даних, і виконання обчислень. Будь-яке остаточне рішення міститьOLAP-компоненту, що є інтерфейсом користувача. Ці компоненти схожі один на друга. Їх візуальна частина складається з елементів управління і елементів відображення даних.

Серед постачальників цього програмного забезпечення - передусім, відомі постачальники серверів баз даних. До до їх числа ставляться Oracle (зі своїмиOLAP-продуктом Express), IBM (>DB2OLAPServer), Microsoft (>OLAPServices),Informix (>MetaCube).

З іншого боку, досить цікаві рішення відомих гравців суміжних ринків - SAS Institute (>MDDB іCFOCFO Vision), SAP (>BW), Hyperion Solutions (>Essbase),CA (>InfoBeacon).

Ще донедавна постачальникиOLAP-серверов продавали свою продукцію з дуже високих цін. Наприклад, придбання Oracle Express було б в 000 за робочі місця двох аналітики й журналісти двох адміністраторів. Тому багато хто управлінці на вирішення таких аналітичних завдань використовували відоме додаток Excel зі складу офісного пакета від Microsoft. Хоча цей популярна програма придатна лише на одне користувача, тим щонайменше, за правильної роботи і інтеграцію з зовнішніми додатками можна досягнути хороших успіхів у отриманні «аналітики». Власне, появаOLAP-функциональности ознаменувало поява особливого класу продуктів - настільнихOLAP (>DOLAP -DesktopOLAP).

По способу отримання даних таких програм можна розділити на локальні й корпоративні:

- локальні маніпулюють даними таблиць MS Excel чи настільнихСУБД, наприкладAccess,Paradox;

- корпоративніDOLAP мають доступом доSQL-серверам чи багатовимірним баз даних, і, своєю чергою теж діляться на дві категорії.

>DOLAP-программи поставляються самими розробниками баз даних, багатомірних іреляционних. Це SASCorporateReporter, Oracle Discovery, комплекс програм MSPivotServices іPivotTable та інші. Є й розробки російських компаній, наприклад Контур Стандарт відIntersoft Lab чи розробка компаніїПиБи -OLAP 7.7 -інструмент оперативного аналізу даних для сімейства програм1С:Предприятие 7.7. Так, застосуванняOLAP 7.7 дозволяє виявляти найкращих чи найгірших постачальників і покупців, визначати закономірності обсягів продажу за періодами і регіонам, застосовувати її виявлення «вузьких» місць ведення бізнесу й уміти враховувати це з прийнятті управлінські рішення.

Досить цікаві продукти пропонує компаніяIntersoft Lab (>iso).

Продукти Контур представлені:

- ОсередкомХранилищ даних (>ContourDataWarehousePlatform), настановленим створення єдиного інформаційного простору й підтримки корпоративного управління;

- Аналітичної платформою (>ContourAnalysisPlatform), настановленимбизнес-анализа і відстежуючи публікації даних.

Слід також згадати про пакеті >Deductor (>basegr-oup), що забезпечує моделювання, прогнозування, пошук закономірностей та інші технології виявлення знань (Knowledge Discovery inDatabases) і видобуток даних (>DataMining). У його складу входять:

- >Cube >Analyzer - настільнийOLAP-модуль, який реалізує технологію багатовимірного аналізу, у простий і тому зручною формі;

- >RawData >Analyzer - система, орієнтована на попереднє опрацювання даних на подальше їх аналізу. Технології, реалізованіRawDataAnalyzer, дозволяють провести сув'язь дій - згладжування, очищення від шумів, редагування аномальних значень, заповнення перепусток, усунення незначних чинників, зниження розмірності;

- Tree >Analyzer - програма, що дозволяє проводити аналіз даних з урахуванням дерев рішень;

- >SOMap >Analyzer - програма, що дозволяє проводити аналіз даних з урахуванням самоорганізуючих картКохонена;

- >Neural >Analyzer - програма, реалізує багатошаровінейронние іRBF-сети. З допомогою них вирішуються завдання прогнозування, моделювання та управління динамічними системами.

 


6 Кілька порад із підвищенню продуктивності >OLAP-кубів

 

1. Досягнення максимальної продуктивності слід правильно вибрати режим зберігання -MOLAP,HOLAP, чиROLAP. Продуктивність під час використанняMOLAP чиHOLAP приблизно однакова, а застосуванняROLAP у разі її знизить.MOLAP потребує великих обсягів дискового простору, ніжHOLAP іROLAP, хоча доHOLAP необхідно менше оперативної пам'яті.

2. Обираючи рівеньагрегирования для кубів, категорично не рекомендується виходити за інтервал від 25 % до 60 %. Рівніагрегирования вище 60 %, зазвичай, вимагають величезних обсягів дискового простору й здебільшого не призводять до істотного збільшення швидкості обробки запитів.

3. Досягнення найвищої продуктивностіSQL-сервер зі сховищем чи вітриною даних, іOLAP-сервер би мало бути різними комп'ютерах.

4. ЯкщоOLAP-куби дуже серйозні за величиною чи часто використовуються, їх бажано розмістити їх у окремих серверах, цим розподіливши навантаження. Для найчастіше використовуваного куба можна створити його копії на кількох серверах.

5. Оновлення інформацією кубах бажано виконувати у періоди найменшої завантаження серверу.

6. За умовчанням обсяг пам'яті, використовуванийOLAP-сервером, дорівнює

Страница 1 из 2 | Следующая страница

Схожі реферати:

  • Реферат на тему: Сховища і бази даних
    1. Сховища даних Сховища даних – це процес збору, відсівання і попередньої обробки даних із метою
  • Реферат на тему: Хеш пошук
    Міністерство освіти і науки РФ Академія управління «>ТИСБИ» Факультет інформаційних технологій
  • Реферат на тему: Кольори, абриси і заливки в CorelDraw
    Міністерство науку й освіти України Слов'янський державний педагогічний університет >Реферат
  • Реферат на тему: Цілі і завдання інформаційних систем
    >ВОРОНЕЖСКИЙ ІНСТИТУТ ВИСОКИХ ТЕХНОЛОГІЙ Факультет заочного і >послевузовского навчання
  • Реферат на тему: Центральні пристрої ПК
    >ФЕДЕРАЛЬНОЕ >АГЕНСТВО ПО ОСВІТІ МОСКОВСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ ЕКОНОМІКИ СТАТИСТИКИ І

Навігація