Реферат Кластерні системи

Страница 1 из 5 | Следующая страница

Московський Державний Инженерно-Физический Інститут

(Технічний Університет)


кафедра 29 "Управляючі Інтелектуальні Системи"

Реферат на задану тему:

Кластерні системи

   

                                                                                                        Выполнил:

                                                                                                        студент групи К9-292

                                                                                                        Попов І.А

МОСКВА 2001

Оглавление:

1. Запровадження

2. Основні класи сучасних паралельних комп'ютерів

3. Кластерна архітектура паралельних комп'ютерів

4. Цілі створення кластерных систем

5. Отказоустойчивые кластери

6. Высокопроизводительные кластери

7. Проект Beowulf

8. Укладання

9. Література


Запровадження

Розвиток багатопроцесорних обчислювальних систем

Розвиток традиційних архітектур побудови обчислювальних систем, як-от SMP, MPP, векторних паралельних систем відбувається досить все швидше. Підвищується продуктивність, зростає надійність і отказоустойчивость. Проте в цих архітектур є одна вада - вартість створюваних систем, часом недоступна багатьом користувачів таких систем - освітянських та науково-дослідних організацій. Вона надає дуже високою через ускладнення апаратних і програмних складових системи, потрібних задля забезпечення таких темпи зростання производиельности. Однак потреба в обчислювальних ресурсах нині дуже високий у багатьох сферах наукової і з практичної роботи і на її забезпечення бракує ресурсів традиційних суперкомп'ютерних систем.

Кластерні системи виникли як більше дешеве розв'язання проблеми нестачі обчислювальних ресурсів, і грунтуються на використанні за своєю архітектурою найпоширеніших і щодо дешевих технологій, апаратних і програмних засобів, як-от PC, Ethernet, Linux тощо. Використання масових технології в кластерных системах став можливим завдяки значному прогресу у розвитку компонентів звичайних обчислювальних систем, як-от центральні процесори, операційні системи, комунікаційні середовища.

Оскільки кластерні системи архітектурно є розвитком систем з масовим паралелізмом MPP, то головну роль розвитку є прогрес у сфері мережевих технологій. На цей час з'явилися недорогі, але ефективні комунікаційні рішення. І це обумовило швидке появі та розвиткові кластерных обчислювальних систем. Також прогресу розвитку кластерных систем сприяли інші чинники.

Продуктивність персональних комп'ютерів з урахуванням процесорів Intel останніми роками також істотно зросла. Такі комп'ютери почали створювати серйозної конкуренції робочим станціям з урахуванням дорожчих і потужних RISC процесорів. Одночасно стала набувати дедалі більшої популярності ОС Linux - безплатно що розповсюджується версія UNIX. Причому у наукових організаціях і університетах, що й розробляється більшість кластерных систем, зазвичай, є фахівці з ОС Linux.

Високу ступінь розвитку кластерных систем на сегоднящний день показує те що, що у списку найпотужніших суперкомп'ютерів світу Top500 – значиться 11 кластерных установок.


Основні класи сучасних паралельних комп'ютерів

Кластерні системи є розвитком паралельних систем. Щоб проказать місце кластерных систем серед інших типів паралельних архітектур обчислювальних систем потрібно навести класифікацію . Параллельные системи може бути класифицированы за критеріями.

З апаратної погляду, основним параметром класифікації паралелльных комп'ютерів служить наявність загальної (SMP) чи розподіленої пам'яті (MPP). Щось середнє між SMP і MPP є NUMA-архитектуры, де пам'ять фізично розподілено, але логічно загальнодоступна.

Симетричні мультипроцессорные системи

SMP система складається з кількох однорідних процесорів і масиву спільної па-м'яті. Одне з часто які у SMP архитектурах підходів на формування масштабируемой, загальнодоступною системи пам'яті, полягає у однорідної організації доступу до пам'яті у вигляді організації масштабируемого каналу память-процессоры:

мал.1

Кожна операція доступу до пам'яті інтерпретується як транзакція по шині процессоры-память. Когерентность кэшей підтримується апаратними засобами.

У SMP кожен процесор має по крайнього заходу одну власну кеш-пам'ять (а можливо, і кілька).

Можна сміливо сказати, що SMP система - це одне комп'ютер з кількома рівноправними процесорами. Решта - у одному примірнику: одна пам'ять, одна підсистема ввода/вывода, одна операційна система. Слово "рівноправний" означає, кожен процесор може робити всі, що інший. Кожен процесор має доступ до всієї пам'яті, може виконувати будь-яку операцію ввода/вывода, переривати інші процесори тощо.

Недоліком даної архітектури необхідно організації каналу процессоры-память з дуже високою пропускною спроможністю.

Массивно-параллельные системи

Массивно-параллельная система MPP складається з однорідних обчислювальних вузлів, які включають у собі:

  • чи кілька центральних процесорів (зазвичай RISC)
  • локальну пам'ять (прямий доступом до пам'яті інших вузлів неможливий)
  • комунікаційний процесор або сітьової адаптер
  • жорстких дисків і/або інші устрою В/В

До системі може бути додано спеціальні вузли виводу-введення-висновку та управляючі вузли. Вузли пов'язані через деяку комунікаційну середу (високошвидкісна мережу, комутатор тощо.)

Системи з неоднорідним доступом до пам'яті NUMA

NUMA (nonuniform memory access) на відміну звичної SMP архітектури з поділюваної пам'яттю є кілька окремих процесорів, кожен із яких, крім власного кешу, володіє локальної пам'яттю:

мал.2

У цій архітектурі процесор і модулі пам'яті тісно інтегровані, отже, швидкість доступу до локальної пам'яті значно вищий, ніж до пам'яті “сусіднього” процесора. Подсистемы вводу-виводу може бути частиною кожного вузла чи консолідовані на виділених вузлах виводу-введення-висновку. Якщо на всієї системи підтримується когерентність кэшей, то таку архітектуру називають cc-NUMA.

Найпростіше охарактеризувати NUMA-систему, представивши більше систему SMP, розділену сталася на кілька частин, ці частини пов'язані комунікаційної магістраллю, підключеної до системним шинам, й кожна частина включає власну основну пам'ять і підсистему ввода/вывода. Це і NUMA: велика SMP, розбита на набір дрібніших і найпростіших SMP. Основною проблемою NUMA є забезпечення когерентності кэшей. Апаратура дозволяє працювати з усіма окремими пристроями основний пам'яті складових частин системи (званих зазвичай вузлами) і з єдиної гігантської пам'яттю.

Кластерна архітектура

Розглянемо місце кластерної архітектури обчислювальних систем у цій класифікації.

Кластер - це пов'язаний набір повноцінних комп'ютерів, вживаний у ролі єдиної ресурсу. Під поняттям "повноцінний комп'ютер" розуміється завершена комп'ютерну систему, що має всім, що потрібно її функціонування, включаючи процесори, пам'ять, підсистему ввода/вывода, і навіть операційну систему, підсистеми, докладання тощо. Зазвичай при цьому годяться персональні комп'ютери чи паралельні системи, які можуть опинитися мати архітектурою SMP і навіть NUMA. Кластери є слабосвязанными системами, зв'язку вузлів використовується одне з стандартних мережевих технологій (Fast/Gigabit Ethernet, Myrinet) з урахуванням шинної архітектури чи комутатори. Тому є як дешевої у будівництві модифікацією MPP архітектури.

Кластерна архітектура паралельних комп'ютерів

Загальні принципи

Як було зазначено раніше обчислювальний кластер — це сукупність комп'ютерів, об'єднаних у межах деякою мережі на вирішення одного завдання (рис.3), яка для користувача представляється як єдиного ресурсу. Таку концепцію кластера вперше запропонувала і реалізувала на початку 1980-х корпорація Digital Equipment, що й по сьогодні розвиває цю технологію

Поняття "єдиний ресурс" означає наявність програмного забезпечення, котрий дає можливість користувачам, адміністраторам і прикладним програмам вважати, що є лише одне сутність, із якою працюють - кластер. Наприклад, система пакетної обробки кластера дозволяє послати завдання на обробку кластеру, а чи не якомусь окремому комп'ютера. Більше складним прикладом є наші системи баз даних. Практично в усіх виробників систем баз даних є версії, працюють у паралельному режимі на кількох машинах кластера. Через війну докладання, використовують базі даних, нічого не винні піклуватися про те, де виконується їхньої роботи. СУБД відпо-відає синхронізацію паралельно виконуваних діянь П.Лазаренка та підтримку цілісності бази даних.

Комп'ютери, що утворюють кластер, — звані вузли кластера — завжди щодо незалежні, що допускає зупинку чи вимикання кожного з них щодо профілактичних робіт чи установки устаткування без порушення працездатності всього кластера.

рис.3

Як обчислювальних вузлів в кластері зазвичай використовуються однопроцессорные персональні комп'ютери, двох- чи четырехпроцессорные SMP-серверы. Кожен вузол працює під керівництвом своєї копії ОС, як така найчастіше використовують стандартні операційні системи: Linux, NT, Solaris тощо. Склад і потужність вузлів не може змінюватися навіть у межах одного кластера, дає можливість створювати неоднорідні системи. Вибір конкретної комунікаційної середовища визначається багатьох чинників: особливостями класу розв'язуваних завдань, необхідністю наступного розширення кластера тощо. Можливо включення до конфігурацію спеціалізованих комп'ютерів, наприклад, файл-сервера, і, зазвичай, надано можливість віддаленого доступу на кластер через Internet.

З визначення архітектури кластерных систем слід, що воно охоплює у собі дуже широкий, спектр систем. Розглядаючи крайні точки, кластерів вважатимуться як пару ПК, пов'язаних локальної 10-мегабитной мережею Ethernet, і обчислювальну систему, створювану у межах проекту Cplant у Національній Лабораторії Sandia: 1400 робочих станцій з урахуванням процесорів Alpha, пов'язаних високошвидкісної мережею Myrinet.

Отже видно, що різних варіантів побудови кластерів дуже багато. Причому у архітектурі кластера велике значення мають використовувані комунікаційні технологій і стандарти. Вони багато чому визначають коло завдань, на вирішення яких можна використовувати кластери, побудовані з урахуванням цих технологій.

Комунікаційні технології побудови кластерів

Кластери можуть будується як у основі спеціалізованих високошвидкісних шин передачі, і з урахуванням масових мережевих технологій. Серед масових комунікаційних стандартів зараз найчастіше використовується мережу Ethernet чи більше її продуктивний варіант - Fast Ethernet, зазвичай, з урахуванням комутаторів. Проте великі накладні Витрати передачу повідомлень у межах Fast Ethernet призводять до серйозним обмеженням на спектр завдань, які можна ефективно вирішувати такому кластері. Якщо від кластера потрібна велика продуктивність і універсальність, необхідно застосовувати більш швидкісні й окремі спеціалізовані технології. До них належать SCI, Myrinet, cLAN, ServerNet та інших. Порівняльна характеристика параметрів цих технологій приведено в
таблиці 1.

SCI

Myrinet

CLAN

ServerNet

Fast Ethernet

Латентність (MPI)

5,6 мкс 17 мкс 30 мкс 13 мкс 170 мкс

Пропускна способность(MPI)

80 Мбайт/c 40 Мбайт/c 100Мбайт/c 180 Мбайт/c 10 Мбайт/c

Пропускна здатність (апаратна)

400 Мбайт/c 160 Мбайт/c 150 Мбайт/c н/д 12,5 Мбайт/c

Реалізація MPI

ScaMPI HPVM, MPICH-GM та інших. MPI/Pro MVICH MPICH

Таблиця 1.

 

Продуктивність комунікаційних мереж в кластерных системах визначається кількома числовими характеристиками. Основних характеристик дві: латентність – час початковій затримки при посилці повідомлень і пропускну здатність мережі, визначальна швидкість передачі каналами телефонного зв'язку. У цьому важливі й не так пікові характеристики, заявлених у стандарті, скільки реальні, що досягаються лише на рівні користувальних додатків, наприклад, лише на рівні MPI-приложений. Зокрема, після виклику користувачем функції посилки повідомлення Send() повідомлення послідовно пройде через повний набір верств, визначених особливостями організації програмного забезпечення і апаратури, колись, ніж залишити процесор – тому існує суттєвий разбром за стандартами значень латентності таких. Наявність латентності таких призводить до того, що максимальна швидкість передачі через мережу може бути досягнуто повідомленнях з низькою довжиною.

Швидкість передачі через мережу у межах технологій Fast Ethernet і Scalable Coherent Interface (SCI) залежить від довжини повідомлення. Для Fast Ethernet характерна велика величина латентності таких – 160-180 мкс, тоді як латентність для SCI це величина близько 5,6 мкс. Максимальна швидкість передачі тих ж технологій 10 Мбайт/c і 80 Мбайт/с відповідно.

Цілі створення кластерных систем

Розробники архітектур кластерных систем приследовали різні мети за її створенні. Першої була фірма Digital Equipment з кластерами VAX/VMS. Мета створення цієї машини було підвищення надійності роботи системи, забезпечення високої готовності і отказоустойчивости системи. Нині є безліч аналогічних за архітектурою систем з інших виробників.

Інший метою створення кластерных систем є створення дешевих високопродуктивних паралельних обчислювальних систем. Одне з перших проектів, дав ім'я цілому класу паралельних систем – кластер Beowulf [2] – виник у центрі NASA Goddard Space Flight Center на підтримку необхідними обчислювальними ресурсами проекту Earth and Space Sciences. Проект Beowulf почався влітку 1994 року, і було зібрано 16-процессорный кластер на процесорах Intel 486DX4/100 МГц. На кожному вузлі було встановлено по 16 Мбайт оперативної пам'яті і з 3 мережевих Ethernet-адаптера. Цю систему виявилася вдалою стосовно цена/производительность, тому таку архітектуру стали розвивати і дуже залучити до інших наукових організаціях і інститутах.

До кожного класу кластерів характерні свої особливості архитекуры і застосовувані апаратні кошти. Розглянемо їх понад докладно.

Отказоустойчивые кластери

Принципи побудови

Задля більшої надійності і отказоустойчивости обчислювальних систем застосовується масу різноманітних апаратурних і програмних рішень. Наприклад, у системі може дублюватися все підвладні отказам елементи — джерела харчування, процесори, оперативна й зовнішня пам'ять. Такі отказоустойчивые системи з резервуванням компонентів застосовуються вирішення завдань, у яких недостатньо надійності звичайних обчислювальних систем, оцінюваної зараз ймовірністю безвідмовної роботи 99%. У цих завданнях потрібно ймовірність 99,999% і від. Таку надійність можна досягнути застосовуючи які від наведеного вище методи підвищення отказоустойчивости. Залежно від рівня готовності обчислювальної системи для використання виділяють чотири типи надійності:

Рівень готовності, %

Мaкс. час простою

Тип системи

99,0 3,5 дні, у рік Звичайна (Conventional)
99,9 8,5 годин на рік Висока надійність (High Availability)
99,99 1 одну годину на рік Отказоустойчивая (Fault Resilient)
99,999 5 хвилин, у рік Безотказная (Fault Tolerant)

Таблиця 2.

На відміну від отказоустойчивых систем із надлишковими компонентами, і навіть різних варіантів многопроцессорности, кластери об'єднують щодо незалежні друг від друга машини, кожну із яких зупинити для профілактики чи реконфигурирования, не порушуючи у своїй працездатності кластера загалом. Висока продуктивність кластера і зведення до мінімуму часу простоїв додатків досягається тому, що:

  • у разі збою ПО одному з вузлів додаток продовжує функціонувати чи автоматично перезапускается інших вузлах кластера;
  • вихід із ладу однієї з вузлів (чи навіть кількох) не призведе до краху всієї кластерної системи;
  • профілактичні і виконати ремонт, реконфігурацію чи зміну версій програмного забезпечення, зазвичай, можна проводити в вузлах кластера по черзі, не перериваючи роботи інших вузлів.

Невід'ємною частиною кластера є спеціальне програмне забезпечення, яке, власне, і розв'язує проблеми відновлення вузла у разі збою, і навіть вирішує інші проблеми. Кластерное ПО зазвичай має низку заздалегідь заданих сценаріїв відновлення працездатності системи,

Страница 1 из 5 | Следующая страница

Схожі реферати:

Навігація