Як мігрувати Hortonworks Data Platform на Cloudera Data Platform?

Навіщо мігрувати з HDP / CDH?

У 2019 компанія Cloudera презентувала нову платформу – Cloudera Data Platform, яка позиціонується як універсальне рішення, що дозволяє управляти даними в будь-якому середовищі: Public Cloud, bare metal, Private Cloud, а також гібридна хмара.

migration_Hortonworks_Cloudera_1

Відповідно до нової стратегії розвитку, презентованої головним технічним директором Cloudera по експлуатації в регіоні EMEA Яном Кунігком (Jan Kunigk), і старшим менеджером з інженерних рішень Cloudera в Німеччині, Австрії, Східній Європі і Росії Флоріаном фон Вольтером (Florian von Walter) – журнал “Storage News” № 1 (76), 2020, розвиток рішень на базі Hadoop on premise є першим етапом, далі передбачається перенесення потужностей в Public Cloud, і, вже наприкінці, в Hybrid Cloud.

З огляду на нову стратегію Cloudera, рекомендується мігрувати з платформ CDH – Cloudera Distribution of Hadoop і HDP – Hortonworks Data Platform на CDP, оскільки їх підтримка буде припинена після 31 грудня 2021, тобто, дані продукти не будуть оновлюватися, і неможливо буде закупити технічну підтримку на рішення на базі HDP, CDH. Це означає, що корпоративним клієнтам, з метою збереження функціональності своїх рішень, побудованих на базі HDP, CDH необхідно провести міграцію на актуальний стек.

Чому CDP?

Ми рекомендуємо користувачам HDP і CDH провести міграцію на Cloudera стек, оскільки Cloudera пропонує найбільш повний набір інструментів для роботи з корпоративними даними:

  • Cloudera Data Platform – платформа для організації збору і зберігання даних, для побудови EDW, EDH
  • EDGE & FLOW MANAGEMENT – для управління, контролю і моніторингу кінцевих пристроїв
  • STREAMS MESSAGING – для доставки великих обсягів даних, що надходять в реальному часі.
  • STREAM PROCESSING & ANALYTICS – для отримання аналітичних даних в режимі реального часу.
  • DATA SCIENCE WORKBENCH – забезпечує можливість аналізу даних, використання AI, ML інструментів.
  • Cloudera Manager – підсистема управління кластером.
  • Cloudera також пропонує повний перелік інструментів, які допомагають вирішити завдання, пов’язані з Data Security, Data Management, Data Governance.
  • Для рішень Cloudera доступна повноцінна технічна підтримка від вендора.

Порівняйте функції і компоненти розглянутих платформ.

Важливою зміною політики вендора є відсутність безкоштовного дистрибутива CDP у вільному доступі. У той самий час, додаткові функції і інструменти перетворюють Cloudera стек в найзручніший і економічно ефективний інструмент для побудови рішень на базі Hadoop на корпоративному рівні.

Підготовка до міграції

Cloudera надає детальні інструкції по організації процесу міграції та передбачається кілька сценаріїв:

migration_HDP_CDP_3.png

Для завантаження доступні пробні версії CDP для різних середовищ:

Процес інтеграції

  1. Визначте свій варіант міграції CDP: повне оновлення або міграція з урахуванням вимог до безвідмовної роботи.
  2. Перевірте вимоги до оновлення і виконайте всі попередні умови.
  3. Визначте цільове середовище:
    • CDP on premise рекомендується для замовників, які в силу вимог законодавства або внутрішніх корпоративних політик не розглядають варіант міграції в хмару.
  4. Встановіть, перенесіть, протестуйте і підтвердіть.

Приклад плану міграції:

1.

Міграція DEV оточення зі стека Hortonworks (HDP / HDF) на стек Cloudera (СDP / CDF)

2 тижні

1.1

Очищення тестового середовища і підготовка вимог до інфраструктури і безпеки.

1.2

Інсталяція та конфігурація CDP DEV Environment

1.3

Перенесення розробок і даних з HDP / HDF DEV Environment в CDP DEV Environment

1.4

Тестування і тюнінг середовища CDP DEV Environment

2.

Розширення кластера TEST і міграція зі стека Hortonworks (HDP / HDF) на стек Cloudera (СDP / CDF)

2 тижні

2.1

Очищення HDP / HDF DEV Environment

2.2

Інсталяція та конфігурація CDP TEST Environment

2.3

Перенесення розробок і даних з CDP DEV Enviroment в CDP TEST Environment

2.4

Тестирование и тюнинг окружения CDP TEST Environment

3.

Побудова кластера PROD на стеку Cloudera (СDP / CDF)

3 тижні

3.1

Очищення HDP / HDF PROD Environment

3.2

Інсталяція та конфігурація CDP PROD Environment

3.3

Перенесення розробок і даних з HDP / HDF Prod Enviroment в CDP PROD Environment

3.4

Тестування і тюнінг середовища CDP Prod Environment

Зв’язатися з нами

Компанія АМ-БІТС є прямим партнером Cloudera (Silver Partner) і має виділену Big Data команду з 15 висококваліфікованих архітекторів та інженерів, серед яких 7 фахівців сертифікованих Hortonworks і Cloudera. АМ-БІТС має 5 років досвіду з побудови Big Data рішень на базі технологій Hadoop для корпоративних клієнтів (включаючи проекти для міжнародних банків, телеком операторів і медіа компаній).

Ми готові розробити стратегію розвитку корпоративної платформи даних з урахуванням кращих міжнародних практик та реалізувати проект з міграції або впровадження Cloudera Data Platform, забезпечивши безперебійну роботу сервісів, а також, по завершенню проекту міграції/впровадження, забезпечити технічну підтримку рішення як у віддаленому режимі так і on-site.

Якщо Ви бажаєте отримати додаткову консультацію по темі міграції, напишіть нам: