Навіщо мігрувати з HDP / CDH?
У 2019 компанія Cloudera презентувала нову платформу – Cloudera Data Platform, яка позиціонується як універсальне рішення, що дозволяє управляти даними в будь-якому середовищі: Public Cloud, bare metal, Private Cloud, а також гібридна хмара.
Відповідно до нової стратегії розвитку, презентованої головним технічним директором Cloudera по експлуатації в регіоні EMEA Яном Кунігком (Jan Kunigk), і старшим менеджером з інженерних рішень Cloudera в Німеччині, Австрії, Східній Європі і Росії Флоріаном фон Вольтером (Florian von Walter) – журнал “Storage News” № 1 (76), 2020, розвиток рішень на базі Hadoop on premise є першим етапом, далі передбачається перенесення потужностей в Public Cloud, і, вже наприкінці, в Hybrid Cloud.
З огляду на нову стратегію Cloudera, рекомендується мігрувати з платформ CDH – Cloudera Distribution of Hadoop і HDP – Hortonworks Data Platform на CDP, оскільки їх підтримка буде припинена після 31 грудня 2021, тобто, ці продукти не будуть оновлюватися, і неможливо буде закупити технічну підтримку на рішення на базі HDP, CDH. Це означає, що корпоративним клієнтам, з метою збереження функціональності своїх рішень, побудованих на базі HDP, CDH необхідно провести міграцію на актуальний стек.
Чому CDP?
Ми рекомендуємо користувачам HDP і CDH провести міграцію на Cloudera стек, оскільки Cloudera пропонує найбільш повний набір інструментів для роботи з корпоративними даними:
- Cloudera Data Platform – платформа для організації збору і зберігання даних, для побудови EDW, EDH
- EDGE & FLOW MANAGEMENT – для управління, контролю і моніторингу кінцевих пристроїв
- STREAMS MESSAGING – для доставки великих обсягів даних, що надходять в реальному часі.
- STREAM PROCESSING & ANALYTICS – для отримання аналітичних даних в режимі реального часу.
- DATA SCIENCE WORKBENCH – забезпечує можливість аналізу даних, використання AI, ML інструментів.
- Cloudera Manager – підсистема управління кластером.
- Cloudera також пропонує повний перелік інструментів, які допомагають вирішити завдання, пов’язані з Data Security, Data Management, Data Governance.
- Для рішень Cloudera доступна повноцінна технічна підтримка від вендора.
Порівняйте функції і компоненти розглянутих платформ.
Важливою зміною політики вендора є відсутність безкоштовного дистрибутива CDP у вільному доступі. У той самий час, додаткові функції і інструменти перетворюють Cloudera стек в найзручніший і економічно ефективний інструмент для побудови рішень на базі Hadoop на корпоративному рівні.
Підготовка до міграції
Cloudera надає детальні інструкції по організації процесу міграції, передбачаючи кілька сценаріїв:
Для завантаження доступні пробні версії CDP для різних середовищ:
- 48-годинний тест-драйв платформи Cloudera в хмарі
- безкоштовна пробна версія CDP Private Cloud для ознайомлення і тестування
- також доступний CDP Upgrade Advisor, де зібрані докладні рекомендації по окремим кластерам.
Процес інтеграції
- Визначте свій варіант міграції CDP: повне оновлення або міграція з урахуванням вимог до безвідмовної роботи.
- Перевірте вимоги до оновлення і виконайте всі попередні умови.
- Визначте цільове середовище:
- CDP Public Cloud Cloudera рекомендує для систем до 50 нод:
- CDP Private Cloud Cloudera рекомендує для систем понад 50 нод:
- CDP on premise рекомендується для замовників, які в силу вимог законодавства або внутрішніх корпоративних політик не розглядають варіант міграції в хмару.
- Встановіть, перенесіть, протестуйте і підтвердіть.
Приклад плану міграції:
1.
Міграція DEV оточення зі стека Hortonworks (HDP / HDF) на стек Cloudera (СDP / CDF)
2 тижні
1.1
Очищення тестового середовища і підготовка вимог до інфраструктури і безпеки.
1.2
Інсталяція та конфігурація CDP DEV Environment
1.3
Перенесення розробок і даних з HDP / HDF DEV Environment в CDP DEV Environment
1.4
Тестування і тюнінг середовища CDP DEV Environment
2.
Розширення кластера TEST і міграція зі стека Hortonworks (HDP / HDF) на стек Cloudera (СDP / CDF)
2 тижні
2.1
Очищення HDP / HDF DEV Environment
2.2
Інсталяція та конфігурація CDP TEST Environment
2.3
Перенесення розробок і даних з CDP DEV Environment в CDP TEST Environment
2.4
Тестирование и тюнинг окружения CDP TEST Environment
3.
Побудова кластера PROD на стеку Cloudera (СDP / CDF)
3 тижні
3.1
Очищення HDP / HDF PROD Environment
3.2
Інсталяція та конфігурація CDP PROD Environment
3.3
Перенесення розробок і даних з HDP / HDF Prod Environment в CDP PROD Environment
3.4
Тестування і тюнінг середовища CDP Prod Environment
Компанія АМ-БІТС є прямим партнером Cloudera (Silver Partner) і має виділену Big Data команду з 15 висококваліфікованих архітекторів та інженерів, серед яких 7 фахівців сертифікованих Hortonworks і Cloudera. АМ-БІТС має 5 років досвіду з побудови Big Data рішень на базі технологій Hadoop для корпоративних клієнтів (включаючи проекти для міжнародних банків, телеком операторів і медіа компаній).
Ми готові розробити стратегію розвитку корпоративної платформи даних з урахуванням кращих міжнародних практик та реалізувати проект з міграції або впровадження Cloudera Data Platform, забезпечивши безперебійну роботу сервісів, а також, по завершенню проекту міграції/впровадження, забезпечити технічну підтримку рішення як у віддаленому режимі так і on-site.
