22 Фев Как мигрировать Hortonworks Data Platform на Cloudera Data Platform?

Зачем мигрировать с HDP / CDH?

В 2019 году компания Cloudera презентовала новую платформу — Cloudera Data Platform, которая позиционируется как универсальное решение, позволяющее управлять данными в любой среде: Public Cloud, bare metal, Private Cloud, а также гибридное облако.

В соответствии с новой стратегией развития, презентованной главным техническим директором Cloudera по эксплуатации в регионе EMEA Яном Кунигком (Jan Kunigk),и старшим менеджером по инженерным решениям Cloudera в Германии, Австрии, Восточной Европе и России Флорианом фон Вольтером (Florian von Walter) – журнал “Storage News” № 1 (76), 2020 , развитие решений на базе Hadoop on premise является первым этапом, далее предполагается перенос мощностей в  Public Cloud, и, в конечном итоге, в  Hybrid Cloud.

Учитывая новую стратегию Cloudera, рекомендуется мигрировать с платформ CDH – Cloudera Distribution of Hadoop и HDP – Hortonworks Data Platform на CDP, поскольку их поддержка будет прекращена после 31 декабря 2021, т.е., данные продукты не будет обновляться, и невозможно будет закупить техническую поддержку на решения на базе HDP, CDH. Это означает, что корпоративным клиентам, с целью сохранения функциональности своих решений, построенных на базе HDP, CDH необходимо провести миграцию на актуальный стек.

Почему CDP?

Мы рекомендуем пользователям HDP и CDH провести миграцию на Cloudera стек, поскольку Cloudera предлагает наиболее полный набор инструментов для работы с корпоративными данными:

• Cloudera Data Platform – платформа для организации сбора и хранения данных, для построения EDW, EDH
• EDGE & FLOW MANAGEMENT – для управления, контроля и мониторинга конечных устройств
• STREAMS MESSAGING – для доставки больших объемов поступающих данных в реальном времени.
• STREAM PROCESSING & ANALYTICS – для получения аналитических данных в режиме реального времени.
• DATA SCIENCE WORKBENCH — Обеспечивает возможность анализа данных, использование AI ML инструментов.
• Cloudera Manager — подсистема управления кластером.
• Cloudera также предлагает полный перечень инструментов, которые покрывают задачи, связанные с Data Security, Data Management, Data Governance.
• Для решений Cloudera доступна полноценная техническая поддержка от вендора.

Сравните функции и компоненты рассматриваемых платформ.

Важным изменением политики вендора является отсутствие бесплатного дистрибутива CDP в свободном доступе. В то же время, дополнительные функции и инструменты превращают Cloudera стек в самый удобный и экономически эффективный инструмент для построения решений на базе Hadoop на корпоративном уровне.

Подготовка к миграции

Cloudera предоставляет подробные инструкции по организации процесса миграции, предполагается несколько сценариев:

Для скачивания доступны пробные версии CDP для различных сред:

• 48-часовый тест-драйв платформы Cloudera в облаке
• бесплатная пробная версия CDP Private Cloud для ознакомления и тестирования  
• также доступен CDP Upgrade Advisor , где собраны подробные рекомендации по отдельным кластерам.

Процесс интеграции

1. Определите свой вариант миграции CDP: полное обновление или миграция с учетом требований к безотказной работе.
2. Проверьте требования к обновлению и выполните все предварительные условия.
3. Определите целевую среду:
   • CDP Public Cloud Cloudera рекомендует для систем до 50 нод:
     • HDP в CDP Public Cloud
     • CDH в CDP Public Cloud
   • CDP Private Cloud Cloudera рекомендует для систем свыше 50 нод:
     • HDP в CDP Private Cloud  
     • CDH в CDP Private Cloud
   • CDP on premise рекомендуется для заказчиков, которые в силу требований законодательства или внутренних корпоративных политик не рассматривают вариант миграции в облако.
4. Установите, перенесите, протестируйте и подтвердите.

Пример плана миграции:

Связаться с нами

Компания АМ-БИТС является прямым партнёром Cloudera (Silver Partner) и имеет выделенную Big Data команду  из 15 высококвалифицированных архитекторов и инженеров, в числе которых 7 специалистов сертифицированных Hortonworks и Cloudera. АМ-БИТС имеет 5 лет опыта по построению Big Data решений на базе технологий Hadoop для корпоративных клиентов (включая проекты для международных банков, телеком операторов и медиа компаний).

Мы готовы разработать стратегию развития корпоративной платформы данных с учётом лучших международных практик и реализовать проект по миграции или внедрению Cloudera Data Platform, обеспечив бесперебойную работу сервисов, а также, по завершению проекта миграции/внедрения, обеспечить техническую поддержку решения как в удалённом режиме так и on-site.

Если Вы хотите получить дополнительную консультацию по теме миграции, напишите нам:

Посмотреть реализованные кейсы по Big Data проектам