Как мигрировать Hortonworks Data Platform на Cloudera Data Platform?

Зачем мигрировать с HDP / CDH?

В 2019 году компания Cloudera презентовала новую платформу – Cloudera Data Platform, которая позиционируется как универсальное решение, позволяющее управлять данными в любой среде: Public Cloud, bare metal, Private Cloud, а также гибридное облако.

migration_Hortonworks_Cloudera_1

В соответствии с новой стратегией развития, презентованной главным техническим директором Cloudera по эксплуатации в регионе EMEA Яном Кунигком (Jan Kunigk),и старшим менеджером по инженерным решениям Cloudera в Германии, Австрии, Восточной Европе и России Флорианом фон Вольтером (Florian von Walter) – журнал “Storage News” № 1 (76), 2020 , развитие решений на базе Hadoop on premise является первым этапом, далее предполагается перенос мощностей в  Public Cloud, и, в конечном итоге, в  Hybrid Cloud.

Учитывая новую стратегию Cloudera, рекомендуется мигрировать с платформ CDH – Cloudera Distribution of Hadoop и HDP – Hortonworks Data Platform на CDP, поскольку их поддержка будет прекращена после 31 декабря 2021, т.е., данные продукты не будет обновляться, и невозможно будет закупить техническую поддержку на решения на базе HDP, CDH. Это означает, что корпоративным клиентам, с целью сохранения функциональности своих решений, построенных на базе HDP, CDH необходимо провести миграцию на актуальный стек.

Почему CDP?

Мы рекомендуем пользователям HDP и CDH провести миграцию на Cloudera стек, поскольку Cloudera предлагает наиболее полный набор инструментов для работы с корпоративными данными:

  • Cloudera Data Platform – платформа для организации сбора и хранения данных, для построения EDW, EDH
  • EDGE & FLOW MANAGEMENT – для управления, контроля и мониторинга конечных устройств
  • STREAMS MESSAGING – для доставки больших объемов поступающих данных в реальном времени.
  • STREAM PROCESSING & ANALYTICS – для получения аналитических данных в режиме реального времени.
  • DATA SCIENCE WORKBENCH – Обеспечивает возможность анализа данных, использование AI ML инструментов.
  • Cloudera Manager – подсистема управления кластером.
  • Cloudera также предлагает полный перечень инструментов, которые покрывают задачи, связанные с Data Security, Data Management, Data Governance.
  • Для решений Cloudera доступна полноценная техническая поддержка от вендора.

Сравните функции и компоненты рассматриваемых платформ.

Важным изменением политики вендора является отсутствие бесплатного дистрибутива CDP в свободном доступе. В то же время, дополнительные функции и инструменты превращают Cloudera стек в самый удобный и экономически эффективный инструмент для построения решений на базе Hadoop на корпоративном уровне.

Подготовка к миграции

Cloudera предоставляет подробные инструкции по организации процесса миграции, предполагается несколько сценариев:

migration_HDP_CDP_3.png

Для скачивания доступны пробные версии CDP для различных сред:

Процесс интеграции

  1. Определите свой вариант миграции CDP: полное обновление или миграция с учетом требований к безотказной работе.
  2. Проверьте требования к обновлению и выполните все предварительные условия.
  3. Определите целевую среду:
    • CDP on premise рекомендуется для заказчиков, которые в силу требований законодательства или внутренних корпоративных политик не рассматривают вариант миграции в облако.
  4. Установите, перенесите, протестируйте и подтвердите.

Пример плана миграции:

1.

Миграция DEV окружения со стека Hortonworks (HDP/HDF) на стек Cloudera (СDP/CDF)

2 недели

1.1

Очистка тестового окружения и подготовка требований к инфраструктуре и безопасности.

1.2

Инсталляция и конфигурирование CDP DEV Enviroment

1.3

Перенос разработок и данных из HDP/HDF DEV Enviroment в CDP DEV Enviroment

1.4

Тестирование и тюнинг окружения CDP DEV Enviroment

2.

Расширение кластера TEST и миграция со стека Hortonworks (HDP/HDF) на стек Cloudera (СDP/CDF)

2 недели

2.1

Очистка HDP/HDF DEV Enviroment

2.2

Инсталляция и конфигурирование CDP TEST Enviroment

2.3

Перенос разработок и данных из CDP DEV Enviroment в CDP TEST Enviroment

2.4

Тестирование и тюнинг окружения CDP TEST Enviroment

3.

Построение кластера PROD на стеке Cloudera (СDP/CDF)

3 недели

3.1

Очистка HDP/ HDF PROD Enviroment

3.2

Инсталляция и конфигурирование CDP PROD Enviroment

3.3

Перенос разработок и данных из HDP/HDF Prod Enviroment в CDP PROD Enviroment

3.4

Тестирование и тюнинг окружения CDP Prod Enviroment

Связаться с нами

Компания АМ-БИТС является прямым партнёром Cloudera (Silver Partner) и имеет выделенную Big Data команду  из 15 высококвалифицированных архитекторов и инженеров, в числе которых 7 специалистов сертифицированных Hortonworks и Cloudera. АМ-БИТС имеет 5 лет опыта по построению Big Data решений на базе технологий Hadoop для корпоративных клиентов (включая проекты для международных банков, телеком операторов и медиа компаний).

Мы готовы разработать стратегию развития корпоративной платформы данных с учётом лучших международных практик и реализовать проект по миграции или внедрению Cloudera Data Platform, обеспечив бесперебойную работу сервисов, а также, по завершению проекта миграции/внедрения, обеспечить техническую поддержку решения как в удалённом режиме так и on-site.

Если Вы хотите получить дополнительную консультацию по теме миграции, напишите нам:



    Посмотреть реализованные кейсы по Big Data проектам