Big Data: расширение корпоративного хранилища данных

Клиент: Банк

Отрасль: Финансовый сектор

Масштаб: 5000+

Цель проекта:  

  • Построение экономически эффективного хранилища с возможностью анализа исторических данных любой глубины.
  • Обеспечение параллельной многопоточной обработки данных.
  • Унификация доступа к различным источникам данных со стороны BI систем
    и аналитических групп.
  • Оптимизация работы аналитических подразделений за счет сокращения времени построения отчетов.
  • Снижение пиковых нагрузок, которые возникают во время построения отчетности.

ОписаниеУ заказчика в качестве хранилища данных было внедрено решение от Teradata, дальнейшее расширение хранилища требовало значительных инвестиций. Приходилось делать выбор между глубиной хранения и экономической эффективностью, перенос архивных данных на ленточные хранилища делал невозможным их использование для расширенной аналитики.

Решение: Предложено перенести редко используемые данные и часть ETL процессов в Hadoop, а также использовать виртуализацию данных.

Архитектура оптимизации Data Warehouse

Результат: Решена задача экономически эффективного масштабирования емкости хранения и вычислительной мощности хранилища. ROI > 200 % для первого этапа и более 500% для дальнейшего расширения. Благодаря виртуализации данных достигнута более целостная и гибкая работа с данными. Скорость подготовки данных для аналитики значительно возросла, что позволяет снизить затраты (до 75%) на подготовку и публикацию данных для аналитических инструментов и приложений.