Что такое ETL?
Аббревиатура ETL расшифровывается как «Extract, Transform, Load», что в переводе на русский язык означает «Извлечение, Преобразование, Загрузка». Инструменты ETL собирают необработанные данные из разрозненных источников, преобразовывают в удобный для обработки формат и объединяют их в централизованную базу данных.
Первые ETL-системы появились ещё в 1970-х годах, они только объединяли информацию из нескольких хранилищ в одно общее. Такие инструменты были примитивными и обрабатывали совсем небольшой объем информации по современным меркам.
До конца XX века хранение и преобразование информации осуществлялось в основном только на локальных хранилищах. Но объем данных рос, их обработка становилась сложнее и запутаннее. Традиционной инфраструктуре не хватало скорости и возможности масштабирования. И тут на помощь пришли облачные технологии.
Облако — это единственное место, где можно выполнить высокоскоростную и сложную аналитику. Облачные хранилища могут бесконечно масштабироваться, что позволяет вместить любой объем информации. Плюс они поддерживают массово-параллельную архитектуру (MPP), это увеличивает скорость обработки за счет распределения вычислительных ресурсов.
Как устроен процесс ETL?
Процесс состоит из трех этапов, следующих из названия: извлечения, преобразования и загрузки:
- Извлечение: необработанная информация извлекается из разрозненных источников, например, из баз данных (БД) или приложения.
- Преобразование: полученные данные изменяются для дальнейшей обработки. В процесс преобразования входят очистка, удаление дублей, объединение, создание новых записей на основе существующих, проверка и многое другое.
- Загрузка: после преобразования информация загружаются в целевую систему, которая в основном представляет собой БД или инструмент для аналитики.
Также стоит упомянуть про процесс, именуемый ELT. Он представляет собой альтернативу ETL, в которой данные сначала поступают в целевую базу, и только после этого преобразовываются.
Типы инструментов ETL
1. Традиционный (пакетный)
Традиционно инструмент ETL извлекает информацию из одной или нескольких БД оперативной обработки транзакций (OLTP), также известных как «транзакционные БД». Информация извлекаются в промежуточное хранилище, которое находится между источником и конечной БД. В нем инструмент ETL преобразовывает данные, объединяет их и оптимизирует для анализа.
Затем инструмент загружает данные в систему поддержки принятия решений (DSS), где аналитики могут выполнять запросы и представлять результаты анализа для составления дальнейшей бизнес-стратегии.
2. Современный (облачный)
Для современной аналитики данных и ETL используются только облачные технологии. Только у облака есть скорость, масштабируемость и практичность, необходимые для обработки огромных объемов структурированной и неструктурированной информации.
Мощные облачные хранилища не нуждаются во внешних ресурсах (например, в промежуточном сервере) для выполнения преобразований.
Данные можно анализировать из предварительно рассчитанных сводок OLAP, что еще больше упрощает и ускоряет процесс. Преобразования и моделирование выполняются с помощью SQL — языка, общего для специалистов в области data и аналитиков.
Зачем бизнесу процесс ETL? Кейсы применения
Данные — это новая нефть. Как и с сырьем, здесь важны этапы хранения, обработки и обогащения для получения продуктов. Аналитическая платформа может стать основой целого бизнеса, если понимать, какие продукты на основе такой информации востребованы. К нам, например, обращались:
— агрегатор сравнения цен на маркетплейсах;
— сервис актуарных расчетов для страховых компаний;
— инфраструктурное решение для аналитики маркетинга, рекламы и бизнес-процессов.
Любой бизнес может находить неожиданные точки роста на основе данных. Отличная иллюстрация тому кейс Walmart — специалисты крупнейшего американского ритейлера обнаружили, что пиво и детские подгузники часто покупали вместе. Когда Walmart разместили эти две категории товаров в соседних рядах, они обнаружили, что продажи увеличились. Так аналитика данных подтвердила гипотезу о том, что жены отправляли мужей после работы за подгузниками, и те вдобавок брали для себя бутылку пива.
Это лишь один из примеров, изображающих важность углубленной обработки данных для бизнеса. В чем тут может помочь процесс ETL?
- Экономит время при ручной обработке данных. Он помогает собирать, преобразовывать и консолидировать информацию автоматически.
- Упрощает работу со сложными данными. Компаниям приходится работать с большими объемами сложной и разнообразной информации. Файлы могут быть разных типов и форматов. Например, информация о поступлении товаров от поставщиков, заказы оптовых и розничных клиентов, остатки товаров в магазинах и прочее.
- Снижает риски, связанные с человеческим фактором. Даже при небольшом объеме данных бизнес не застрахован от ошибок. Например, сотрудник может случайно ввести неверную информацию в систему или продублировать ее. Инструменты ETL помогут избежать такого сценария.
- Повышает показатель ROI. Любая бизнес-аналитика направлена на то, чтобы экономить время, усилия и ресурсы. Чем быстрее и качественнее будет эта аналитика, тем выше будет окупаемость инвестиций.
Примеры использования ETL
Синхронизация данных из нескольких источников
Компании часто хранят данные в нескольких независимых системах. Например, каждый магазин на предприятии розничной торговли хранит информацию о своей продукции, продажах, поставках.
Если просто объединить их из всех магазинов в одной базе, то они будут некорректными, ведь у магазинов могут быть общие покупатели и продукция. В данном случае БД лучше объединить с помощью инструмента ETL, который удалит дубликаты, стандартизирует все форматы и синхронизирует данные.
Миграция данных из устаревших систем
Еще один пример использования — когда компании переносят данные из устаревших систем в обновленную.
Во время переноса инструмент ETL преобразовывает данные в формат, совместимый с новой инфраструктурой. Например, в одной системе номера телефонов записаны в формате +7 (111) 111-11-11, а в другой 81111111111. ETL приведет данные к одинаковому формату, прежде чем сохранять их в целевой системе.
Машинное обучение
Это метод анализа данных, при котором аналитические модели составляются автоматически с помощью вычислений. В данном случае ETL используется сначала для сбора информации из разрозненных источников, а затем для перемещения данных из хранилищ в центр обработки.
Интернет вещей (IoT)
Internet of Things — это сеть, которая позволяют физическим устройствам взаимодействовать между собой. Благодаря этому техника совместно может решать более сложные задачи, чем по-отдельности. Самый популярный пример использования IoT — системы умных домов. Они позволяют выводить информацию со всех датчиков, а также состояния и значения со всех приборов. ETL в данной ситуации нужен как раз для объединения всей информации на одном дашборде.
Большие данные (Big Data).
В работе с Big Data всегда будет требоваться интеграция данных между разными системами. Инструменты ETL изначально и предполагались как решения для работы с большим количеством запросов, но их функциональность вышла далеко за пределы этих возможностей.
Бизнес-аналитика.
ETL может использоваться в маркетинговых стратегиях, организации бизнес-процессов, оптимизации затрат и в других видах аналитики. На основе информации, полученной с помощью ETL, бизнес-аналитик делает прогнозы и выдвигает новые предложения по улучшению бизнеса.
Пять этапов для внедрения ETL
Шаг 1: Определение источников
Первым шагом является четкое определение источников данных, которые нужно будет интегрировать в будущее хранилище. Этими источниками могут быть реляционные БД SQL, нереляционные БД NoSQL, платформы программного обеспечения как услуги SaaS или другие приложения. Как только источники определены, нужно определить конкретные поля, которые необходимо извлечь.
Шаг 2: Трансформация
Следующий шаг — преобразовать эти данные, чтобы сделать их однородными. Это выполняют операции для обработки информации, такие как агрегация, объединение, сортировка, функции объединения и т. д.
Шаг 3: Загрузка
После преобразования пришло время загрузить данные в новое хранилище. На этом этапе вам нужно будет установить частоту загрузки. То есть указать время, необходимое для выполнения процесса ETL. Также на этом этапе необходимо выбрать, нужно ли загружать новые данные поверх старых или существующие данные будут только обновляться.
Шаг 4: Проверка
Проверку количества записей важно выполнить и до и после передачи данных в хранилище, чтобы исключить недопустимые и избыточные данные.
Шаг 5: Автоматизация
Последним шагом является автоматизация процесса ETL с помощью инструментов, позволяющих сэкономить время, повысить точность и уменьшить усилия, связанные с ручным запуском процесса. С помощью инструментов автоматизации ETL можно проектировать рабочий процесс ETL и контролировать его с помощью простого графического интерфейса. Кроме того, эти инструменты зачастую обладают дополнительными функциями, такими как профилирование и очистка данных.
Выводы
Для современных предприятий грамотно настроенный ETL-процесс — это очень важный инструмент для проведения бизнес-аналитики. Не всегда доступны готовые решения, а также такие решения сложно кастомизируются под нужды бизнеса, поэтому есть ситуации, в которых требуется индивидуальная разработка.
Стоит учитывать, что создание кастомной ETL-системы — это комплексная работа. Например, ядро системы лучше написать на Python, так как для обработки данных потребуются математические вычисления. Управление инфраструктурой осуществляется через DevOps практики, а для создания дашбордов с графиками лучше использовать SPA на современном фреймворке, например React.
Разработка ETL-системы — это сложная задача, состоящая из ряда услуг, для которых требуется целая команда разработчиков. Поэтому даже при наличии разработчиков в штате есть смысл отдать часть услуг на аутсорсинг.
