Интеграция Hadoop с Microsoft Power BI
Как стало известно CNews, первый эксперимент ВТБ повнедрению инструментов больших данных с использование свободного ПО в своемразвитии сделал ставку на более традиционные проприетерные программные продукты.Пользователям созданной в банке системы ГАУСС для формирования аналитической иуправленческой отчетности на открытой платформе Hadoop с использованием свободнойСУБД PostgreSQL и применением технологий обработки данных Apache Spark и ApacheZeppelin потребовались привычные инструменты бизнес-аналитики, а именно MicrosoftPower BI.
С учетом того, что напрямую Power BI с Hadoop взаимодействоватьне может, но хорошо работает с данным в Microsoft SQL Server, в ВТБ решилиосуществить интеграцию этой СУБД с Hadoop, задействовав для этого MicrosoftPolybase. Эта технология обращается к информации за пределами базы данных спомощью языка Transact-SQL (T-SQL — процедурное расширение языка SQL). В SQLServer она позволяет выполнять запросы к внешним данным в хранилище BLOB-объектов(массивов двоичных данных) Hadoop, а также импортировать в него данные иэкспортировать их из него.
Помощь из Microsoft
Polybase призвана считывать данные из Hadoop в разныхрежимах, однако в ВТБ при использовании некоторых из них возникли определенныесложности. Для их устранения банк обратился к вендору решения — Microsoft.
Как сообщил CNews начальник управления автоматизациитранзакционного бизнеса департамента ИТ группы ВТБ Артем Батюков, в итоге над вопросом импорта данных из Hadoopнепосредственно в таблицы SQL Server совместно работали специалисты и ВТБ, и Microsoft,и компании Luxoft, которую в банке именуют вендором проекта по созданию ГАУССа.
«Мы привлекли технических специалистов Microsoft суникальными навыками, например, специально для этой задачи дополнительнопривлекли архитектора и разработчика, которые эффективно справляются с задачамиR&D и проведения POC (Proof of Concept, проверочные испытания; — прим. CNews), — говорит Батюков. — Кромеэтого, Microsoft также выделял дополнительно специалистов для поддержки решенияэтой задачи».
В итоге, как рассказали CNews в ВТБ, на данный момент всепроблемы решены, а проект интеграции носит статус завершенного.
В чем именнопреимущества Power BI для ВТБ
Рассуждения об объективных причинах использования в работе сбольшими данными в ВТБ Power BI Артем Батюков в разговоре с CNews начал суказания на то, что Hadoop и Apache Spark позволяют банку обрабатывать большиеобъемы данных по заранее согласованным алгоритмам. «В большом банке, а ВТБ — этоогромный банк, таких транзакций в день несколько миллионов только по крупнымклиентам банка, — говорит он. — Таким образом, есть предварительно настроенныеалгоритмы, применяя которые, система ежедневно эффективно формируетдетализированный массив данных, который показывает заданные параметры покаждому продукту банка для каждого счета, клиента».
По словам Батюкова, для реализации любого алгоритма в Hadoopтребуются навыки в программировании. Что же касается Microsoft Power BI, то онпозволяет аналитикам строить любые отчеты в рамках предварительно настроенноймодели данных, источником которых является Hadoop, без каких либо навыковпрограммирования — инструмент очень прост и похож на MS Excel и другиеинструменты MS Office.
«Например, мы хотим изучить объемы транзакций по продуктам,клиентам и счетам за произвольный период, — поясняет Батюков. — С помощью PowerBI мы быстро выбираем сущности “продукт”, “клиент”, “счет”, задаем период инаходим требующиеся для отображения детали. В результате пользователь быстрополучает необходимую информацию в нужных разрезах в рамках заданной модели,которая в отличие от Hadoop ограничивает детализацию данных. В Hadoop хранитсябольшое количество деталей, например, номер, дата, сумма транзакции, а в PowerBI используются только агрегированные данные, например суммы комиссий».
Кроме того, Батюков обращает внимание на то, что MicrosoftPower BI — это инструмент бизнес-аналитики, который уже и так используется вбанке централизовано, а приверженность единому ИТ-ландшафту более выгодна сэкономической точки зрения.
Прошлое, настоящее ибудущее проекта ГАУСС
Напомним, о завершении пилотного проекта по созданию наоснове Hadoop системы ГАУСС (GAUSS — Global Transaction Business AnalyticUnified Source & System, единая аналитическая система-источник длятранзакционного бизнеса) CNews писал в июле 2017 г. Планы по интеграции системыс Microsoft Power BI были анонсированы еще тогда.
Для банка это стало первым опытом в области большихданных, хотя в целом в группе ВТБ (в частности, в ВТБ 24) уже внедрены проприетарныерешения Teradata, SAS и Oracle.
Проект стартовал в ноябре 2016 г. Ключевой его этапзавершился в мае 2017 г., после чего было принято решение о развитиифункциональности к сентябрю 2017 г.
ГАУСС работает на кластерах, состоящих из множества узлов, где предусмотренодублирование системы на случай выхода из строя одного из них и осуществляетсяподдержка нескольких рабочих копий данных. «Hadoop был выбран для построения системы, так как его работаоснована на принципе параллельной обработки данных, — поясняют в банке — этопозволяет увеличить скорость формирования отчетности и построения прогнозов.Система отличается особой отказоустойчивостью и возможностью параллельнойработы и пользователей, и программистов одновременно».
Система ГАУСС впервые в группе ВТБ была реализована поизвестному методу гибкой разработки Agile scrum. В банке считают, что прииспользовании традиционных подходов проект растянулся бы на год, то есть занялбы в два раза больше времени. «Кроме того, уже в ходе проекта были внесеныправки и изменения, что существенно повышает качество конечного результата», —отмечают в организации.
В июле 2017 г. ГАУСС использовался для построения отчетности.Сейчас в ВТБ сообщили CNews, что за прошедшее время банку удалось подключить ксистеме альтернативные источники информации. В планах — реализация прогнозногомодуля. «Проект постоянно развивается в соответствии с последнимимеждународными инновациями, на данный момент мы изучаем возможности внедренияData Science и AI», — говорит Артем Батюков.
Несколько фактов о банке ВТБ
Банк ВТБ выступает ключевым активом российской финансовой группы ВТБ,объединяющей более 20 кредитных и финансовых компаний, работающих во всехосновных сегментах финансового рынка.
По данным ранкинага «Интерфакс-100», по итогам третьего квартала 2017 г.банк сохранил за собой второе место в России по величине активов, объем которыхсоставил 9,36 трлн руб.