Использование технологий BIGDATA для анализа транспортных потоков на

Использование технологий BIGDATA для анализа транспортных потоков на основе данных потока фотофиксации

Костарев Алексей Федорович, консультант 1 -й категории Группа компаний ЗАО «ИВС» (г. Пермь, Россия) kaf@ics. perm. ru kaf@nevod. ru

Рубежи наблюдения

Аналитика потока событий фиксации

Проблемы стандартного подхода Сервисная шина не способна обработать поток событий большой интенсивности (не более 20 -30 событий в секунду) Хранение большого объема событийной информации в реляционной базе приводит к большим временам ответа на поисковый запрос (несколько минут при хранении данных более месяца) Решения немасштабируемы — при увеличении объема и интенсивности данных добавление узлов не приводит к повышению производительности — необходимо переписывать ПО

Схема потоков данных с использованием технологи Big. Data (kafka, Hadoop, SPARK)

Нагрузочный тест брокера kafka на одном сервере

In. Memory обработка. SPARK. RDD-таблицы

Полученные преимущества Брокер сообщений kafka на одном сервере выдерживает нагрузку до 1000 cоб/сек Хранение и индексирование данных в No. SQL базе данных позволяет хранить огромные (сотни миллионов, …, десятки миллиардов) массивы событий с небольшим (доли секунд, секунды) временем поиска. Использование Big. Data решений (Apache Hadoop, Apache Spark) позволяет обрабатывать в распределенном режиме огромные (до сотен петабайт) объемы данных. Apache Spark предоставляет богатый математический аппарат для стандартной и предиктивной аналитики. Разработанные решения горизонтально-масштабируемы. При достижения предела производительности текущего кластера (сервера) в режиме горячей замены достаточно лишь добавить сервер(а) в кластер.