Архитектура Yupana

Yupana – аналитическая платформа с открытым исходным кодом для анализа больших данных.

Она обеспечивает:

  • перевод транзакционной информации в форму пригодную для бизнес анализа;
  • хранение обработанной информации в формате оптимизированном для выполнения аналитических задач на многомерных временных рядах;
  • массовую и Online обработку данных.

Платформа поддерживает SQL-подобный синтаксис запросов, которые могут выполнятся на выделенном сервере или в кластере Apache Spark.

Архитектура Yupana не привязана к конкретному хранилищу. Существующая реализация использует в качестве хранилища Apache HBase. Данные сохраняются в виде отдельных временных рядов.

Временной ряд — это собранные в разные моменты времени данные о значении наблюдаемых параметров.

Структура временных рядов:

  • Время измерения – обязательная размерность временного ряда, является частью первичного составного ключа. При выполнении запросов всегда должны быть указаны ограничения по времени;
  • Измерения – поля сущности, которые являются частью первичного составного ключа и позволяют выполнять быстрый поиск. Например: идентификатор устройства или название товара;
  • Метрики – значения наблюдений. Например: сумма и количество;
  • Внешние связи – интерфейсы отображения и/или группировки размерностей, которые позволяют определить древовидные размерности временного ряда. Например: Город отображается в уникальный идентификатор устройства.

Модули Yupana

Архитектура Yupana