Семплирование

Семплирование – это процесс отбора подмножества элементов из большего набора информации для анализа с целью получить выборку, которая отражает характеристики всей совокупности данных. Оно позволяет сэкономить ресурсы.

Когда применяется семплирование данных

Виды семплирования

Семплирование в Google Analytics и Яндекс Метрике

Когда применяется семплирование данных

Семплирование применяется в следующих целях и сферах:

• анализ Big Data. Когда полный набор данных слишком велик для обработки имеющимися вычислительными ресурсами, для ускорения анализа и получения быстрых предварительных результатов;
• машинное обучение. При разделении данных на обучающую, валидационную и тестовую выборки, для балансировки классов в задачах классификации, при использовании методов, требующих меньшего объема данных;
• статистические исследования. Проведение опросов и социологических исследований, контроль качества в производстве, экологические и биологические исследования;
• обработка сигналов. В аудио- и видеообработке для уменьшения частоты дискретизации, в телекоммуникациях для передачи данных;
• бизнес-аналитика. Анализ поведения клиентов, тестирование маркетинговых стратегий, A/B-тестирование;
• оптимизация баз данных. Для тестирования производительности запросов, при миграции данных между системами;
• научные эксперименты. Когда полное исследование слишком дорого или трудоемко, для предварительной оценки гипотез;
• мониторинг и диагностика. В системах мониторинга сетей и оборудования, для диагностики редких событий или аномалий;
• опросы. Проведение опросов среди клиентов или пользователей, фокус-группы.

Виды семплирования

Выборки при семплировании бывают:

• случайными. Каждый элемент в наборе данных имеет одинаковую вероятность быть включенным в выборку;
• стратифицированными. Набор данных сначала делится на подгруппы (страты) по какому-либо признаку, а затем из каждой подгруппы отбирается случайная выборка;
• кластерными. Набор данных делится на кластеры, а затем из них отбирается случайная выборка;
• систематическими. Из набора данных выбирается первый элемент случайным образом, а затем отбирается каждый k-ый элемент после этого.

Семплирование в Google Analytics и Яндекс Метрике

Семплирование также применяется в системах веб-аналитики для обработки больших объемов трафика. 

В Google Analytics оно используется в следующих случаях:

• при обработке специальных запросов в случае, если необходимо обработать более 500 000 сеансов;
• при модификации отчета по многоканальным последовательностям – путям, которые показывают все точки касания клиента с компанией до покупки.

В Яндекс Метрике семплирование применяется при составлении аналитических отчетов, когда число визитов превышает 500 000. Данный метод не используется при формировании отчетов категории «Директ».