Определение и описание data mining

Что такое data mining?

Data mining, или интеллектуальный анализ данных, – процесс «просеивания» больших массивов данных с целью извлечь из них ценную информацию для конкретного применения. Он является неотъемлемой частью науки о данных и бизнес-аналитики и направлен в первую очередь на поиск закономерностей.

Из собранных и помещенных в хранилище данных необходимо извлечь знания – иначе они будут бесполезны. Анализ данных выполняется различным образом, в том числе с использованием машинного обучения и сложных адаптивных алгоритмов.

Более традиционные методы включают работу аналитиков данных. Это эксперты, обученные извлекать знания из сложной информации и составлять отчеты, на основе которых руководители могут принимать решения.

Как работает data mining?

Data mining состоит в анализе и поиске значимых закономерностей и тенденций в крупных объемах информации. Этот процесс включает в себя сбор данных, постановку цели и применение методов data mining. Конкретный подход зависит от цели, но в целом процесс остается неизменным. Типичный процесс data mining описан ниже.

Определение цели. Чего вы хотите? Лучше изучить поведение клиентов? Сократить затраты или повысить выручку? Выявить мошеннические операции? Важно четко поставить цель в самом начале.

Сбор данных. Какие данные вы будете собирать, зависит от цели. Как правило, организации используют разные базы для хранения данных. Например, в отдельной базе находится информация, собранная у клиентов во время транзакций.

Очистка данных. Обычно собранные данные требуется очистить, преобразовать и проверить.

Исследование данных. На этом этапе аналитики проводят статистический анализ данных и строят визуальные графики и таблицы. Это позволяет выявить переменные, значимые для поставленной цели, и сформировать начальную гипотезу для построения модели.

Построение модели. Для достижения цели data mining используются различные методы (их мы описываем ниже), и на данном этапе определяется подход, который позволит получить наиболее ценные результаты. В зависимости от цели, аналитики могут выбрать один или несколько подходов, описанных в следующем разделе. Построение модели – итеративный процесс, и в новой итерации может понадобиться снова преобразовать данные, так как некоторые модели поддерживают только специальные форматы.

Проверка результатов. На этом этапе аналитики изучают результаты, чтобы подтвердить их точность. В случае неудачи они перестраивают модель и повторяют попытку.

Реализация модели. На этом этапе найденную полезную информацию можно использовать для достижения цели, поставленной в самом начале.

Виды data mining

Существуют различные методы data mining. Выбор метода зависит от общей цели. Кроме того, выбор методов определяется моделью данных. Модели данных делятся на следующие основные категории: дескриптивные (описательные), предиктивные (прогнозирующие) и прескриптивные (предписывающие).

Дескриптивное моделирование

Используется для выявления сходств или групп в массивах исторических данных, например категорий клиентов по потребительским предпочтениям или настроениям, и таким образом помогает определить причины успеха или провала. Примеры используемых методов:

Ассоциативные правила, или анализ потребительской корзины. Этот вид data mining направлен на поиск связей между переменными. Например, ассоциативные правила можно использовать при изучении истории продаж, чтобы узнать, какие продукты клиенты чаще всего покупают вместе. Компания может использовать эту информацию для планирования, продвижения и прогнозирования продаж.
Кластерный анализ. Направлен на поиск сходств внутри набора данных и разделение точек данных с общими свойствами на подмножества. Кластерный анализ позволяет, например, сегментировать потребителей в зависимости от поведения, статуса потребностей, этапа жизненного цикла или предпочтительных маркетинговых каналов.
Анализ исключений. Этот метод используется для поиска аномалий, то есть данных, не вписывающихся в закономерности. Анализ исключений особенно полезен для выявления мошеннических операций, мониторинга проникновений в сеть и расследования преступлений.

Предиктивное моделирование

Используйте для классификации будущих событий или прогнозирования еще неизвестных результатов. Примером может быть кредитная оценка клиента банка, позволяющая определить вероятность выплаты кредита. Примеры используемых методов:

Деревья принятия решений. Используются для классификации или прогнозирования результатов на основе списка заданных критериев. Для анализа используются последовательные вопросы, которые помогают отсортировать данные в зависимости от ответов. Иногда визуальное представление дерева принятия решений действительно напоминает дерево, по веткам которого аналитик продвигается, углубляясь в данные.
Нейросети. Это модели для обработки данных в узлах. Они состоят из нейронов входного слоя, весовых значений связей и нейронов выходного слоя. Когда нейросеть учится под руководством человека, между узлами данных в ней проводятся связи, похожие на связи между нейронами в человеческом мозге. Нейросеть можно использовать для получения пороговых значений, помогающих определить точность модели.
Регрессионный анализ. Регрессионный анализ помогает определить наиболее значимые факторы в наборе данных, факторы, которыми можно пренебречь, и взаимодействия между ними.
Классификация. Это распределение точек данных по группам или классам в зависимости от конкретного вопроса или задачи. Например. чтобы оптимизировать стратегию скидок на конкретный продукт, компания может проанализировать следующие группы данных: показатели продаж, уровень запасов, скорость использования скидочных купонов и данные о поведении потребителей. Результаты анализа помогут принять информированное решение.

Прескриптивное моделирование

Неструктурированных данных из интернета, электронной почты, комментариев, книг, PDF-файлов и других текстовых источников становится все больше. В связи с этим распространение получает text mining (интеллектуальный анализ текстовых данных) – родственная data mining дисциплина. Чтобы предиктивные модели могли составлять точные прогнозы с использованием неструктурированных данных, аналитики должны систематизировать, фильтровать и преобразовывать эти данные.

Виды данных в data mining

С помощью data mining можно анализировать следующие данные:

данные из баз или хранилищ данных;
транзакционные данные, например бронирования авиабилетов, клики на веб-сайтах, покупки и др.;
технические данные проектов;
данные последовательностей;
данные в графах;
пространственные данные;
мультимедийные данные.

Почему data mining важен?

Большинство организаций переходят на цифровые технологии. В результате они получают в свое распоряжение огромные массивы данных, которые при должном анализе позволят повысить ценность основных продуктов и услуг.

Data mining обеспечивает конкурентное преимущество, помогая извлечь ценные знания из данных о цифровых операциях. Проанализировав поведение клиентов, компании могут использовать результаты для создания новых продуктов, услуг или методов продвижения. Перечислим некоторые преимущества data mining для бизнеса:

Оптимизация цен.
Используя data mining для анализа различных ценовых переменных, таких как спрос, эластичность, распределение и восприятие бренда, компании могут устанавливать цены, обеспечивающие максимальную прибыль.

Оптимизация маркетинговой деятельности.
Data mining позволяет компаниям сегментировать клиентов по поведению и потребностям. Для каждого сегмента можно разработать персонализированную рекламу, на которую клиенты будут лучше реагировать.

Повышение продуктивности.
Анализ поведения сотрудников можно использовать в кадровых инициативах, повышающих вовлеченность и продуктивность работы.

Повышение показателей.
Компании могут повысить показатели и сократить затраты, применяя data mining и анализ данных для изучения потребительских привычек клиентов и ценового поведения поставщиков.

Удержание клиентов.
Data mining позволяет получить ценную информацию о клиентах. Ее, в свою очередь, можно использовать для более эффективного взаимодействия с клиентами и сокращения их оттока.

Повышение качества продуктов и услуг.
Data mining можно использовать для выявления и устранения проблем с качеством, и это позволит сократить количество возвратов.

Сценарии использования data mining

Data mining используется для различных целей, которые зависят от конкретной организации и ее потребностей. Перечислим некоторые из возможных сценариев:

Продажи
Data mining помогает повысить продажи. Возьмем, к примеру, кассовый терминал розничного магазина. Он регистрирует для магазина информацию о времени каждой покупки, о том, какие продукты были проданы вместе и какие продукты пользуются повышенным спросом. Эту информацию можно использовать для оптимизации ассортимента.

Маркетинг
Компании могут использовать data mining для оптимизации маркетинговых операций. Результаты интеллектуального анализа данных помогут понять, где потенциальные клиенты могут увидеть рекламу, какие демографические группы входят в целевую аудиторию, на каких платформах следует размещать цифровую рекламу и какие маркетинговые стратегии сильнее всего воздействуют на клиентов.

Производство
Компании, производящие собственные товары, могут использовать data mining для анализа затрат на сырье, эффективности использования материалов, временных затрат на производственный процесс и препятствий для него. Data mining также позволяет прогнозировать сроки для своевременного пополнения запасов материалов или замены оборудования.

Выявление мошеннических операций
Data mining предназначен для поиска закономерностей, тенденций и связей между точками данных. Организация может использовать его для выявления аномалий или связей, которых не должно быть. Например, анализ денежного потока компании может выявить регулярные платежи на неизвестный счет. Если их быть не должно, компания может провести расследование возможного мошенничества.

Управление кадрами
Отделы кадров часто обладают различными данными, пригодными для обработки: это могут быть сведения об удержании персонала, повышениях, диапазонах заработной платы, бонусах от компании и их использовании, а также результаты опросов об удовлетворенности сотрудников. Data mining помогает сопоставить эти данные и понять, почему сотрудники уходят из компании и почему устраиваются на работу в нее.

Обслуживание клиентов
На удовлетворенность клиентов влияет множество факторов. Рассмотрим, например, доставку товаров продавцом. Клиент может быть недоволен сроками и качеством доставки или тем, что продавец не объяснил все условия. Этому же клиенту может не понравиться долгое ожидание ответа по электронной почте или на телефонной линии. Data mining позволяет получить оперативную информацию о взаимодействии с клиентами и обобщить результаты, чтобы определить слабые и сильные места.

Удержание клиентов
Компании могут использовать data mining, чтобы определить характеристики клиентов, ушедших к конкурентам, а затем предложить специальные условия клиентам с такими же характеристиками, чтобы удержать их.

Безопасность
Механизмы обнаружения вторжений используют data mining для поиска аномалий, которые могут указывать на проникновение в сеть.

Развлечения
Стриминговые сервисы используют data mining, чтобы анализировать предпочтения пользователей и в зависимости от них составлять персональные рекомендации.

Медицина
Data mining помогает врачам диагностировать заболевания, проводить лечение и анализировать результаты рентгеновских исследований и визуальной диагностики других типов. Научные медицинские исследования также в большой степени зависят от data mining, машинного обучения и других форм аналитики.

Будущее data mining

Облачные вычисления оказали серьезное влияние на распространение data mining. Несмотря на проблемы безопасности, облачные технологии хорошо подходят для высокоскоростной обработки огромных массивов данных (частично структурированных и неструктурированных), которые собирают многие организации. Облачные ресурсы масштабируются, чтобы справляться с растущими объемами больших данных. И так как облако способно хранить больше данных в различных форматах, требуется больше инструментов data mining, преобразующих данные в ценную информацию. Кроме того, передовые формы data mining, например с использованием искусственного интеллекта или машинного обучения, доступны в облаке как сервисы.

Будущее развитие облачных вычислений, вероятно, продолжит подпитывать потребность в более эффективных инструментах для data mining. Технологии искусственного интеллекта и машинного обучения развиваются, объемы данных также растут. Облако все чаще используется для хранения и обработки данных в целях бизнеса. Вероятно, именно облачные возможности будут определять выбор подхода к data mining.

Вопросы и ответы о data mining

Часто задаваемые вопросы о data mining, принципах его работы и значении:

Где используется data mining?

Data mining используется для анализа крупных объемов данных и поиска в них закономерностей и ценной информации для конкретного применения. Цели могут включать повышение продаж и оптимизацию маркетинговой деятельности, выявление мошеннических операций и повышение безопасности. Data mining используется в различных секторах: банковское дело, страхование, здравоохранение, розничные продажи, игровая индустрия, обслуживание клиентов, научные исследования, техническое проектирование и многое другое.

Как работает data mining?

В процессе data mining аналитики данных обычно выполняют ряд определенных задач. Типичный процесс data mining начинается с постановки цели, затем определяется, где и как будут собираться данные и какой метод анализа будет использоваться. Затем происходят подготовка данных к анализу, построение модели, оценка результатов применения модели, внесение изменений и контроль результатов.

Зачем используется data mining?

Data mining помогает определить проблемы и возможности организации. Его можно использовать для оптимизации цен на продукты, повышения продуктивности работы и бизнес-показателей, повышения качества обслуживания клиентов и сокращения их оттока, а также как вспомогательное средство при разработке новых продуктов. Data mining обеспечивает конкурентное преимущество, помогая извлечь ценные знания из данных о цифровых операциях.

Статьи по теме:

Связанные продукты: