В первой части статьи мы обсудили, какие бывают аномалии в реальном мире, почему важно их находить и как для этого используется машинное обучение. Теперь попробуем извлечь из аномалий реальную пользу и применим наши знания на практике с помощью нескольких примеров на Python.
Начнём с того, что визуально оценим набор данных и посмотрим, сможем ли мы найти аномалии. Файл Jupyter Notebook с нижеизложенным кодом можно найти здесь.
Для начала создадим синтетический набор данных, который будет содержать только два столбца:
— ФИО сотрудников организации (для 100 человек)
— их ежемесячная заработная плата (в долларах США) в диапазоне от 1000 до 2500.
Чтобы сгенерировать похожие на настоящие имена, мы будем использовать Python-библиотеку Faker, а для зарплаты подойдёт привычная numpy. После этого объединим созданные столбцы в Pandas DataFrame.
Примечание: не пренебрегайте работой с фиктивными наборами данных, это действительно важный экспериментальный навык!
# Импортируем необходимые пакеты
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# Раскомментируйте следующую строчку, если используете Jupyter Notebook
# %matplotlib inline
# Use a predefined style set
plt.style.use('ggplot')
# Импортируем Faker
from faker import Faker
# Убеждаемся, что результаты воспроизводимые
Faker().seed(4321)
names_list = []
fake = Faker()
for _ in range(100):
names_list.append(fake.name())
# Убеждаемся, что результаты воспроизводимые
np.random.seed(7)
salaries = []
for _ in range(100):
salary = np.random.randint(1000,2500)
salaries.append(salary)
# Создаём pandas DataFrame
salary_df = pd.DataFrame(
{'Person': names_list,
'Salary (in USD)': salaries
})
# Печатаем часть DataFrame
print(salary_df.head())Давайте вручную изменим зарплату двух человек, чтобы создать выбросы. В реальности это может произойти по ряду причин, например, из-за невнимательности бухгалтера или сбоя программного обеспечения.
salary_df.at[16, 'Salary (in USD)'] = 23
salary_df.at[65, 'Salary (in USD)'] = 17
# Убеждаемся, что зарплата изменилась
print(salary_df.loc[16])
print(salary_df.loc[65])Теперь можно начать эксперименты.
Подсказка: ящики с усами великолепны!
Как упоминалось в предыдущей статье, появление аномалий напрямую зависит от генерации самих данных. Рассмотрим немного базовой статистики (минимальное значение, максимальное, значение 1-го квартиля и т. д.) в виде ящика с усами (диаграммы размаха):
# Генерируем ящик с усами
salary_df['Salary (in USD)'].plot(kind='box')
plt.show()Мы получим:
Обратите внимание на маленький кружок в самом низу. Он сразу даёт понять, что что-то не так, потому что сильно отличается от остальных данных.
Как насчёт гистограмм?
# Генерируем гистограмму
salary_df['Salary (in USD)'].plot(kind='hist')
plt.show()Результат:
На графике выше мы тоже видим отклоняющуюся ячейку. Ось Y даёт понять, что зарплата искажена только у двух сотрудников.
Какой же способ сразу подтвердит наличие аномалий в наборе данных? Давайте посмотрим на минимальное и максимальное значение столбца «Заработная плата» (Salary):
# Минимальная и максимальная зарплата
print('Minimum salary ' + str(salary_df['Salary (in USD)'].min()))
print('Maximum salary ' + str(salary_df['Salary (in USD)'].max()))Получим:
Minimum salary 17
Maximum salary 2498Минимальное значение явно отклоняется от того, что было задано раньше (1000 долларов). Следовательно, это действительно аномалия.
Примечание: хотя наш набор данных содержит только один признак (зарплату), в настоящих датасетах аномалии могут встречаться в разных признаках. Но даже там такие визуализации помогут вам их обнаружить.
Мы выяснили, что кластеризация и поиск аномалий тесно связаны, хоть и служат разным целям. Но кластеризацию можно использовать для детектирования выбросов. В этом разделе мы рассмотрим аномалии в виде групп похожих объектов. Математически их схожесть измеряется такими функциями, как евклидово расстояние, манхэттенское расстояние и т. д. Евклидово расстояние — самое распространённое, поэтому остановимся на нём подробнее.
Очень короткая заметка о евклидовом расстоянии
Если в двумерном пространстве есть n точек (см. следующий рисунок) и их координаты обозначены (x_i, y_i), то евклидово расстояние между любыми двумя точками x1, y1 и x2, y2 равно:
Для кластеризации мы будем использовать метод k-средних. Начнём:
# Конвертируем зарплату в массив numpy
salary_raw = salary_df['Salary (in USD)'].values
# Для совместимости со SciPy
salary_raw = salary_raw.reshape(-1, 1)
salary_raw = salary_raw.astype('float64')Теперь импортируем модуль kmeans из scipy.cluster.vq. SciPy (Scientific Python) — это библиотека для различных научных расчётов. Применим kmeans к salary_raw:
# Импортируем cluster и kmeans из SciPy
from scipy import cluster
from scipy.cluster.vq import kmeans
# Передаём данные и число кластеров в kmeans()
centroids, avg_distance = kmeans(salary_raw, 4)Во фрагменте выше мы указали в kmeans данные о зарплате и количество кластеров, по которым хотим сгруппировать точки. centroids — это центроиды, сгенерированные kmeans, а avg_distance — усреднённое евклидово расстояние между ними и точками. Давайте извлечём наши кластеры с помощью метода vq(). Его аргументы это:
— точки данных
— центроид, сгенерированный алгоритмом кластеризации.
Метод возвращает группы точек (кластеры) и расстояния между точками и ближайшими кластерами.
# Получаем кластеры и расстояния
groups, cdist = cluster.vq.vq(salary_raw, centroids)
# Рисуем график
plt.scatter(salary_raw, np.arange(0,100), c=groups)
plt.xlabel('Salaries in (USD)')
plt.ylabel('Indices')
plt.show()Теперь вы точно видите аномалии. Итак, несколько моментов, которые необходимо учитывать перед обучением модели:
Вышеуказанный метод обнаружения аномалий — пример обучения без учителя. Если бы у нас были метки классов, мы могли бы легко превратить процесс в обучение с учителем и рассматривать его как проблему классификации.
А почему бы и нет?
Для этого нам понадобится добавить к набору данных целевые переменные (метки). Сначала присвоим всем записям нулевые метки, а затем вручную отредактируем два значения для аномалий (установим их как 1):
# Устанавливаем метки для всех объектов
salary_df['class'] = 0
# Вручную исправляем метки для аномалий
salary_df.at[16, 'class'] = 1
salary_df.at[65, 'class'] = 1
# Проверяем
print(salary_df.loc[16])Снова взглянем на датасет:
Теперь мы решаем задачу бинарной классификации. Будем искать выбросы, основываясь на подходе близости (proximity-based anomaly detection). Основная идея в том, что близость аномальной точки к её соседним точкам сильно отличается от близости других точек к их соседям. Если вам ничего не понятно, не пугайтесь — на наглядном примере всё станет ясно.
Для этого мы применим метод k-ближайших соседей и Python-библиотеку PyOD, специально предназначенную для детектирования выбросов.
# Импортируем модуль KNN из PyOD
from pyod.models.knn import KNNСтолбец “Person” для модели совершенно бесполезен, поскольку служит лишь идентификатором. Подготовим обучающую выборку:
# Разделяем значения зарплаты и метки классов
X = salary_df['Salary (in USD)'].values.reshape(-1,1)
y = salary_df['class'].values
# Обучаем kNN-детектор
clf = KNN(contamination=0.02, n_neighbors=5)
clf.fit(X)Аргументы, переданные в KNN():
— contamination: количество аномалий в данных (в процентах), в нашем случае 2/100
— n_neighbors: число соседей, упитывающихся при измерении близости
Теперь получим прогнозируемые метки и оценку аномалий. Чем выше оценка, тем хуже данные. Для этого применим удобные функции PyOD:
# Получаем метки данных обучения
y_train_pred = clf.labels_
# Оценка аномалий
y_train_scores = clf.decision_scores_Попробуем оценить KNN() относительно обучающей выборки с помощью функции evaluate_print():
# Импортируем утилиту для оценки модели
from pyod.utils import evaluate_print
# Оцениваем на обучающей выборке
evaluate_print('KNN', y, y_train_scores)Получим:
KNN ROC:1.0, precision @ rank n:1.0
Видим, что KNN() достаточно хорошо работает на обучающих данных. Он выдаёт три метрики и их оценки:
— ROC
— точность
— доверительную оценку.
Примечание: при обнаружении аномалий всегда следует учитывать эти оценки, поскольку они дают наиболее полное представление об эффективности модели.
У нас нет тестовой выборки, но мы можем сгенерировать примерное значение зарплаты:
# Зарплата в $37 (аномалия, верно?)
X_test = np.array([[37.]])Давайте проверим, может ли модель пометить это значение как выброс:
# Проверим, что спрогнозирует модель с этим значением
clf.predict(X_test)Вывод должен быть: array([1])
Видим, что модель не ошиблась. Проверим, как она работает с нормальными данными:
# Зарплата в $1256
X_test_abnormal = np.array([[1256.]])
# Прогноз
clf.predict(X_test_abnormal)Вывод: array([0])
Модель отметила значение как обычную точку данных.
На этом мы завершаем исследование аномалий и переходим к заключению.
Мы познакомились с миром аномалий и некоторыми его особенностями. Прежде чем подвести итоги, неплохо было бы обсудить несколько проблем, которые затрудняют задачу поиска выбросов:
— Эффективное разделение данных на «нормальные» и «аномальные»: иногда трудно найти границу, которая будет служить индикатором выбросов, особенно в задачах из совершенно разных предметных областей. Придётся либо тратить много времени на изучение данных, либо консультироваться с соответствующими специалистами.
— Понимание разницы между шумом и аномалиями: если принять выбросы за шум или наоборот, то можно изменить весь ход процесса обнаружения аномалий, поэтому следует уделять внимание этому вопросу.
Теперь поговорим о том, как вам продвинуться в исследованиях и улучшить качество данных. Вот несколько тем, которые мы не затронули в статье:
— Обнаружение аномалий во временных рядах: очень важная область, поскольку временные ряды широко распространены.
— Методы поиска аномалий, основанные на глубоком обучении: нейросети тоже могут помогать в поиске выбросов, и эта тема уже давно и активно исследуется.
— Другие сложные методы: здесь мы рассматривали только поиск точечных аномалий. Но есть ряд алгоритмов для обнаружения контекстуальных и коллективных аномалий. Более подробную информацию о них можно найти в книге “Data Mining. - Concepts and Techniques (3rd Edition)”.
Надеемся, что эта статья помогла вам немного погрузиться в фантастический мир поиска аномалий. Подготовка данных — один из самых непростых и кропотливых процессов в машинном обучении. И теперь вы стали на шаг ближе к тому, чтобы научиться обрабатывать их максимально эффективно. Если у вас возникли какие-то вопросы — не стесняйтесь задавать их в комментариях, мы обязательно ответим и поможем разобраться.
С оригинальной статьёй можно ознакомиться в блоге floydhub.com.
Многие предприниматели жалуются на сложный и слишком изобильный документооборот: много документов приходится оформлять. Но при…
Чтобы легально пользоваться результатами чужого труда в своем бизнесе, нужно за это заплатить. И неважно,…
Франшизы предоставляют предпринимателям возможность использовать популярные бренды, эффективные бизнес-модели и поддержку со стороны материнской компании.…
Некоторые компании сосредотачивают в своих руках и производственные мощности, и права на то, что на…
У любой компании есть адрес, по которому она «прописана», то есть зарегистрирована в ЕГРЮЛ. Но…
Подросток может заниматься бизнесом, но с учетом важных условий, прописанных в законе. Разбираемся, как несовершеннолетнему…