Деревья решений с линейной комбинацией признаков

Аннотация

Дерево решений — это один из алгоритмов машинного обучения, у которого есть ряд преимуществ (хорошая интерпретация, возможность работы с разными типами данных, автоматическое формирование правил и пр.). В некоторых задачах, где набор данных ограничен, а признаки связаны между собой (например, в задаче атрибуции текстов), можно при построении условий в узлах модели использовать не одиночные признаки, а их линейные комбинации. С учетом этого в статье изложено развитие метода «дерево решений», которое заключается в том, что к старым k признакам добавляются новые признаки как линейные комбинации двух исходных: xij = αxi ± (1 − α)xj, где i, j = 1, . . . , k и параметр α ∈ [0, 1]. Для проведения численных экспериментов на примере задачи атрибуции текстов выполнена реализация построения линейных комбинаций признаков в информационной системе СМАЛТ («Статистические методы анализа литературного текста»). Результаты классификации дореволюционных текстов из журналов «Время», «Эпоха» и еженедельника «Гражданин» с использованием разных видов n-грамм показали, что данное улучшение повышает точность метода, при этом несущественно снижает интерпретацию полученного результата.