Особенности применения деревьев решений в задачах классификации

Игорь Леопольдович Кафтанников; Андрей Викторович Парасич

doi:10.14529/ctcr150304

Авторы

Игорь Леопольдович Кафтанников Южно-Уральский государственный университет
Андрей Викторович Парасич Южно-Уральский государственный университет

DOI:

https://doi.org/10.14529/ctcr150304

Ключевые слова:

деревья решений, леса решений, машинное обучение, классификация

Аннотация

Рассматривается применение деревьев решений в задачах классификации. В последние годы деревья решений широко применяются в задачах компьютерного зрения, таких как распознавание объектов, классификация текстов, распознавание жестов, обнаружение спама, обучение ранжированию в информационном поиске, семантическая сегментация и кластеризация данных. Этому способствуют такие отличительные особенности деревьев решений как интерпретируемость, управляемость, возможность автоматического отбора информативных признаков. Однако имеется и ряд принципиальных недостатков, из-за которых задача обучения деревьев решений существенно усложняется. В статье приводится анализ преимуществ и недостатков деревьев решений, рассматриваются вопросы обучения и тестирования деревьев решений. Особое внимание уделяется проблемам сбалансированности обучающей выборки. Рассматриваются также леса решений и методы их обучения. Приводится краткий обзор методов снижения взаимозависимости ошибок деревьев решений при обучении лесов решений. Предлагаются методы преодоления недостатков деревьев решений, приводятся результаты работы данных методов.

Биографии авторов

Игорь Леопольдович Кафтанников, Южно-Уральский государственный университет

канд. техн. наук, доцент кафедры электронных вычислительных машин

Андрей Викторович Парасич, Южно-Уральский государственный университет

аспирант кафедры электронных вычислительных машин

Библиографические ссылки

Breiman L. Random Forests. Machine Learning, 2001, vol. 45(1), pp. 5–32. DOI: 10.1023/A:1010933404324

Breiman L. Bagging Predictors. Machine Learning, 1996, vol. 24, no. 2, pp. 123–140. DOI: 10.1007/BF00058655

Freund Y, Schapire R.E. Experiments with a New Boosting Algorithm. International Conference on Machine Learning, 1996, pp. 148–156.

Маценов А.А. Комитетный бустинг: минимизация числа базовых алгоритмов при простом голосовании. Всероссийская конференция ММРО-13. 2007. С. 180–183. [Matsenov A.A. Komitetnyy busting: minimizatsiya chisla bazovykh algoritmov pri prostom golosovanii (Committee Boosting: Number of Base Algorithms Minimization for Simple Voting). Vserossiyskaya konferentsiya MMRO-13 (All-Russian Conference MMRO-13). St. Peterburg, 2007, pp. 180–183.]

Mason L., Bartlett P., Baxter J. Direct Optimization of Margins Improves Generalization in Combined Classifiers. Proc. of the 1998 conf. on Advances in Neural Information Processing Systems II, MIT Press, 1999, pp. 288–294.