Метод распределенного обнаружения изменения концепции

Антон Александрович Волков, Люц Бюх, Артур Андреяк

Аннотация


Представлен метод распределенного обнаружения изменения концепции для алгоритмов интеллектуального анализа данных. Под изменением концепции понимается любое непредсказуемое изменение входных данных алгоритма. Предложена реализация метода с исполь-зованием технологии распределенных вычислений MapReduce. Разработанный алгоритм предназначен для обнаружения изменения концепции в потоке входных данных в режиме реального времени. С целью обеспечения итеративного поведения фаз Map и Reduce разработан специальный MapReduce-фреймворк и осуществленаего программная реализация. Использование алгоритма позволит автоматически обнаруживать изменение входных данных, требующее изменение параметров используемой модели и переключение на использование новой модели в режиме реального времени.


Ключевые слова


изменение концепции; интеллектуальный анализ данных; распределенные вычисления; итеративный MapReduce

Полный текст:

PDF

Литература


Andrzejak, A. Parallel Concept Drift Detection with Online Map-Reduce / A. Andrzejak, J.B. Gomes // International Workshop on Knowledge Discovery (KDCloud-2012). Dec. 2012. — P. 402–407.

Baena-Garcıa, M. Early drift detection method / M. Baena-Garcıa, J. Campo-Avila, R. Fidalgo, A. Bifet, R. Gavalda, R. Morales-Bueno // The 4th International Workshop on Knowledge Discovery from Data Streams. Sep. 2006. —P. 77–86.

Bose, J.-H. Beyond online aggregation: Parallel and incremental data mining with online mapreduce / J.-H. Bose, A. Andrzejak, M. Hogqvist // ACM Workshop on Massive Data Analytics over the Cloud (MDAC 2010). Apr. 2010.

Doulkeridis, C. A survey of large-scale analytical query processing in MapReduce / C. Doulkeridis, K. Nørvåg // The VLDB Journal. 2013. —P. 1–26.

Gama, J. Learning with drift detection / J. Gama, P. Medas, G. Castillo, P. Rodrigues // Advances in Artificial Intelligence. Nov. 2004. —Vol. 3171. — P. 286–295.

Sobhani, P. New Drift Detection Method for Data Streams / P. Sobhani, H. Beigy // Adaptive and Intelligent Systems. Sep. 2011. — Vol.6943. — P. 88–97.




DOI: http://dx.doi.org/10.14529/cmse140110