Метод распределенного обнаружения изменения концепции
DOI:
https://doi.org/10.14529/cmse140110Ключевые слова:
изменение концепции, интеллектуальный анализ данных, распределенные вычисления, итеративный MapReduceАннотация
Представлен метод распределенного обнаружения изменения концепции для алгоритмов интеллектуального анализа данных. Под изменением концепции понимается любое непредсказуемое изменение входных данных алгоритма. Предложена реализация метода с исполь-зованием технологии распределенных вычислений MapReduce. Разработанный алгоритм предназначен для обнаружения изменения концепции в потоке входных данных в режиме реального времени. С целью обеспечения итеративного поведения фаз Map и Reduce разработан специальный MapReduce-фреймворк и осуществленаего программная реализация. Использование алгоритма позволит автоматически обнаруживать изменение входных данных, требующее изменение параметров используемой модели и переключение на использование новой модели в режиме реального времени.
Библиографические ссылки
Andrzejak, A. Parallel Concept Drift Detection with Online Map-Reduce / A. Andrzejak, J.B. Gomes // International Workshop on Knowledge Discovery (KDCloud-2012). Dec. 2012. — P. 402–407.
Baena-Garcıa, M. Early drift detection method / M. Baena-Garcıa, J. Campo-Avila, R. Fidalgo, A. Bifet, R. Gavalda, R. Morales-Bueno // The 4th International Workshop on Knowledge Discovery from Data Streams. Sep. 2006. —P. 77–86.
Bose, J.-H. Beyond online aggregation: Parallel and incremental data mining with online mapreduce / J.-H. Bose, A. Andrzejak, M. Hogqvist // ACM Workshop on Massive Data Analytics over the Cloud (MDAC 2010). Apr. 2010.
Doulkeridis, C. A survey of large-scale analytical query processing in MapReduce / C. Doulkeridis, K. Nørvåg // The VLDB Journal. 2013. —P. 1–26.
Gama, J. Learning with drift detection / J. Gama, P. Medas, G. Castillo, P. Rodrigues // Advances in Artificial Intelligence. Nov. 2004. —Vol. 3171. — P. 286–295.
Sobhani, P. New Drift Detection Method for Data Streams / P. Sobhani, H. Beigy // Adaptive and Intelligent Systems. Sep. 2011. — Vol.6943. — P. 88–97.
