КУРСОВАЯ РАБОТА «ТЕХНОЛОГИИ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ИЛИ DATA MINING ТЕХНОЛОГИИ» Выполнила: студентка ФКН УС-502 Морарь Юлия
DATA MINING это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Суть и цель технологии Data Mining можно охарактеризовать так: это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей. Почему растет популярность Data Mining? данные имеют неограниченные объем; данные являются разнородными (количественными, качественными, текстовыми); результаты должны быть конкретны и понятны; инструменты для обработки сырых данных должны быть просты в использовании.
D a t a M i n g Предмет и задачи Data Mining Нахождение скрытых закономерностей в данных, взаимосвязей между различными переменными в базах данных, моделирование и изучение сложных систем на основе истории их поведения Результаты Data Mining эмпирические модели, классификационные правила, выделенные кластеры и т. д. - можно затем инкорпорировать в существующие системы поддержки принятия решений и использовать их для прогноза будущих ситуаций
АСОЦИАЦИЯ ПОСЛЕДОВАТЕЛЬНОСТЬ Основные задачи Data Mining: КЛАСТЕРИЗАЦИЯ КЛАССИФИКАЦИЯ ПРГНОЗИРОВАНИЕ
Операторная аналитическая обработка Визуализация данных Экспертная система Информацион ный поиск Нейросети DATA MINING МУЛЬТИДИСЦИПЛИНАРНАЯ ОБЛАСТЬ Статистика Распознавание образов Теория баз данных Эффективные вычисления Хранилиша данных
КЛАСИФФИКАЦИЯ СТАДИЙ DATA MINING Стадия 1. Выявление закономерностей (свободный поиск). Стадия 2. Использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование). Стадия 3. Анализ исключений - стадия предназначена для выявления и объяснения аномалий, найденных в закономерностях.
СВОБОДНЫЙ ПОИСК (DISCOVERY) Свободный поиск представлен такими действиями: • выявление закономерностей условной логики (conditional logic); • выявление закономерностей ассоциативной логики (associations and affinities); • выявление трендов и колебаний (trends and variations). ПРОГНОСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ (PREDICTIVE MODELING) Прогностическое моделирование представлено такими действиями: • Предсказание неизвестных значений (outcome prediction) • Прогнозирование развития процессов (forecasting) АНАЛИЗ ИСКЛЮЧЕНИЙ (FORENSIC ANALYSIS) Стадия предназначена для выявления и объяснения аномалий, найденных в закономерностях Действие, выполняемое на этой стадии, - выявление отклонений. Для выявления отклонений необходимо определить норму, которая рассчитывается на стадии свободного поиска.
Класиффикация методов DATA MINING кластерный анализ 1. Непосредственное использование данных, или сохранение данных. метод kближайшего соседа методы кросстабуляции 2. Выявление и использование формализованных закономерн остей, или дистилляция шаблонов. методы визуализации логические методы
СТАТИСТИЧЕСКИЕ МЕТОДЫ DATA MINING Эти методы представляют собой четыре взаимосвязанных раздела: предварительный анализ природы статистических данных (проверка гипотез стационарности, нормальности, независимости, однородности, оценка вида функции распределения, ее параметров и т. п. ); выявление связей и закономерностей (линейный и нелинейный регрессионный анализ, корреляционный анализ и др. ); многомерный статистический анализ (линейный и нелинейный дискриминантный анализ, кластерный анализ, компонентный анализ, факторный анализ и др. ); динамические модели и прогноз на основе временных рядов.
КИБЕРНЕТИЧЕСКИЕ МЕТОДЫ DATA MINING К этой группе относятся такие методы: искусственные нейронные сети (распознавание, кластеризация, прогноз); эволюционное программирование (в т. ч. алгоритмы метода группового учета аргументов); генетические алгоритмы (оптимизация); ассоциативная память (поиск аналогов, прототипов); нечеткая логика; деревья решений; системы обработки экспертных знаний.
ВЫВОДЫ Если рассматривать будущее Data Mining в краткосрочной перспективе, то очевидно, что развитие этой технологии наиболее направлено к областям, связанным с бизнесом. В краткосрочной перспективе продукты Data Mining могут стать такими же обычными и необходимыми, как электронная почта, и, например, использоваться пользователями для поиска самых низких цен на определенный товар или наиболее дешевых билетов. В долгосрочной перспективе будущее Data Mining является действительно захватывающим - это может быть поиск интеллектуальными агентами как новых видов лечения различных заболеваний, так и нового понимания природы вселенной. Однако Data Mining таит в себе и потенциальную опасность - ведь все большее количество информации становится доступным через всемирную сеть, в том числе и сведения частного характера, и все больше знаний возможно добыть из нее.
СПАСИБО ЗА ВНИМАНИЕ!
Скачать презентацию КУРСОВАЯ РАБОТА ТЕХНОЛОГИИ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ИЛИ DATA
КР_Морарь Юлия_ФКН_УС-502.pptx