Технологии организации хранения и обработки данных Основные понятия

Технологии организации, хранения и обработки данных Основные понятия и определения ТВи. МС

Основные определения l Случайное событие – событие, которое при определенных условиях может произойти или не произойти. События обозначаются заглавными буквами латинского алфавита A, B, C и т. д. l Вероятностью события А называется отношение числа m благоприятствующие этому событию исходов опыта к общему числу n всех несовместных единственно возможных и равновозможных исходов:

Основные определения l Случайная величина (СВ) – величина, которая в результате опыта может принять то или иное значение, причем неизвестно заранее, какое именно. Случайные величины обозначаются заглавными буквами латинского алфавита X, Y, Z и т. д. , а конкретные их значения маленькими буквами, например: x 1, x 2, x 3. . . y 1, y 2, y 3…. . z 1, z 2, z 3. l Закон распределения вероятностей случайной величины (или просто закон распределения) – это соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

Основные определения Закон распределения для дискретной случайной величины будет иметь табличный вид: X x 1 x 2 … xn P p 1 p 2 … pn

Основные определения На практике закон распределения СВ чаще всего бывает неизвестен, так как неизвестны вероятности соответствующих значений СВ. В качестве оценок вероятностей можно использовать относительную частоту события W, где n-общее количество наблюдений (значений) СВ, а ni-количество наблюдений попавших в заданный интервал. Строим гистограмму, огибающая полученной гистограммы и будет представлять собой оценку неизвестного закона распределения СВ.

Основные определения l Равномерный закон распределения вероятностей СВ – распределение, в котором значения СВ имеют определенные границы, внутри которых все значения равновероятны

Основные определения l Нормальный закон распределения вероятностей СВ – распределение, в котором значения СВ имеют симметричное распределение вероятностей ("колокольчик" )

Основные определения l Математическое ожидание дискретной СВ X – сумма произведений всех ее возможных значений на их вероятности

Основные определения l Дисперсия дискретной СВ X – сумма произведений квадратов отклонений значений СВ от ее математического ожидания на соответствующие вероятности

Основные определения l Для удобства представления СВ вводят понятие среднего квадратического отклонения (с. к. о. ) равного положительному арифметическому корню из дисперсии

Основные определения l Правило 3. Если в нашем распоряжении есть две вычисленные числовые характеристики: выборочное среднее и выборочное с. к. о. и мы предполагаем, что закон распределения СВ будет нормальным, то в интервал

Основные определения l Генеральная совокупность – совокупность всех возможных значений случайной величины. l Выборка – часть генеральной совокупности случайно отобранных значений или элементов. Выборка объемом >=30 считается большой. Выборка объемом <30 считается маленькой.

Основные определения l l l Уровень значимости (p-level) – вероятность допустить ошибку: отвергнуть правильную гипотезу. Наиболее часто для решения экономических и технических задач уровень значимости принимают равным =0, 05 и =0, 01, или, в процентах 5% и 1%. Функциональная зависимость – при функциональной зависимости имеет место однозначность отображения независимой переменной x и зависимой переменной y, т. е. соответствие имеет вид:

Основные определения l Стохастическая зависимость – каждому фиксированному значению аргумента соответствует определенный закон распределения функции и, наоборот, заданному значению зависимой переменной соответствует закон распределения объясняющей переменной. Стохастическая зависимость включает в себя случайный фактор:

Основные определения l l Коэффициент корреляции Rxy является мерой линейной зависимости двух величин. Чем больше коэффициент корреляции по модулю, тем сильнее линейная зависимость. Коэффициент корреляции – это безразмерная величина. изменяется в диапазоне от -1 до +1. Коэффицент детерминации равен доле результатов наблюдений, которая объясняется моделью регрессии. Изменяется от 0 до 1. R 2=R 2 xy

Технологии организации, хранения и обработки данных Регрессионный анализ

Регрессионный анализ Построение модели: l l l Формулировка задачи. Идентификация переменных (определение входных и выходных переменных). Сбор статистических данных. Спецификация функции регрессии (определение вида модели). Оценивание параметров функции регрессии (МНК).

Регрессионный анализ Оценка точности регрессионного анализа: l l Проверка адекватности модели, т. е. согласуются ли модельные значения выходной величины с реальными данными; Проверка значимости параметров модели, т. е. значимо ли они отличаются от нуля или нет. Предпосылки к проведению регрессионного анализа l l Случайные ошибки наблюдений имеют нормальный закон распределения Отсутствие автокорреляции между ошибками наблюдений, т. е. последовательные значения ошибок не зависят друг от друга.

Пример В табл. приведены значения выходной переменной при данном значении входной переменной. Модель ищется в виде X 1 2 3 4 Y 2 4 5 7

Пример

Пример Согласно МНК, параметры подбираются таким образом, чтобы минимизировать сумму квадратов отклонений наблюдаемых значений от расчетных по модели значений

Пример Определим модель. Вычислим соответствующие суммы и составим систему двух линейных уравнений: xi=10, yi=18, xi 2=30, xiyi=53, Модель имеет вид yi 2=94

Пример Рассчитаем модельные значения, подставляя уравнение значения входной переменной. 2, 1 N/N 1 2 3 4 3, 7 Значение Y 2 4 5 7 5, 3 в 6, 9 Оценка Y Остатки 2, 1 3, 7 5, 3 6, 9 – 0, 1 0, 3 – 0, 3 0, 1

Пример Определим адекватность модели, для этого вычислим общую сумму квадратов, относящуюся к регрессии, и сумму квадратов остатков:

Пример Расчетное значение критерия Фишера равно Расчетное значение критерия Фишера больше, чем табличное значение F > FТАБЛ. =F 0, 05; 1; 2=18, 512. Вывод 1: Модель адекватна!

Пример Оперативно адекватность модели можно проверить по коэффициенту детерминации, который определяется следующим образом: Значение коэффициента детерминации больше, чем 0, 75 следовательно, модель можно считать адекватной.

Вопросы? ? ? А на днях я линять начал… (М/ф "Каникулы в Простоквашино" )