Курс "Компьютерная поддержка прогнозирования" Лекция 4. Регрессионные модели временных рядов

1. Курс «КомпьютернаяКурс «Компьютерная
поддержкаподдержка
прогнозирования»прогнозирования»
Заходякин Глеб Викторович,
кафедра Информационных систем
и технологий в логистике
e-mail: postlogist@gmail.com
В заметках к некоторым слайдам содержатся примечания. Смотрите в режиме
редактирования.

2. 2
Регрессионный анализРегрессионный анализ
временных рядоввременных рядов
1. Данные временного ряда и проблема
автокорреляции
2. Выявление и устранение автокорреляции
3. Данные временного ряда и проблема
гетероскедастичности
4. Регрессионные модели сезонных
временных рядов

3. 3
Статистическая модель для линейной регрессииСтатистическая модель для линейной регрессии
o Данные для построения уравнения регрессии представляют собой выборку из
генеральной совокупности связей X-Y
o Статистическая модель линейной регрессии позволяет определить математическое
ожидание Y для каждого значения X, по уравнению прямой:
o Фактическое значение будет отличаться от ожидаемого на величину ошибки ε,
которая отражает вклад ненаблюдаемых факторов
o Распределение ошибки ε – нормальное, с мат. ожиданием µY и постоянным СКО σ
для любого значения X
0 1Y Xβ β ε= + +
0 1Y Xµ β β= +
Допущения модели:
• ошибки независимы
• ошибки случайны
• mε=0
• σε = const

4. 4
АвтокорреляцияАвтокорреляция
o Автокорреляция – наличие связей между последовательными
наблюдениями
o Автокорреляция характерна для данных временных рядов:
– постепенное изменение величин (цены, объем продаж, % ставки…)
– изменение независимой переменная влияет на несколько периодов
времени (доход > объем покупок)
o При наличии автокорреляции можно прогнозировать последующие
значения Y на основе предыдущих Y
o При серийной корреляции зависимость между наблюдениями
проявляется в автокорреляции остатков:
обозначения: εt – остаток в момент t, ρ – коэффициент автокорреляции
для лага 1 (|ρ| < 1), νt – нормально распределенные независимые
остатки с математическим ожиданием 0 и стандартным отклонением σν
0 1
1
t t t
t t t
Y Xβ β ε
ε ρε ν−
= + +
= +

5. 5
Смещение регрессионной прямой при наличииСмещение регрессионной прямой при наличии
положительной серийной корреляцииположительной серийной корреляции
o Наличие положительной серийной корреляции остатков может
смещать линию регрессии
o Из-за смещения прямая проходит ближе от наблюдаемых точек
данных и дисперсия этих точек относительно прямой меньше, чем
реальная дисперсия данных
o Стандартная ошибка используется для построения доверительного
интервала, поэтому он также окажется недостаточно широким

6. 6
Ложная корреляцияЛожная корреляция
o Сильная автокорреляция может приводить к тому, что несвязанные
между собой переменные будут казаться связанными (r, R2
, значимость
регрессии)

7. 7
Графики АКФ и ЧАКФ для серийноГрафики АКФ и ЧАКФ для серийно
коррелированного рядакоррелированного ряда
o Графики автокорреляционной и частной автокорреляционной функции
для ряда X из предыдущего примера:

8. 8
Проблемы автокорреляцииПроблемы автокорреляции
1. Стандартная ошибка оценки << реальной изменчивости ε
=> неправильный доверительный интервал
2. Стандартные ошибки коэффициентов b << реальной
изменчивости их оценок
=> смещение линии регрессии
3. Нельзя использовать выводы t и F критериев

9. 9
Тест Дарбина-УотсонаТест Дарбина-Уотсона
o Для серийной корреляции остатков разработан критерий Дарбина-
Уотсона (Durbin-Watson)
o Проверяется зависимость (автокорреляция 1 порядка):
o Гипотезы:
– H0: ρ = 0
– H1: ρ > 0 (наиболее характерно для экономических рядов)
o Выборочная статистика:
o При положительной автокорреляции последовательные остатки близки
по величине и DW -> 0
o Тест нельзя применять для уравнений регрессии с b0 = 0
1t t tε ρε ν−= +
( )
2
1
2
2
2
1 1 1
ˆ ˆ,
n
i i
i
n
i
i
i i i i i i
e e
DW
e
e Y Y e Y Y
−
=
=
− − −
−
=
= − = −
∑
∑

10. 10
Критические значения статистикиКритические значения статистики DWDW
o Статистика Дарбина-Уотсона связана с коэффициентом автокорреляции для
лага 1:
o поскольку |ρ1| < 1, 0 < DW < 4, при ρ1 = 0 DW = 2
o Критические значения статистики DW необходимо найти в таблице (напр. http://
www.stanford.edu/~clint/bench/dwcrit.htm)
– входная информация – количество факторов k, объем выборки n и уровень
значимости α
– выходная информация – нижняя и верхняя границы критической области
– Аналогично можно проверять альтернативную гипотезу ρ < 0:
если DW > 4 – DWL, то H0 отклоняется, если DW < 4 – DWU, H0 принимается
o Внутри области неопределенности необходимо ориентироваться на величину
коэффициента автокорреляции:
( )( )12 1DW eρ= −
0 42
DWL DWU
H0: ρ = 0 отвергается
H1: ρ > 0 принимается
H0: ρ = 0 принимается?
DW
( )1 2 /e nρ >

11. 11
Решение проблемы автокорреляцииРешение проблемы автокорреляции
1. Уточнение спецификации данных
o возможно, пропущен важный фактор, влияющий на зависимую
переменную
o форма (преобразование переменной)
2. Использование дифференцирования (переход к ряду разностей)
o простые разности
o сезонные разности
3. Использование модели авторегрессии (регрессия со смещенным
значением той же переменной)
o смещение с лагом 1
o смещение с лагом = периоду сезонности

12. 12
ДифференцированиеДифференцирование
o При дифференцировании регрессия выполняется не с исходными
значениями переменных, а с их приращениями (разностями):
o Исходные зависимости:
o Результат почленного вычитания уравнений:
o X’t,Y’t – обобщенные разности порядка 1
o При ρ ≈ 1 пропадает свободный член и обобщенные разности становятся
обычными
0 1
1
t t t
t t t
Y Xβ β ε
ε ρε ν−
= + +
= +
1 1' , 't t t t t tY Y Y X X X− −= − = − X’, Y’ – простые разности порядка 1
1 0 1 1 1t t tY Xβ β ε− − −= + +
( ) ( ) ( )1 0 1 1 11t t t t t tY Y X Xρ β ρ β ρ ε ρε− − −− = − + − + −
( )0 1' 1 't t tY Xβ ρ β ν= − + + - остатки независимы

13. 13
Пример регрессии с разностямиПример регрессии с разностями
o Задача: построить регрессионную модель для объема продаж
o Предположительно, зависимость имеет степенной
характер:
o Для линеаризации зависимости используется
логарифмирование:
( ) 1
Y X
β
γ=
1LnY LnXγ β= +

14. 14
Результат регрессии с логарифмамиРезультат регрессии с логарифмами
o Регрессия значима, статистика DW < DWL= 0.97 (k=1, n = 21, α = 5%)
свидетельствует о наличии положительной автокорреляции

15. 15
Дифференцирование вДифференцирование в SPSSSPSS
o Для получения рядов приращений удобно использовать команду
Transform>Create Time Series
o Многие процедуры анализа временных рядов содержат встроенные
возможности для дифференцирования и логарифмирования ряда

16. 16
Результаты регрессии для разностейРезультаты регрессии для разностей
o При построении регрессии для рядов разностей пропадает b0, поэтому
было построено уравнение без учета свободного члена
o Для уравнений без b0 нельзя использовать критерий DW, вместо него
необходимо использовать график АКФ

17. 17
Сравнение двух регрессийСравнение двух регрессий
o Регрессия с логарифмами
o Регрессия с разностями логарифмов
o При построении прогноза на период t нужна оценка Y^
t-1, в качестве нее
можно взять значение Yt-1
1
ˆ 1.82 1.12
0.023b
LnY LnX
S
= +
=
( )
1
1 1
ˆ ' 1.01 '
ˆ ˆ 1.01
0.093
t t t t
b
LnY LnX
LnY LnY LnX LnX
S
− −
=
= + −
=

18. 18
Метод Кохрейна-ОркаттаМетод Кохрейна-Оркатта
o Если коэффициент ρ1 < 1, то необходимо использовать обобщенные разности:
o Уравнение регрессии в обобщенных разностях не может использоваться
непосредственно, т.к. неизвестна оценка ρ:
o Метод Кохрейна-Оркатта (Cochrane-Orcutt) позволяет итеративно уточнять ρ:
o 1 этап: Находятся остатки из уравнения:
o 2 этап: Строится оценка ρ на основе остатков e:
o 3 этап: По уравнению в обобщенных разностях находятся оценки
коэффициентов β0
*
, β1
*
o Процедура повторяется с этапа 1 с новыми коэффициентами β0
*
, β1
*
o Итерации останавливаются при ρ = 1, при изменении коэффициентов менее
чем на 0.01, при достижении максимального числа итераций
1 1' 't t t t t tY Y Y X X Xρ ρ− −= − = −
( )0 1' 1 't t tY Xβ ρ β ν= − + +
0 1t t tY X eβ β= + +
1
2
2
2
n
t t
t
n
t
t
e e
e
ρ
−
=
=
=
∑
∑

19. 19
Результаты выполнения процедурыРезультаты выполнения процедуры

20. 20
Модель авторегрессииМодель авторегрессии
o Модель авторегрессии включает
в качестве фактора зависимую
переменную со смещением в 1 лаг:
0 1 1t t tY Yβ β ε−= + +
Примечание: критерий DW нельзя
использовать с моделями
авторегрессии

21. 21
Устранение гетероскедастичностиУстранение гетероскедастичности
o К гетероскедастичности приводят:
– Нелинейные зависимости между переменными
– Сезонность временного ряда
o Для устранения гетероскедастичности используют:
– Преобразование переменных - добавление нелинейных
регрессоров (X*X, X1*X2)
– Добавление фиктивных переменных для моделирования сезонных
поправок:
S2..S4 – фиктивные {0,1} переменные, моделирующие сезонную
поправку (для квартальной сезонности)
Для первого сезона поправка уже учтена в β0
– Добавление в качестве регрессора зависимой переменной с лагом,
равным периоду сезонности (модель авторегрессии):
0 1 2 2 3 3 4 4t t tY X S S Sβ β β β β ε= + + + + +
0 1t t S tY Yβ β ε−= + + +K

22. 22
Пример использования фиктивных переменныхПример использования фиктивных переменных
o Пример использования фиктивных переменных для моделирования
сезонности и эффекта маркетинговых мероприятий:
– НГ = 1 для ноября и декабря
– Акция = 1 – для месяцев, когда проводились акции

23. 23
Модель регрессии Продажи – время + факторыМодель регрессии Продажи – время + факторы

24. 24
Модель авторегрессии Продажи + факторыМодель авторегрессии Продажи + факторы

25. 25
Сравнение моделейСравнение моделей
o Продажи = f (время, факторы)
o Продажиt = f (факторы, продажиt-1) – метод Кохрейна-Оркатта
o Продажи’t = f(факторы) – регрессия с разностями
o Продажиt = f (продажиt-1, факторы) – модель автокорреляции