МЕТОД НАИМЕНЬШИХ КВАДРАТОВ ДЛЯ ЛИНЕЙНОЙ МОДЕЛИ.

Раccмотрим наиболее важный для практики частный случай МНК, когда модель описывается линейным уравнением (см. выше).

Для простоты описания преобразований пронормируем переменные хij,уi. следующим образом:

где

Тогда

В дальнейшем изложении будем считать, что рассматриваемые переменные пронормированы описанным образом, и верхние индексы

опустим. Для облегчения демонстрации основных идей примем достаточно естественные предположения.

1. Для рассматриваемых переменных существуют следующие пределы:

2. Количество опытов n таково, что можно пользоваться асимптотическими результатами, полученными при

3. Погрешности измерения удовлетворяют одному из следующих типов ограничений:

Тип 1. Абсолютные погрешности измерения ограничены согласно (48):

Тип 2. Относительные погрешности измерения ограничены:

Тип 3. Ограничения наложены на сумму погрешностей:

(поскольку все переменные отнормированы, т.е. представляют собой относительные величины, то различие в размерности исходных переменных не влияет на возможность сложения погрешностей).

Перейдем к вычислению нотны оценки МНК. Справедливо равенство:

Воспользуемся следующей теоремой из теории матриц.

Теорема. Если функция f(?) разлагается в степенной ряд в круге сходимости |? – ?0| < r, т.е.

то это разложение сохраняет силу, если скалярный аргумент заменить любой матрицей А, характеристические числа которой ?k, k = 1,…,n, лежат внутри круга сходимости.

Из этой теоремы вытекает, что:

Легко убедиться, что:

Это вытекает из последовательности равенств:

Применим приведенную выше теорему из теории матриц, полагая А = ? Z и принимая, что собственные числа этой матрицы удовлетворяют неравенству |?k|<1. Тогда получим:

Подставив последнее соотношение в заключение упомянутой теоремы, получим:

Для дальнейшего анализа понадобится вспомогательное утверждение. Исходя из предположений 1-3, докажем, что:

Доказательство. Справедливо равенство

где

— состоятельные и несмещенные оценки дисперсий и коэффициентов ковариации, т.е.

тогда

где

Другими словами, каждый элемент матрицы, обозначенной как о(1/n), есть бесконечно малая величина порядка 1/n.

Для рассматриваемого случая cov(x) = E, поэтому

Предположим, что n достаточно велико и можно считать, что собственные числа матрицы о(1/n) меньше единицы по модулю, тогда

что и требовалось доказать.

Подставим доказанное асимптотическое соотношение в формулу для приращения b*, получим

Выразим ?b* относительно приращений ?Х, ?Y до 2-ro порядка

Перейдем от матричной к скалярной форме, опуская индекс (R):

Будем искать max(|?bk*|) по ?xij и ?yi (i=1,…, п ;j=1,…, m). Для этого рассмотрим все три ранее введенных типа ограничений на ошибки измерения.

Тип 1 (абсолютные погрешности измерения ограничены). Тогда:

Тип 2 (относительные погрешности измерения ограничены). Аналогично получим:

Тип З (ограничения наложены на сумму погрешностей). Предположим, что |?bk*| достигает максимального значения при таких значениях погрешностей ?xij и ?yi, которые мы обозначим как:

тогда:

Ввиду линейности последнего выражения и выполнения ограничения типа 3:

Для простоты записей выкладок сделаем следующие замены:

Теперь для достижения поставленной цели можно сформулировать следующую задачу, которая разделяется на m типовых задач оптимизации:

при ограничениях

Перепишем минимизируемые функции в следующем виде:

Очевидно, что fik > 0.

Легко видеть, что

Следовательно, необходимо решить nm задач

при ограничениях «типа равенства»:

Сформулирована типовая задача поиска экстремума функции. Она легко решается. Поскольку

то максимальное отклонение МНК-оценки k-ого параметра равно

Кроме рассмотренных выше трех видов ограничений на погрешности могут представлять интерес и другие, но для демонстрации типовых результатов ограничимся только этими тремя видами.

Январь 24, 2019 Психология труда, инженерная психология, эргономика
Еще по теме
Метод наименьших квадратов для интервальных данных.
МАТЕМАТИЧЕСКИЕ МЕТОДЫ И МОДЕЛИ ДЛЯ РЕШЕНИЯ ЗАДАЧ МАЛОГО БИЗНЕСА.
Методы решения задач линейного программирования.
2.3.7. АСИМПТОТИЧЕСКИЙ ЛИНЕЙНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ ДЛЯ ИНТЕРВАЛЬНЫХ ДАННЫХ
КРИТЕРИЙ ХИ-КВАДРАТ (CHI SQUARE TEST)
УПРАЖНЕНИЕ 6.2. ПОСТРОЕНИЕ ПРАВИЛЬНОГО ЛАТИНСКОГО КВАДРАТА
ЛАТИНСКИЙ КВАДРАТ
3.2.1. ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
1.3. АКМЕОЛОГИЧЕСКИЕ МЕТОДЫ, МОДЕЛИ И ТЕХНОЛОГИИ
7.3. МОДЕЛИ МЕТОДОВ ГРУППОВОГО УЧАСТИЯ
Лекция № 19 Управленческая адаптация: модели, личностные механизмы и методы
5.2. Возможности образовательных моделей для становления инновационного потенциала личности
ЛИНЕЙНАЯ ПЕРСПЕКТИВА
АКТУАЛЬНЫЕ ВОПРОСЫ, ТЕОРЕТИЧЕСКИЕ МОДЕЛИ И ПРАКТИЧЕСКИЕ МЕТОДЫ ПСИХОСОМАТИКИ
ДОПУЩЕНИЕ ЛИНЕЙНОСТИ
9.4.3. ЛИНЕЙНОЕ СЛЕЖЕНИЕ
Добавить комментарий