Оптимизация параметров модели

Блок оптимизации параметров модели предназначен для подбора таких параметров оптимизации, которые бы удовлетворяли необходимым значениям критериев оптимизации.

Таким образом, задачу оптимизации можно сформулировать, как нахождение вектора параметров оптимизации, при которых критерии качества удовлетворяют своим ограничениям.

Задача оптимизации плохо поддается формализации, поэтому для получения сколь-нибудь эффективных ее результатов, множество критериев и параметров оптимизации, имеющих разную физическую природу и диапазоны изменения, должны быть масштабированы и переведены к нормированным величинам.

При наличии множества критериев, для формализации условия задачи оптимизации, обычно переходят от нескольких частных критериев q₁, …, q_m к одному общему критерию, который формируется в виде функции частных критериев. Такую процедуру называют свертыванием критериев. В результате получаем общий критерий (целевую функцию)

в виде функции от оптимизируемых параметров. Решение задачи многокритериальной оптимизации сводится к минимизации этого критерия. Один из наиболее часто используемых способов свертывания частных критериев — средний степенной критерий оптимальности. Именно он используется для свертывания критериев оптимизации в SimInTech:

При p = 1 получим аддитивный критерий

При p = 2 получим квадратичный критерий

При p, стремящемся к бесконечности, общий критерий сводится к наибольшему из нормированных частных критериев (минимаксный критерий)

При p = 0, логарифмируя выражение общего критерия и переходя к пределу по p, стремящемуся к нулю, после применения правила Лопиталя получаем средний геометрический (мультипликативный) критерий оптимальности.

Получив обобщенный критерий, можно приступать к решению задачи оптимизации. В SimInTech реализованы 3 наиболее подходящих для программной реализации алгоритма оптимизации, в которых решение о переходе в новую точку поиска принимается на основании сравнения значений критерия в двух точках.

Алгоритм Поиск-2

Реализуется алгоритм деления шага пополам при одном оптимизируемом параметре (n = 1) и алгоритм преобразований матрицы направлений при n >1. Далее рассматривается алгоритм многомерного поиска.

Направления поиска на k-том этапе задаются матрицей S_k. На очередном этапе производится серия спусков в направлениях векторов s₁,...,s_n, представляющих собой столбцы матрицы S_k . Векторы перемещений на каждом из спусков равны соответственно g₁s₁, ..., g_ns_n. После выполнения спусков матрица направлений преобразуется по формуле

где Λ_k - диагональная матрица, элементы которой равны λ_k = γ_i, если γ_i ≠0, и λ_k = 0.5, если γ_i = 0; P_k - ортогональная матрица. Умножение на ортогональную матрицу необходимо для изменения набора направлений поиска. Если на всех этапах P_k = i , то направления поиска не изменяются от этапа к этапу и мы имеем алгоритм покоординатного спуска. Очевидно, что выбор матриц P_k существенно влияет на эффективность поиска.

Было испытано несколько различных способов выбора ортогональных матриц P_k, в том числе и случайный выбор. Лучшим оказался способ, при котором все матрицы P_k равны между собой и определяются в виде

Рассмотрим этапы алгоритма в многомерном случае.

1. Начальная матрица направлений задается диагональной с элементами на главной диагонали, равными начальным приращениям по параметрам.
2. Выполнить цикл для i = 1, …, n:
   1. Выполнить пробный щаг в направлении s_i: y = x + s_i

      Если этот шаг удачный ( f(y) < f(x) ), перейти к пункту c.

   2. Выполнить пробный шаг в противоположном направлении: y = x - s_i

      Если оба пробных шага оказались неудачными, принять λ = 0.5 и перейти к пункту d.

   3. Выполнить спуск в выбранном направлении, в результате получим новую точку поиска x = x + γs_i, принять λ = |γ|
   4. Принять s_i = λs_i. Перейти к следующему значению счетчика цикла либо выйти из цикла (если i = n).
3. Умножить матрицу направлений S на ортогональную матрицу P, задаваемую выражением (*).
4. При выполнении условия окончания поиска завершить работу алгоритма, в противном случае - перейти к п.2 с новыми значениями вектора x и матрицы S.

Поиск прекращается при выполнении одного из следующих условий:

• целевая функция достигла минимума (все требования выполняются);
• превышено заданное число вычислений целевой функции;
• приращения по каждому из параметров стали меньше заданного значения;
• принудительный останов.

Алгоритм Поиск-4

Реализуется алгоритм квадратичной интерполяции при одном оптимизируемом параметре (n = 1) и алгоритм преобразований вращения и растяжения-сжатия (n > 1).

Рассмотрим алгоритм при n > 1. Он основан на выполнении преобразований растяжения - сжатия и преобразований вращения для такого преобразования системы координат, при котором матрица вторых производных (матрица Гессе) приближается к единичной, а направления поиска становятся сопряженными. Этот алгоритм использует квадратичную интерполяцию.

Пусть H - симметричная положительно-определенная матрица. Будем строить последовательность матриц

Каждая из которых получается из предыдущей путем выполнения следующего преобразования где Λ_k - диагональная матрица с элементами λ_i = h_ii-1/2 (h_ii - диагональные элементы H_k-1); P_k - ортогональная матрица. После умножения матрицы H_k-1 слева и справа на Λ_k получаем матрицу с единичными диагональными элементами. Можно надеяться, что при подходящем выборе ортогональных матриц P_k матрица H_k будет стремиться к единичной. На этом, в частности, основан метод вращений для расчета собственных значений симметричных матриц.

Рассмотрим задачу поиска минимума функции нескольких переменных. На k-м этапе поиска поочередно минимизируется функция в направлениях векторов s₁ ,...,s_n, представляющих собой столбцы матрицы S_k. Для нахождения точки минимума в направлении si используется квадратичная интерполяция по трем равноотстоящим точкам z = x - as_i, x , y = x + as_i.

Одновременно для каждого направления вычисляется

После выполнения серии спусков матрица S преобразуется по формуле

где Λ_k - диагональная матрица, элементы которой определяются по (**); P_k - некоторая ортогональная матрица. Для квадратичной целевой функции матрица S_kT H S_k , где H - матрица Гессе, совпадает с матрицей H_k . Таким образом, при надлежащем выборе матриц P_k для квадратичной функции получаем S_kT H S_k → i и направления поиска приближаются к сопряженным. В рассматриваемом алгоритме матрицы P_k одинаковы на всех этапах и определяются по формуле (*).

Этапы работы алгоритма Поиск-4 аналогичны рассмотренным выше этапам алгоритма Поиск-2.

Алгоритм Симплекс

Используется метод «деформируемого многогранника» Недлера и Мида.

В методе Нелдера-Мида минимизируется функция n независимых переменных с использованием n+1 вершин деформируемого многогранника. Каждая вершина может быть идентифицирована вектором x . Вершина (точка), в которой значение f(x) максимально, проектируется через центр тяжести (центроид) оставшихся вершин. Улучшенные (меньшие) значения целевой функции находятся последовательной заменой точки с максимальным значением f(x) на более “хорошие” точки, пока не будет найден минимум f(x).

Далее кратко излагается суть алгоритма.

Пусть x_i(k) = [x_i1(k),..., x_ij(k),..., x_in(k)]T, i = 1,..., n+1, является i-й вершиной (точкой) на k-том этапе поиска, k = 0, 1,..., и пусть значение целевой функции в x_i(k) равно f(x_i(k)). Также отметим векторы многогранника, которые дают максимальное и минимальное значения.

Определим f(x_h(k)) = max{f(x₁(k)),...,f(x_n+1(k))},

где x_h(k) = x_i(k) , и

f(x_l(k)) = min{f(x₁(k)),...,f(x_n+1(k)),

где x_l(k) = x_i(k).

Поскольку многогранник в E_n состоит из (n+1) вершин x₁,...,x_n+1, пусть x_n+2 будет центром тяжести всех вершин, исключая x_h.

Тогда координаты этого центра определяются формулой

где индекс j обозначает координатное направление.

Начальный симплекс обычно (не всегда) выбирается в виде регулярного симплекса, причем начало координат можно поместить в центр тяжести. Процедура отыскания вершины в E_n , в которой f(x) имеет лучшее значение, состоит из следующих операций.

Отражение - проектирование x_h(k) через центр тяжести в соответствии с выражением

где a является коэффициентом отражения; x_n+2(k) - центр тяжести, вычисляемый по формуле (***); x_h(k) - вершина, в которой функция f(x) принимает наибольшее из n+1 ее значений на k - том этапе.

Растяжение. Эта операция состоит в следующем: если f(x_n+3(k)) <= f(x_l(k)), то вектор(x_n+3(k)-x_n+2(k)) растягивается в соответствии с соотношением

где g >1 представляет собой коэффициент растяжения. Если f(x_n+4(k)) < f(x_l(k)) , то x_h(k) заменяется на x_n+4(k) и процедура продолжается снова с операции 1 при k = k+1. В противном случае x_h(k) заменяется на x_n+3(k) и также осуществляется переход к операции 1 при k = k+1.

Сжатие. Если f(x_n+3(k)) > f(x_i(k)) для всех i < > h , то вектор (x_h(k)-x_n+2(k)) сжимается в соответствии с формулой

где 0 < b <1 представляет собой коэффициент сжатия. Затем x_h(k) заменяем на x_n+5(k) и возвращаемся к операции 1 для продолжения поиска на (k+1) шаге.

Редукция. Если f(x_n+5(k)) > f(x_h(k)), все векторы (x_i(k)-x_l(k)), i = 1, ..., n +1, уменьшаются в 2 раза с отсчетом от x_l(k) в соответствии с формулой

Затем возвращаемся к операции 1 для продолжения поиска на (k + 1) шаге.

Критерий окончания поиска- проверка условия

где e - произвольное малое число, а f(x_n+2(k)) - значение целевой функции в центре тяжести x_n+2(k).

На процесс оптимизации оказывают влияние коэффициенты отражения a, растяжения g и сжатия b. Коэффициент отражения a используется для проектирования вершины с наибольшим значением f(x) через центр тяжести деформируемого многогранника. Коэффициент g вводится для растяжения вектора поиска в случае, если отражение дает вершину со значением f(x) меньшим, чем наименьшее значение f(x), полученное до отражения. Коэффициент сжатия b используется для уменьшения вектора поиска, если операция отражения не привела к вершине со значением f(x), меньшим, чем второе по величине (после наибольшего) значение f(x), полученное до отражения. Таким образом, с помощью операций растяжения или сжатия размеры и форма деформируемого многогранника масштабируются так, чтобы они удовлетворяли топологии решаемой задачи.

После того, как деформируемый многогранник подходящим образом масштабируется, его размеры должны поддерживаться неизменными, пока изменения в топологии задачи не потребуют применения многогранника другой формы. Анализ, проведенный Нелдером и Мидом, показал, что компромиссное значение a = 1. Ими также рекомендованы значения b = 0.5, g = 2. Более поздние исследования показали, что рекомендуются диапазоны 0.4≤b≤ 0.6, 2.8 ≤g≤3.0, причем при 0< b < 0.4 существует вероятность того, что из-за уплощения многогранника будет иметь место преждевременное окончание процесса, а при b>0.6 может потребоваться большее число шагов для достижения окончательного решения.