2. АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ НЕЛИНЕЙНЫХ МОДЕЛЕЙ 17
(даже по вычислительному алгоритму) с ПЧ первого порядка ( s ^ l ) . Приложения
ПЧ можно найти в [13, 14], а различные подходы к вычислению этих показате
лей обсуждаются в [15].
Обстоятельный обзор различных приемов анализа чувствительности (SA —
Sensitivity Analysis) сделан в работе [16]. ПЧ имеют ряд преимуществ по
сравнению с этими приемами. ПЧ сильнее локальных методов, основанных на
оценках производных (например, [17, 18]), ибо содержат информацию о всей
области изменения переменных. Они эффективнее приемов, использующих оценки
корреляции и регрессии, так как позволяют исследовать нелинейные и немоно
тонные модели [12].
Для нелинейных задач существенна возможность оценивать ПЧ порядка
s>l. Такие оценки содержат иногда даже качественную информацию. Например,
если переменные xt и Xj характеризуют наличие каких-то двух химических
элементов, и показатель чувствительности Stj заметно превосходит S( и
(или) Sj, то можно предположить, что важную роль играет некое химическое
соединение, включающее оба эти элемента.
Для расчета ПЧ приходится вычислять интегралы высокой кратности. В
[1] рекомендуется использовать методы Монте-Карло или более быстро сходя
щиеся методы квази-Монте-Карло [19]. Основная цель настоящей работы -
показать, что такой подход сравнительно легко реализуем и дает достаточно
надежные результаты при не слишком большой затрате времени. В качестве
теста мы выбрали нелинейную и немонотонную функцию, зависящую от несколь
ких параметров, фиксируя которые можно регулировать роли различных пере
менных. Точные значения ПЧ для этой функции известны. В качестве квазислу
чайных точек мы использовали точки ЛПт-последовательности [20, 21]. Про
граммы для быстрого генерирования этих точек можно найти в [22-24].
В [1] рассматривалась задача: можно ли достаточно эффективно описать
модель при помощи некоторого подмножества исходных переменных? Чаще, одна
ко, встречается несколько иная постановка задачи: какие из переменных яв
ляются наиболее влиятельными? В настоящей работе мы затронем обе эти по
становки.
Глобальные показатели чувствительности
Рассмотрим моделирующую функцию fх), определенную в л-мерном единич
ном кубе 1пу так что х=(хг>...,хп)€1п, где
In= ix0^xtsl; 1 = 1,2,...,п}.
Пусть l^i 1 <i 2 <...<i s ^n - произвольная группа различных индексов,
л
l < s ^ n . Обозначим через 2 сумму по всем таким группам:
=
Ь / й 2 Tt+ 2 2 Г,у+... + Г12..Л
1 S
1=1 1</</<Л
- всего 2 я - 1 слагаемых. В [1] доказано, что любая интегрируемая функция
f(x) может быть единственным образом разложена на сумму разноразмерных
слагаемых
3. 18 А.САЛЬТЕЛЛИ И.М. СОБОЛЬ
i r (x)=fo + 2f/ 1 ...,,(x / l ,...,x / s ),- (1)
При этом интегралы от каждой функции ft л по любому из "своих" пере
менных равны нулю:
1
о
Очевидно, что
fо = J f(x)dx.
In
Если квадрат функции f(x) интегрируем, то интегрируемы квадраты всех
f
i 1 . . . i s - П У СТЬ
1 1
D = J f 2 ( x ) d x - fg, Dt t =$...Ifl tdx^.dxt
In 0 0
Возведя (1) в квадрат и проинтегрировав по 1п, получим равенство
(2)
fl=£jv.v
Показателями чувствительности порядка s называются числа
L
i---Ls L
i---ls
л =
Очевидно, 2 ^ . . . i !•
Естественно называть величины Di д и D дисперсиями, ибо если счи
тать точку х случайной и равномерно распределенной в I й , то f(x) и все
разноразмерные слагаемые f^ д (х^ ,...,х^ ) окажутся случайными величи
нами, a D и Di i - и х дисперсиями. (Конечно, если предположить, что
распределение х в 1п не равномерное и ввести плотность вероятностей
р(х)г1, то и дисперсии, и значения ПЧ окажутся другими).
Выберем произвольную группу переменных х^ ,...,х; и обозначим ее для
краткости одной буквой:
y=(xll,...,xtj).
Следуя [1,14], введем ПЧ группы, S(iv...tis)t который равен сумме всех
ПЧ, индексы которых состоят только из ii,...,i 5 , и полный ПЧ группы,
Stot(ily...,is), который равен сумме всех ПЧ, индексы которых содержат
какие-нибудь из чисел ily...yis. Нетрудно показать, что оба вида показате
лей группы связаны между собой.
В самом деле, обозначим через z совокупность переменных, не вошедших
в у (так что, x = ( y , z ) ) , и индексы этих переменных пусть будут
4. АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ НЕЛИНЕЙНЫХ МОДЕЛЕЙ 19
Тогда из определений следует, что
stot(iv...,is) + suv...jn_s) = i.
Пример. Пусть л = 4 и фиксированы переменные хг и х3. Тогда
S(1,3)=S 1 + S 3 + S13, S(2,4)=S 2 + S4 +
°24>
r
S ^(l,3)=S 1 +S 3 +S 12 +S 1 3+S 14 +S 2 3+S 3 4 +
+
S123+S124+Si34+S'234 +
^1234 =
1 " ^(2,4).
Легко видеть, что всегда
QxS(il9...tis)*S">t(ilt...9i5)*l.
Докажем, что в крайних случаях, когда можно сделать наиболее определенные
выводы, эти показатели совпадают. Для этого предположим дополнительно, что
f(x) кусочно непрерывна. Тогда:
(A) Для того, чтобы f(x) не зависела от переменных группы у, необхо
димо и достаточно, чтобы
S(i1,...,is)=St°Hh i.) = 0.
(B) Для того, чтобы f(x) зависела только от переменных группы у, не
обходимо и достаточно, чтобы
S ( i 1 , . . . , i s ) = S ^ ^ ( i 1 , . . . , i s ) = l.
Для проверки этих утверждений достаточно заметить, что в (2) все сла
гаемые неотрицательны, и D^ ^ обращается в нуль тогда и только тогда,
когда fti..д5=0.
Ясно, что в случае ПЧ, близких к 1, более информативен показатель
S(i 1 ,... ,i 5 ), а в случае ПЧ, близких к нулю, более информативен показатель
З а м е ч а н и е . Если группа у состоит из одной переменной xh то,
очевидно, S ( i ) = S p a Stot(i) равен сумме всех S^ д , у которых один из
индексов равен i.
Алгоритмы расчета
Для расчета всех дисперсий в [1] построен метод Монте-Карло, не тре
бующий явного нахождения членов разложения (1).
Во-первых, если считать точку x=(xv...,xn) случайной и равномерно
распределенной в 1п, то
f0 = Mf(x), D = Hf2(x) - fg;
здесь и далее М - символ математического ожидания.
5. 20 А. САЛЬТЕЛЛИ И.М. СОБОЛЬ
Во-вторых, пусть x = (ytz) и x = (y,z) - две независимые случайные точки,
равномерно распределенные в 1п. Рассмотрим случайную величину
?;(L 1 ,...,i 5 )=f(y,z) f(y,z)-fg.
Ее математическое ожидание равно
Wl(ily...,is) = Mf(y,z) f(y,z) - fI = Mg2(y) - fg,
где
g(y) = l..Sf(y,z)dz = f0 + Ifkl..mki(xk,...9xk)
0 0 1 f 1 *
— в сумме остались только такие слагаемые, у которых все индексы принадле
жат группе у. Поэтому
М£2(У) = ...g2dy = fl + 2 / > . . * , = fg + D d i , . . . , ^ ) ,
0 0 * '
где дисперсия группы D ( L 1 , . . . , L S ) равна сумме всех дисперсий, индексы ко
торых состоят только из ily...,is. Итак,
Mn(il9...,is) =D(ii,...,i s ).
Как известно [25], любые математические ожидания могут вычисляться
простейшим методом Монте-Карло. Поэтому при N->oo
1
2 f(y(mz^)$f0i l 5 f 2 (y (m) ,z ( ->)-fg^z),
~ I f(y(m),Z(m))f(y(m),2(m))-fg^D(L1,...,L,).
JVm = 1
_
Если Ji>...,j n _ s индексы, соответствующие группе переменных z, то
вполне аналогично
JVm = 1
Таким образом, для реализации испытания номер т нужны две л-мерные
случайные точки х ( т ) и х (ш) . Мы вместо них использовали одну квазислучай
ную точку размерности 2л.
После нахождения групповых ПЧ, S(iv...tis) = D(iv...tis)/D, в прин
ципе, легко вычислить ПЧ любых порядков. Во-первых, Si = S(i). Затем StJ-
определяются из равенств
S(iJ)=Si + SJ + SiJ.
Потом находим S ^ , и т.д. К сожалению, на этом этапе возможна потеря точ
ности, и если ПЧ высоких порядков (s>l) малы, то вычисляются они плохо.
Впрочем, в тех случаях, когда они малы, их точные значения обычно никого
не интересуют...
Напомним, что для того, чтобы избежать потери точности при вычитании
fg, в [1] рекомендуется заменить функцию f(x) функцией f(x)-ct где
с - любая постоянная, близкая к f0.
6. АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ НЕЛИНЕЙНЫХ МОДЕЛЕЙ 21
Замечания о трудоемкости
Для того, чтобы по вышеприведенным формулам оценить все ПЧ, требуется
рассчитать модель 2nN раз. В задачах с большим количеством л переменных
это сделать невозможно. Однако, чтобы оценить только ПЧ первого порядка,
требуется рассчитать модель всего N(n + 1) раз. Наконец, если мы готовы ог
раничиться оценкой ПЧ только для одной группы переменных, то для оценки
S(ilt...,is) потребуется всего 2N расчетов модели, а если добавить сюда и
ror
оценки S ( i 1 , . . . , i s ) = 1 - S(*J1>... ,jn_s)> то всего 3N расчетов.
В [12,15] рассмотрена возможность вычисления • S(ilt...,is) и
f or
S ( i 1 , . . . ,i s ) с использованием ранговых статистик. Численные значения
при этом сильно искажаются, но робастность выводов увеличивается.
Моделирующая функция
Рассмотрим функцию
f ( x ) = П *>,(*,), (3)
где
*>,(*) = ( | 4 х - 2 | + а / ) / ( 1 + а / ),
а все параметры а^О. Частный случай f(x), когда все а£. равны нулю, ис
пользовался в качестве теста в [26] и [22].
Фиксируя различные значения аь можно регулировать роль переменной xt
в (3). В самом деле, легко видеть, что при O^x^l
l - C l + a ^ - ^ ^ O O s l + a + a,)- 1 .
Рис.1
7. 22 А. САЛЬТЕЛЛИ И.М. СОБОЛЬ
Если а^ = 0, то 0^<Р}(х)^2; соответствующую переменную xt будем считать су
щественной. Если а, = 3, то 0.15^<р / (х)^1.25, и соответствующую переменную xt
в (3) будем считать второстепенной. Наконец, если а( = 9, то 0 . 9 ^ Д х ) : £ 1 . 1 ,
и соответствующую переменную xt в (3) будем считать несущественной
(рис.1). При х*1/2 функции <Pi(x) дифференцируемы:
^ ( х ) = ± 4 ( 1 + а / )- 1 .
Так что для существенных переменных <р =4, для второстепенных переменных
I^JI=1, а для несущественных переменных 1^/1=0.4.
1
Очевидно, при любых а^О интеграл JV;(x)dx = l, так что всегда
о
S f(x)dx = 1.
In
Разложение функции (3) на разноразмерные слагаемые легко получить:
f= n {i+[^(x / )-m = i + i [ ^ t ( x l ) - i ] ... [п(хь)-1].
Отсюда вытекает, что дисперсии ^i i равны произведениям одноиндексных
дисперсий:
а одноиндексные дисперсии нетрудно вычислить:
1
fli = j"[p,-(x)-l] 2 dx = i ( l + a,)- 2 .
Существенным, второстепенным и несущественным переменным xt отвечают дис
персии Dh равные 1/3, 1/48 и 1/300.
Легко видеть, что локальные методы оценки чувствительности в случае
функции (3) неприменимы, ибо производные df/dx( меняют знак внутри 1п и не
существуют в центре. Более того, функции <Pi(x) не монотонны, так что оцен
ки, основанные на корреляционном или регрессионном анализе также обречены
на неудачу; не поможет и использование ранговых статистик [12].
Пример 1: случай четырех переменных, п=4
Мы рассмотрели четыре варианта задачи:
(1.1) аг = а2 = а3 = а4 = 0;
(1.2) a1 = a2 = a3 = 0, a4 = 9;
(1.3) ^ = ^ = 0, а3 = а4 = 9;
(1.4) аг = 0, а2 = а3 = а4 = 9.
В Табл. 1 приведены все сосчитанные ПЧ, превосходящие 10~4, и их точ
ные значения. Прочерк означает, что результат расчета оказался отрицатель
ным (потеря точности при вычитании). Конечно, для практических задач четы
ре десятичных знака не нужны, но мы хотели получить представление о точ
ности методики. Из Табл. 1 видно, что при #=2 14 погрешности нигде не пре
восходят 0.002. Однако основные выводы о роли отдельных переменных можно
сделать уже при N = 2S.
9. А. САЛЬТЕЛЛИ И.М. СОБОЛЬ
Вариант (1.4)
10% 10 4 5 У
N D
1 2 3 4 12 13 14
2ю 9673 96 95 98 34 26 30 0 . 3 446
2** 9620 96 96 96 32 32 32 0.3466
00 9614 96 96 96 32 32 32 0.3467
Можно ли в этом примере игнорировать ("заморозить" [1]) несуществен
ные переменные? Вообще говоря, ответ на этот вопрос зависит от конкретных
условий задачи. Однако вспомогательная количественная информация может
быть получена путем оценки групповых ПЧ. В варианте (1.2): S(l,2,3) = 0.996,
S r ^ ( l , 2 , 3 ) = l - S 4 = 0.998. В варианте (1.3): S(l,2) = 0.985, Stot(l92) =0.989.
Наконец, в варианте (1.4): S(l) =0.961, Stot(l) =0.971. При таких значениях
показателей чувствительности во многих практических задачах "заморозить"
несущественные переменные можно.
Пример 2: случай восьми переменных, п=8
Мы рассмотрели три варианта задачи:
(2.1) ах = 0, а 2 =... = а8 = 3;
(2.2) a1 = a2 = 0t а 3 =... = а8 = 3;
(2.3) аг=... = а6 = 3; а7 = а8 = 0.
В Табл. 2 приведены все сосчитанные ПЧ первого и второго порядков для
варианта (2.1), а также их точные значения. Из таблицы ясно, что хг явля
ется единственной ведущей переменной. Однако S(l) = 0.62, Stot(l)=0.12, и
оба эти значения далеки от 1. Так что роль второстепенных переменных
х 2 ,...,х 8 достаточно велика (более 30%).
В Табл. 3 приведены аналогичные результаты для варианта (2.2). Здесь
также сразу видно, что хг и х2 играют главную роль. Групповые ПЧ, соответ
ствующие этим двум переменным, равны
S(l,2) =S 1 + S 2 + S12 = 0.77, S r o '(l,2) = 0.87,
так что роль второстепенных переменных х3,...,х8 заметно меньше, чем в
варианте (2.1).
Обратимся теперь к варианту (2.3), который теоретически идентичен
варианту (2.2): изменена нумерация переменных. Вариант (2.3) был включен в
программу эксперимента по методическим причинам. Дело в том, что исполь
зуемые нами в расчетах многомерные Л ^-последовательности [23] не симмет
ричны: проекции на плоскость (хг,х2) распределены несколько лучше, чем
проекции на плоскость (х 7 ,х 8 ). Можно заметить, что сходимость главных по
казателей в Табл. 4, которая соответствует варианту (2.3), несколько хуже,
чем в Табл. 3; и прочерков в Табл. 4 больше. Однако на основные выводы это
не влияет.
11. 26 - А. САЛЬТЕЛЛИ И.М. СОБОЛЬ
Таблица 4. Пример 2, п=8. Вариант (2.3).
Результаты расчета и точные значения
1035;
N D
1 2 3 4 5 6 7 8
2 12 20 21 20 20 20 20 338 332 0 . 9 95
00 21 21 21 21 21 21 329 329 1. 012
1035/у
17 18 27 28 37 38 47 48 57 58 67 68 78
2 12 7 8 7 7 4 10 4 11 5 10 7 7 105
00 7 7 7 7 7 7 7 7 7 7 7 7 110
io*su
12 13 14 15 16 23 24 25 26 34 35 36 45 46 56
212 1 2 3 3 6 7 7 - 5 3 1
00 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
Об оценке погрешностей
В методах квази-Монте-Карло обычно рекомендуется следить за установ
лением результатов при удвоении количества испытаний N. Для сравнения ре
комендуется также оценивать вероятные ошибки rN соответствующего метода
Монте-Карло [25].
В наших экспериментах rN оценивались по выборкам, хотя для функции
(3) это может быть сделано и аналитически. В самом деле, в наших примерах
дисперсия случайной величины
J7(i'i,...,i s ) = f(y,z)f(y,z) - 1
равна
W i . - . . Д,) = (1+Д) 2 c i r - - c i s " 11 + Д(Ч>...>Ч) 12>
где величины Q легко вычисляются:
1
о
Табл. 5 иллюстрирует скорость сходимости некоторых групповых ПЧ при
росте N. Мы приводим значения, полученные при расчете "худшего" варианта
(2.3). В графе dN помещены абсолютные ошибки сосчитанных значений
S ( i 1 , . . . , i s ) , а в графе rN - вероятные ошибки метода Монте-Карло:
rN = 0.6745 [Dq(iv...tis)/N]1/2D-1.
Легко видеть, что во всех случаях dN«rN.
12. АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ НЕЛИНЕЙНЫХ МОДЕЛЕЙ 27
Таблица 5. Сходимость результатов при увеличении количества испытаний N.
(Пример 2, я=8. Вариант (2.3); все величины умножены на 103).
< у — абсолютная погрешность, г^ — вероятная ошибка.
5у
N S
S ** r
tf *5 <V r
N .5(7,8) *JV
r
N S(2,7) a* r
tf
29 347 18 69 22 1 54 822 53 93 382 25 72
1 0
2 338 9 49 23 2 38 795 26 66 377 2 0. 51
1 1
2 332 3 35 18 3 27 782 13 46 368 11 36
2 12 332 3 24 20 1 19 111 8 33 366 9 25
2 13 328 1 17 21 0 14 111 3 23 362 5 18
00 329 21 769 357
Замечания
Представление (1) построено в [27] с помощью разложения f (х) в кратный
ряд Фурье-Хаара. Однако там же (стр.133) указано, что можно использовать
любую ортогональную систему, включающую функцию, равную постоянной. В [28]
представление (1) использовано для анализа структуры f(x) и получена фор
мула (2). Общая теорема о представлении (1) доказана в [1].
В [29] для оценки влияния xh взаимодействия xt с Xj и взаимодействий
высоких порядков предлагается использовать условные средние исследуемой
функции Pi(Xi), nt j(xtix ]),.., (стр.418), которые совпадают с /*/(*/),
/^.(х^Ху),... в разложении (1).
СПИСОК ЛИТЕРАТУРЫ
1.И.М. Соболь Об оценке чувствительности нелинейных математических моделей / / Матем. моделирова
ние, 1990, т. 2, № 1, с. 112-118.
2. R.J. Cukier, CM. Fortuin, К.Е. Schuler, A.G. Petschek, J.К. Schalbly. Study of the sensitivi
ty of coupled reaction systems to uncertainties in rate coefficients. I. Theory / / J. Chemical
Phys., 1973, v. 59, № 8, p. 3873-3878.
3. R.J. Cukier, H.B. Levine, ICE. Schuler. Nonlinear sensitivity analysis of multiparameter model
systems / / J. Comput. Phys., 1978, v. 26, № 1, p. 1-42.
4. J.K. Schaibly, ICE. Schuler. Study of the sensitivity of coupled reaction systems to uncerta
inties in rate coefficients. II, Applications / / J. Chemical Phys., 1973, v. 59, №8,
p. 3879-3888.
5. G.J. McRae, J. W. Tilden, J.H. Seinfeld. Global sensitivity analysis - a computational imple
mentation of the Fourier amplitude sensitivity test (FAST) .// Computers Chem. Eng., 1982,
v. 6, p. 15-25.
6. D. Liepman, G. Stephanopoulos. Development and global sensitivity analysis of a closed ecosys
tem model / / Ecological Modelling, 1985, v. 30, p. 13-47.
7. В.И. Абрамов, А.П. Kapmauiee, A.C. Роишль. Об одном методе нелинейного анализа чувствительности
математических моделей / / Ж. вычисл. матем. и матем. физ., 1986, т. 26, № 3, с. 469-474.
8. S.C. Нога, R.L.lman. A Comparison of Maximum (Bounding and Bayesian) Monte Carlo for fault
tree uncertainty analysis: Report Sandia Nat. Labor., 1989, SAND 85-2839.
9.R.L.lman, S.C. Hora. A robust measure of uncertainty importance for use in fault tree system
analysis / / Risk Analysis, 1990, v. 10, № 3, P. 401-406.
10. T. Jshigami, T. Homma. An importance quantification technique in uncertainty analysis: Report
Japan Atomic Energy Res. Inst., 1989, JAERI-M 89-111.
13. 28 А. САЛЬТЕЛЛИ И.М. СОБОЛЬ
11. Т. Ishigami, T. Homma. An importance quantification technique in uncertainty analysis for com
puter models: Proc. First Internat. Sympos. on Uncertainty Modelling and Analysis, Univ. Mary
land, USA, 1990, p. 398-403.
12. A. Saltelli, Т.Н. Andres, T. Homma. Sensitivity analysis of model output: An investigation of
new techniques / / Computational Statistics and Data Analysis, 1993, v. 15, p. 211-238.
13. A. Saltelli, J. Hjorth. Uncertainty and sensitivity analysis of dimethylsulphide (DMS) oxida
tion kinetics / / J. Atmospheric Chemistry, 1994 (to appear).
14. T. Homma, A. Saltelli. Importance measures in global sensitivity analysis of model output / /
Computational Statistics and Data Analysis, 1994 (to appear).
15. T. Homma, A. Saltelli, Т.Н. Andres. A new measure of importance in global sensitivity analysis
of model output: Proc. 6th Internat. Conf. on Physics Computing, Lugano, Switzerland, 1994,
p. 511-514.
16. /. С Helton. Uncertainty and sensitivity analysis techniques for use in performance assessment
for radioactive waste disposal • / / Reliability Engng and System Safety, 1993, v. 42,
p. 327-367.
17. D.G.Cacuci. Sensitivity theory for nonlinear systems, Parts I and II / / J. Math. Phys., 1981,
v. 22, № 12, p. 2794-2802, 2803-2812.
18. /. -T. Hwang, E.P.Dougherty, S.Rabitz, H.Rabitz. The Green's function method of sensitivity
analysis in chemical kinetics / / J. Chemical Phys., 1978, v. 69, № 11, p. 5180-5191.
19.1.M. Sobol'. Quasi-Monte Carlo Methods / / Progress in Nuclear Energy, 1990, Vol.24, N 1-3,
P. 55-61.
20. И.М. Соболь. О распределении точек в кубе и приближенном вычислении интегралов / / Ж. вычисл.
матем. и матем. физики, 1967, т. 7, №4, с. 784-802.
21. И.М. Соболь. Равномерно распределенные последовательности с дополнительным свойством равно
мерности / / Ж. вычисл. матем. и матем. физики, 1976, т. 16, №5, с. 1332-1337.
22. P. Bratley, B.L. Fox. Implementing Sobol's quasirandom sequence generator / / ACM Trans, on
Math. Software, 1988, v. 14, № 1, p. 88-100.
23. I.M. Sobol', V.I. Turchaninov, Yu.L. Levitan, В.У. Shukhman. Quasirandom Sequence Genera
tors, - Moscow, Keldysh Inst, of Applied Maths, 1992, 24 pp.
24. B. Shukhman. Generation of quasi-random (LPT) vectors for parallel computation / / Computer
Phys. Communs, 1994, v. 78, p. 279-286.
25. I.M. Sobol', A Primer for the Monte Carlo Method, - Boca Raton-London- Tokyo: CRC Press, 1994,
107 pp.
26. P.J. Davis, P. Rabinovitz. Methods of Numerical Integration, - N. Y.: Academic Press, 1984.
27. И.М. Соболь. Многомерные квадратурные формулы и. функции Хаара, - М.: Наука, 1969.
28. В. Шальтянис, А. Варнайте. Вопросы структуры многоэкстремальных задач оптимизации / / Теория
оптимальных решений, Вильнюс, Вып. 2, 1976, с. 67-77.
29. /. Sacks, W.J. Welch, T.J. Mitchell, HP. Wynn. Design and analysis of computer experiments / /
Statistical Science, 1989, v. 4, №4, p. 409-435.
Поступила в редакцию
09.08.94.