Как сравнить теплое с мягким
•Download as PPTX, PDF•
1 like•678 views
Доклад Артёма Митропольского на конференции Analyst Days-6 www.analystdays.com
Recommended
Recommended
More Related Content
More from SQALab
More from SQALab (20)
Как сравнить теплое с мягким
- 1. Как сравнить теплое с мягким
- 2. План • Основные сущности (ЛПР (люди, принимающие решения), альтернативы, критерии, шкалы) • Предельная сложность выбора • Способы уменьшения сложности • Уменьшение количества альтернатив • Свертка критериев • Объединение мнений экспертов • Тёплое и мягкое
- 3. • ЛПР • Альтернативы • Критерии • Шкалы • Эксперты ЛПР выбирает альтернативу ЛПР использует критерии ЛПР обращается к экспертам Критерии оценивают по шкале Альтернатива оценивается по критериям ЛПР Альтернатива Критерий Шкала Эксперт Основные сущности
- 4. Оценка предельной сложности выбора Количество критериев или альтернатив 2 3 4 5 Количество оценок на порядковых шкалах 2 7-8 (А) 6-7 4-5 3 3 5-6 3-4 2-3 2 (Б) 4 3-4 • (А) При выборе из двух альтернатив можно использовать не более 7-8 критериев со шкалами в 2 деления ИЛИ При выборе по двум критериям со шкалами в два деления можно выбирать не более чем из 7-8 альтернатив • … • (Б) При выборе из 5 альтернатив можно использовать не более двух критериев со шкалами в 3 деления ИЛИ При выборе по 5 критериям со шкалами в 3 деления можно выбирать не более, чем из двух альтернатив Предельная сложность выбора (в уме)
- 5. • Парето • Группировка • Осознанное уменьшение • Ограничение по критерию • Ограничение по всем критериям • Суммарная полезность • Суммарная разность (Метод Франклина) • «Нам не нужны неудачники» Уменьшение количества альтернатив
- 6. • Линейная свертка • Мультипликативная свертка • Отклонение от идеала • Равноценный обмен Быстро Качественно Дешево Линейная свертка Мультипликативная свертка Отклонение от Компания1 1 5 9 1+5+9=15 1*5*9=45 1^2+5^2+9^2=107 Компания2 5 5 5 5+5+5=15 5*5*5=125 5^2+5^2+5^2=75 Компания3 3 5 8 3+5+8=16 3*5*8=120 3^2+5^2+8^2=98 Свертка критериев Кого взять на субподряд по проекту?
- 7. • Свертка • Голосование • Метод Дельфи Количество человек====> 3 5 7 6 Первое место БАР БАР Пейнтбол Картинг Второе место Пейнтбол Картинг Настолки Пейнтбол Третье место Картинг Пейнтбол Картинг Настолки Четвертое место Настолки Настолки БАР БАР Куда пойти на teambuilding? Объединение мнений экспертов
- 8. • 4 проекта • 5 критериев (из различных областей) • 5 экспертов (из различных областей) • Шкала от 1 до 10 • Расхождение трех первых мест в 1 балл • Результат - лотерея • Шкалы уменьшить (сделать различимыми) • Шкалы согласовать • Экспертов взвесить Лучший проект хакатона
- 9. • SIGMOP • Метод Дайера-Джиофриона • Метод Зайонца-Валлениуса • STEM • МАИ (AHP) • Метод Харвица (Максимакс, Максимин) • Методы иерархического упорядочивания • MAUT • SMART • Electre Человеко-машинные процедуры
- 10. Какое пиво пить?
- 13. Какое выбрать Case средство?
- 14. • Не торопитесь! • Уменьшайте сложность • Уточняйте критерии и согласовывайте шкалы • Тщательно формулируйте цель • Помните ЛПР – тоже человек • Если чувствуете неуверенность ЛПР – уточняйте цели или ищите забытые критерии. Итог
- 15. Спасибо за внимание • Т. Саати «Принятие решений» • О.И Ларичев «Теория и методы принятия решений» • http://tomakechoice.com/ (программа) Mitropolsky.Artem@gmail.com
Editor's Notes
- Цель моего доклада: познакомить вас с основными понятиями теории принятия решений, основной сложностью этого процесса и тем, как с ней справляются. Зачем это вам как аналитикам? Потому что аналитики сами постоянно принимают решения, а также вынуждают и помогают принимать решения заинтересованных лиц, руководителей разных рангов, в том числе и собственных начальников архитекторов и других коллег. Делают они это обычно интуитивно. В сложных ситуациях это может привести к не очень хорошим результатам. Поэтому аналитикам полезно знать хоть что-то о теории принятия решений и уметь применять некоторые простые, а может и не очень простые методы Не ждите подробной инструкции, как решить любую проблему. Я начну с простых и всем понятных методов и закончу более сложными, которые применяют в ситуациях, когда непонятно, что делать. Один из методов покажу на примере. Речь пойдёт о принятии решения человеком самостоятельно или при помощи человекомашинных процедур. К задачам принятия решений также относятся ситуации, когда вариантов решения еще нет и их нужно выработать в процессе принятия решения. Задачи классификации и задачи дележа. Мы пока ограничимся ситуациями, когда альтернативы всё-таки есть, то есть задачами выбора. Математическое обоснования приводить также не буду. Желающие смогут ознакомиться с ним в указанной в конце литературе и в интернете.
- Я расскажу об основных сущностях, используемых при принятии решений и о том, какую сложность эти сущности добавляют задаче принятия решений. Далее расскажу о том, задачи какого размера помещаются в оперативную память Далее мы рассмотрим основные способы уменьшения сложности. Как уменьшить количество альтернатив. Парето-искусственный отбор… Какие бывают шкалы критериев, как можно критерии свертывать и какие проблемы это может принести. Как можно объединять мнения экспертов и какие сложности это несет. Затронем темы голосований. А дальше я расскажу о некоторых методах, которые можно использовать, когда дальше упрощать некуда
- ЛПР. Их может быть много. Фактически при этом можем считать, что каждый ЛПР – это эксперт. Но главное – мышление не рационально. Многочисленные эксперименты продемонстрировали отклонение поведения людей от рационального, определили эвристики, которые используются при принятии решений. 1. Человек обычно не имеет готовой, точно сформулированной политики, решающего правила. Он вырабатывает это решающее правило привычным человеческим методом проб и ошибок, т.е. человеку необходим процесс обучения. 2. Из-за ограниченного объема кратковременной памяти человек в каждый момент времени уделяет внимание ограниченному подмножеству объектов. Этим объясняется известная стратегия поиска доминирующей структуры. При рассмотрении большого количества альтернатив человек первоначально применяет простые стратегии исключения по аспектам, пытаясь уменьшить их число до обозримого, а уже потом использует более тонкие стратегии сравнения. 3. Человек ищет удовлетворительное, а не оптимальное решение, достаточно устойчивое к изменению внешних (им не контролируемых) факторов. 4. Человек минимизирует (подсознательно) свои усилия при поиске решения. Он меняет свои стратегии по ходу решения задач, выбирая те из них, которые требуют меньше умственных усилий. Человек стремится использовать более простые когнитивные операции (например, сложение), простые сравнения малого числа переменных и т.д. Альтернативы. Альтернатив может не быть, они могут подбираться и видоизменяться в процессе принятий решения. Они могут быть зависимыми. Самый Простой вариант – принадлежность группе. Если мы не рассматриваем иногородних кандидатов, но вдруг решили включить их в выборку, то имеет смысл включать всех. Альтернатив может много. Может быть очень много. Тогда на каждой и них прост не сосредоточиться Критерии В профессиональной деятельности выбор критериев часто определяется многолетней практикой, опытом. Критерии могут быть независимыми или зависимыми. Ну например вы выбираете систему управления требованиями (проектами). Если она интегрируется с условной жирой, в которой у вас ведутся таски, то на возможность допилки этой системы руками вам плевать. А если нет, то важно, чтобы ее было легче дорабатывать. Критериев, как и альтернатив, может быть много. Но если для альтернатив много – это может быть 100, 1000 или 10000, то для критериев много может быть 10 или 20 Использование критериев для оценки альтернатив требует определения градаций качества: лучших, худших и промежуточных оценок. Иначе говоря, существуют шкалы оценок по критериям. Есть непрерывные шкалы (например, стоимость автомобиля в деньгах при выборе автомобиля). Строго говоря сумма скорее всего будет из счетного множества, но это несущественно. Мы их можем, при необходимости разбить на группы. Например до миллиона, от миллиона до двух и свыше двух. Есть Порядковые шкалы (когда мы можем упорядочить значения на шкале от лучшего к худшему, но не можем сказать насколько). Например, съесть огурец для здоровья полезнее, чем кусок сала. Но непонятно насколько. Или, есть страховка или нет. Есть номинальные шкалы. Когда шкала фактически превращается в перечисление независимых вариантов. Например пол: М или Ж. Номинальные обычно в принятии решений не используют. Без отношения порядка они смысловой нагрузки не несут, а могут только передавать зависимость. Но в рамках задачи может оказаться, что для нас девочки важнее мальчиков и формально номинальная шкала буде рассматриваться как порядковая. Сделаем еще два замечания. Ясно, что построенная неким образом абсолютная порядковая шкала не может иметь много значений, так как они станут плохо различимыми для лиц, производящих измерения. Чтобы легче договориться, надо выделить всем понятные, одинаково ощущаемые точки на этой шкале и подробно объяснить, что они означают. Поэтому на таких шкалах должны быть детальные словесные формулировки оценок — градации качества. Кроме того, эти определения (градации качества) выделяют те оценки на шкале измерений, которые нужны лицам, производившим измерения (например, их интересовали только очень горячие и/или очень холодные предметы). Таким образом, оценки на порядковой шкале определяются как потребностями лиц, нуждающихся в тех или иных измерениях (в нашем случае — ЛПР), так и различимостью оценок, возможностью построения вербального описания их смысла в понятном для всех (как для экспертов, так и для ЛПР) виде. Еще одна сложность заключается в том, что когда мы доверяем принятие решения экспертам, мы должны помнить, что эксперты не универсальны и могут разбираться по одному критерию, но не соображать ничего по второму. А еще эксперты могут врать. Резюме: Люди не рациональны, эксперты врут, шкалы нужно тщательно градуировать, альтернатив и критериев может быть много
- Не будем сейчас детально останавливаться на моделях памяти и особенностях обработки информации мозгом. Думаю все знакомы с кучей различных исследований, показывающих, что оперативная память человека ограничена. А принятие решение осуществляется как раз в этой памяти. А значит слишком большая сложность затрудняет принятие решений, а то и вовсе вызывает аналитический паралич (термин не мой) Многочисленные эксперименты по изучению возможности человека перерабатывать информацию и различать уровни измерения стимулов свидетельствуют о некотором уровне в 7+-2 элемента, которые человек может воспринимать. Причем элементы могут выступать не только атомарные слова, но и чанки – большие объединения информации, воспринимаемые как одно целое. Результаты оценки возможностей человека в задачах разной сложности сведены в таблице, где в клетках указано предельное число критериев, при которых испытуемые еще справляются с задачей многокритериальной классификации. Невозможность решения задач, более сложных, чем указаны в таблице, выражается в многочисленных противоречиях, в допускаемых ошибках или в упрощении задачи в ущерб ее содержательной стороне. Обратимся к таблице. При решении любой задачи классификации испытуемый должен учитывать все три основных параметра задачи: критерии, оценки на шкалах, классы решений. Если мы перемножим наибольшие значения этих параметров, приведенные в таблице, то получим значения в пределах 30—42. Что делать? Тренировать память, увеличивая объем оперативной памяти (работает только для себя и долго) Нарабатывать кэш второго уровня (становится экспертов в теме, наработав большое количество типовых решений, позволяющих быстро сориентироваться) Уменьшать сложность задачи
- Первый и самый часто используемый способ – это выделение множество Парето. В это множество попадают те альтернативы, для которых не существует другой альтернативы, которая будет по всем параметрам лучше либо равна данной (по одному критерию лучше). Утрируя: Если одни вам предлагают быстро и качественно, а вторые медленно и плохо, при прочих равных, второй вариант можно не рассматривать. Все такие варианты не попадают в множество парето. Второй способ – это группировка. Мы объединяем однотипные альтернативы в группу, которую оцениваем как одну усредненную альтернативу. Если она победит, то можно сделать вторую итерацию выбора уже внутри группы. Третий способ – это попытка неким искусственным образом дополнительно ограничить выборку. Проводились эксперименты, в ходе которых различными методами изучали последовательность размышлений людей при принятии решений, и выделили несколько типовых стратегий Одна из них – это установка порога по критерию. <ПРИМЕР> Осознанное уменьшение очень часто встречается при выборе архитектуры решения и используемого стека технологий. Например в одном из случаев мы сознательно выбрали Silverlight для клиентского приложения, потому что не хотелось ездить по всей нашей необъятной стране и решать проблемы установки на множестве неизвестных программно-аппаратных конфигураций. То есть среди критериев выбора появился критерий сложности поддержки, который отсек все варианты, требующие присутствия кого-то из нас. Сразу после этого остался только один удовлетворительный по остальным критериям вариант. Как вы обратили внимание, мы при этом потеряли часть потенциальных возможностей, связанных с толстым клиентом. Но пошли на это осознанно, решив, что для нас важнее. Другой – это установка порога по всем критериям. Типа вот мои минимальные требования. Я хочу, чтобы на новом месте работы мне платили 100 рублей, белыми и чтобы было ДМС. Третий вариант – это как бы просуммировать оценку по всем критериям в некий единый образ. И выбрать наиболее привлекательные. Анжелина Джоли мне как актриса нравится больше, например, Ксения Собчак. Можно даже по критериям не рассматривать. Четвертый – Метод Франклина. Это метод из письма Бенджамина Франклина одному своему знакомому, когда то спрашивал совета по принятию решения. Идея заключается в том, что мы, принимая решение за или против, берем лист и пишем слева ЗА, а справа ПРОТИВ. Если какие-то ЗА уравновешивают какие-то ПРОТИВ, то вычеркиваем их всех. Если в итоге получили некоторый перевес – вот и решение, какой вариант лучше. Можно аналогичным образом сравнивать две альтернативы, где ЗА и ПРОТИВ будут просто различия альтернатив по критериям Также возможна стратегия как в анекдоте. Пришло 200 резюме на вакансию. Молодой HR собрался ударно потрудиться и выбрать лучших. А старый взял половину стопки резюме и в мусор. Молодой: ээ, чего ты? Старый: А зачем такой крутой компании как наша неудачники? Мне кстати сказали, что так доклады на analyst days выбирают… Кстати, старый был не так уж и неправ, так как сэкономил время на обработку 100 резюме. Если в остальных 100 скорее всего найдется подходящий кандидат, то это вполне реальная стратегия.
- Свертка критериев – это некая последовательность действий, позволяющая нанести оценки по различным критериям на одну шкалу, чтобы потом их использовать. Просто пример. На одной работе вам предлагают 100р, а на другой 90 и обед. Вы прикидываете, что обед стоит 5р и теперь у вас выбор меду 100 и 95. По большому счету свертки отличаются только формулами. Для того, чтобы свернуть критерии, нужно их взвесить. То есть определить, сколько будет добавлять соответствующее значения по этому критерию в общею копилку. Линейная свертка – это когда итоговое значение есть линейная комбинация взвешенных значений по критериям. Просто просуммировали. Или взвесили и просуммировали. Шкалы предварительно нормировать. Мультипликативная, когда перемножаем оценки по критериям взятые в степенях своих приоритетов. Такая свёртка удачна, когда низкие оценки даже по одному-двум критериям в принципе нежелательны. Типо исключаем варианты, когда низкое значения одного критерия компенсируется высоким по другому. Мы проект будем делать долго, зато дешево. линейная свертка основана на неявном постулате: "низкая оценка по одному критерию может быть компенсирована высокой оценкой по другому". Однако, этот постулат верен отнюдь не для всех моделей сравнительной оценки "качества". Простейший пример – ухудшение качества изображения телевизора не может быть компенсировано улучшением качества его звука. Отклонение от идеала – это когда берется точка в максимальными показателями по всем критериям, а дальше рассчитывается минимальное квадратичное отклонение от этой точки (смотрится у кого меньше сумма квадратов отклонений от идеала). Чем-то регрессию напоминает. Равноценный обмен – упрощенный способ. Идея заключается в том, что если по какому-то критерию все альтернативы равны, то его можно исключить из сравнения. Если мы установили, что по группе критериев альтернативы примерно равны, то можем исключить всю группу.
- Можно просто свернуть. Как на предыдущем слайде. Можно проголосовать. Разница в том, что Можно попросить не выделить лучший вариант, а ранжировать варианты от лучшего к худшему. И тогда можно использовать различные хитрые правила объединения голосов. Метод Дельфи. Если кратко. Рассылаем вопросы и предлагаем сделать выбор. Результаты рассылаем и просим обосновать почему решение эксперта другое. В частности отличается от большинства. Повторяем процедуру до тех пор, пока точки зрения не сблизятся в достаточной степени. Плюс в том, что эксперты могут быть анонимны и их личные взаимоотношения не будут влиять. Но долго. Возьмем к примеру известную процедуру planning poker. Если мы просто посчитали среднее – это банальная свертка. Если начинаем торговаться – то метод дельфи, но с переходом на личности. Возможны и другие варианты. Если у нас оценка по одному критерию, то просто. Если критериев несколько, то оценка по одному может противоречить оценке по другому. То есть даже согласованное мнение экспертов может в итоге проблему не разрешить. Правило Борда. Парадокс Кондорсе. На самом деле при выборе из двух альтернатив – простое большинство –отличный способ. Правила Кондорсе и Борда. Кондорсе – выбор того, кто побеждает всех остальных в попарном сравнении (если такой есть). Борда – приписываем вес в зависимости от места в индивидуальном предпочтении и суммируем количество очков На слайде пример ситуации, когда относительное большинство дает неприемлемый для большинства результат
- Здесь пример того, как делать не надо. Проводился в компании N. хакатончик. Несколько команд с нуля делали некоторые проекты прямо или косвенно применимые в компании. Сутки работы, потом демонстрация результатов и оценка. Команд было 4. Оценивало их 5 экспертов. По 5 критериям. Оценки от 1 до 10. Вы уже посчитали? 4*5*5*10=1000. Вот сложность задачи. Для каждого эксперта она = 200. Условно конечно. Как вы понимаете, можно было получить от 5 до 250 баллов. Результат определялся простым суммированием Критерии были: качество решения (качество кода итп), инновационность, документированность, полезность для компании, финансовая состоятельность. 3 первых места разошлись с разницей в 1 очко. При этом: 10 значений по любому критерию были неразличимы для экспертов. На вопрос, чем 7 баллов отличается от 8 по вот это шкале, а 3 от 4 толком ответить никто не мог (утрирую, конечно я не всех опросил) А даже если и различимы, то 0,5 балла погрешности (половина цены деления) по каждой оценке дают 0,5*5*5=12,5 баллов погрешности итогового решения в лучшем случае. А еще есть относительные и абсолютные оценки. Некоторые оценивали команды так: худшей 1 балл, лучшей 10, остальным между. А другие оценивали относительно имеющегося у них представления в целом, имея в виду не только текущие альтернативы, а все, которые могли представить. Те, кто у соседа получили 1,5, 10 здесь получили 3,4,5 А есть еще и несогласованность шкал у различных экспертов А также тот факт, что не все эксперты были компетентны по всем критериям. Так что само мероприятие было прекрасно, а вот финал разочаровал именно показательной бессмысленностью результатов. Как сделать лучше? Как минимум уменьшить и согласовать шкалы. «Взвесить» экспертов по критериям.
- Когда уже простыми методами не обойтись. Трудно отфильтровать лишнее или вообще далее уже невозможно, то приходится принимать решение на основе оставшейся информации. Для этого используют так называемые человеко-машинные процедуры. Это когда машины выдает некоторую проекцию задачи (определенную точку зрения, часть ее итп), а человек дает оценку по этой проекции. Повторить нужное количество раз. Есть много различных вариантов со своими проблемами. Но нужно иметь в виду: Есть ограничения по сложности принимаемого решения. Чем сложнее эта проекция, тем больше вероятность ошибок. Есть время на принятие решения. Как правило ограниченное. Мы не можем бесконечно принимать решение Есть устойчивость решения к изменениям. Процедура может не очень сложна и не очень длительна, но малейшее изменение в локальном решении по проекции существенно изменит результат. На слайде некоторый список существующих ЧМП. Не всех. При необходимости, можете поискать по названию, ознакомиться и выбрать конкретную. Мне больше всего нравится метод анализа иерархий, и в качестве примера я буду дальше рассматривать его.
- Здесь будет демонстрация решения задачи выбора сорта пива методом МАИ. С использованием соответствующего ПО. Демонстрация будет состоять из двух частей. В первой я покажу аналог своей курсовой работы по принятию решений, когда я выбирал пиво. И на этом примере вкратце опишу процесс По факту после успешной сдачи курсовых, мы пошли пить пиво. И пили совсем не то, что только что выбрали на курсовой. На этом месте заострить внимание на правильном выборе цели сравнения и учете ограничений. Во второй части мы попробуем подобрать пиво для кого-нибудь из зала, пользуясь этим же методом. ИС – мера нетранизтивности матрицы. ОС- мера нетранзитивности всей нижележащей иерархии. ----Возможное дополнение Обобщим измерение согласованности на всю иерархию. Процесс заключается в том, что индекс согласованности, полученный из матрицы парных сравнений, умножается на приоритет свойства, относительно которого проведено сравнение, и к этому числу добавляются аналогичные результаты для всей иерархии. Затем данная величина сравнивается с соответствующим индексом, который получен как сумма случайно сформированных индексов, взвешенных посредством соответствующих приоритетов. Отношение должно находиться в окрестности 0,10, чтобы не появилось сомнений в усовершенствовании фактического функционирования и в суждениях. ----конец возможного дополнения
- Задача была выбрать на какой проект потратить бюджет RnD лаборатории. Было 2 возможных проекта. Не могу назвать конкретно о чем они. Ну и могу чуть-чуть приврать в цифрах, ибо дело было в начале 2016 года, а записей, понятное дело, не осталось. Были критерии, которые выяснили в беседе с начальником лаборатории: Потенциальный доход/Срочность доработки (насколько быстро нужен был результат, учитывая всякие политические расклады)/Сложность доработки (риск не успеть вовремя). Хоть и задача в целом не сложная ибо если брать 2 значения по критерию, то 2*3*2=12, но очень сложная ситуация. Особенности оценок: По доходу: чем больше, тем лучше. По срочности, чем срочнее, тем лучше-важнее. По сложности, чем сложнее, тем хуже. Победил более сложный и срочный проект. Но в итоге сработал риск и он не реализовался. Интересен этот пример скорее тем, что вот таким образом, обсуждая эту задачу с периодическим изменением параметров сравнения, начальнику лаборатории удалось самому понять, какой вариант он считает лучшим.
- Один мой коллега получил несколько предложений о работе и мучался сложным выбором. Путем предварительных манипуляций удалось отсеять все предложения кроме двух. Но дальше процесс не шел. Критерии: Доход Перспективы развития (в своей профессии и альтернативных) Интересные задачи (ибо в одном случае было с этим все очень плохо) Понты (ибо одна компания была с громким именем) Время до работы Один вариант был с понтами, но с ровным и понятным будущим. Второй чуть давал чуть больше дохода, но с более интересными перспективами, хотя и на обозримое время с очень скучными и мерзкими задачами. В процессе так же было много обсуждений. Например оказалось, что по большому счету на понты и время на дорогу плевать, хотя поначалу коллега считал это важным.
- Выбор инструмента для проектирования. Нужно определиться с целью: для себя, для конкретного проекта, для компании. Тут больше вариантов Power Designer, Enterprise Architect, Visio (как бы без спецсредств с подручными инструментами), Забить на все. Можно добавить и еще варианты типа Visual paradigm итп. Критерии: Стоимость Покрытие моделями области деятельности (в случае «БЕЗ» это означало оставить все как есть и практически не строить моделей) Порог вхождения Качество работ (при применении данного средства) Время на проектирование (при применении данного средства) Выбирал я для себя
- Здесь будет перечень литературы и полезных ссылок