SlideShare ist ein Scribd-Unternehmen logo
1 von 18
ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО
Иногда попадаются прижимистые заказчики, которые не
соглашаются тупо отслюнявить названную им сумму на
содержание команды лоботрясов автоматизаторов.
«Почему столько много? Какие ваши доказательства?» –
кричат они. – «У нас вот есть парочка бизнес-аналитиков,
они и сами все нормально протестируют. Зачем нам
ваша сраная автоматизация?»
Господи, ну как можно быть такими жадными? «Вам
жалко, что ли?» – хочется спросить нам. Но мы этого не
делаем, потому что мы – профессионалы. Вместо этого
мы прибегаем к помощи такого полезного инструмента
как ROI.
ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО
Бывает и немного по-другому. Заказчик является с
чемоданом денег и говорит: «Хочу, чтобы у меня все
было по-богатому, чтобы там автоматизация туда-сюда и
вообще. Но я хочу знать, какой мне с этого будет навар.
А ну, посчитайте-ка, во что мне все это выльется».
«Навар? Ахаха! Он сказал, навар? Ололол, держите меня
семеро!» – хочется сказать нам в ответ на это признание
в собственной алчности. Но, будучи профессионалами,
мы поступаем иначе: мы прибегаем к помощи такого
важного инструмента как ROI.
ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО
Ну а что если заказчик уже заплатил, и теперь, по
окончании первой фазы разработки, желает услышать,
как он грамотно все распланировал и как вовсю идет к
успеху? «Значит так, пацаны, у меня тут немного
свободных деньжат нарисовалось – вот, думаю, то ли
яхту себе купить, то ли в автоматизацию вложиться. Как
она там у нас, кстати, поживает?»
«Да у нас тут пиздец полный, ни черта не работает», –
хочется ответить нам. Конечно, мы ведь честные люди, а
не какое-то там жулье. Но при всем при этом мы еще и
профессионалы, а потому мы прибегаем к помощи
такого безотказного инструмента как ROI.
КАНОНИЧЕСКИЙ ПОДХОД К ПОДСЧЕТУ ROI
Собственно говоря, каноническая формула придумана
давным-давно и по сути сводится к соотношению между
прибылью и тратами:
𝑹𝑶𝑰 =
𝑵 𝒂𝒗𝒂𝒓 − 𝑻 𝒓𝒂𝒕𝒚
𝑻 𝒓𝒂𝒕𝒚
Казалось бы, все просто. Бери да считай. Но не тут-то
было.
ЧТО НЕ ТАК?
Тут-то и начинаются вопросы. Как подсчитать прибыль?
Из чего она состоит? Обычно полагается, что прибыль
от автоматизации – это деньги, которые больше не
нужно платить тестировщикам. Иначе говоря, когда в
автоматизацию вложились и ее кое-как, помолясь,
сделали, можно поувольнять нахер всех тестировщиков
– как ручников, так и автоматизаторов – после чего
закинуть ноги на стол и наблюдать за тем, как лихо
тесты жмут на кнопки и ходят по ссылкам.
ВО-ПЕРВЫХ...
Думаю, многие уже поняли, в чем дело. Но я все равно
распишу подробно, потому что надо наваять хоть
сколько-нибудь приличное число слайдов.
Во-первых, такие расклады нас с вами никак не
устраивают. У нас тут не финансовая пирамида а-ля
«МММ», где жулик норовит прикарманить бабло и резко
свалить. Мы же, как профессионалы, норовим
прикарманивать бабло на перманентной основе, никуда
при этом не валя. Иными словами, увольнять
автоматизаторов нам вообще ни разу не катит.
ВО-ВТОРЫХ...
Во-вторых, мануальщиков мы тоже не хотим увольнять.
И дело даже не в том, что заказчик должен оплатить
также и их, с позволения сказать, труд: нам-то из этих
денег все равно едва ли что-нибудь перепадет. Но кто-то
же должен заниматься анализом наших, с позволения
сказать, автотестов? Уж не хотите ли вы сказать, что это
тоже будем делать мы? Стояночка, на такое мы не
подписывались! Нам еще вон код писать надо и
архитектуру наворачивать!
ИТАК...
Итак, команду мы ни распускать, ни даже сокращать, не
намерены, а это значит, что, даже если тестировщики
будут просто протирать штаны в офисе, с точки зрения
оплаты их работы все будет выглядеть так, будто они в
поте лица тестируют приложение. Откуда же здесь
взяться прибыли для заказчика?
Прибыль в данном случае – это не деньги. Прибыль –
это мера счастья закачика от осознания того, как умно он
распорядился средствами, а также мера чувства его
защищенности от багов.
ОКСТИТЕСЬ!
Теперь-то каждому должно быть понятно, что, если
автоматизация уже однажды начата, в нее нужно либо
продолжать вкладывать деньги до бесконечности, либо
в какой-то момент зафиксировать убытки, выгнав всю
команду и смыв все эти ее автотесты в унитаз.
Это, кстати, один из подводных камней автоматизации, о
котором заказчику говорить не принято. Поддержку
автотестов, фреймворка и CI-джобов в рабочем
состоянии, а также анализ результатов если и упоминают
при эстимациях, то примерно в таком ключе: «Ну и
заложим еще 10% на maintenance и result analysis».
Люди, окститесь! Эта активность – она как газ, занимает
весь доступный ей объем.
ХМ, «ИТАК» УЖЕ БЫЛО...
Итак, как мы уже убедились, если прибыль – величина
эфемерная, то траты вполне себе материальны и
выражаются конкретными цифрами (которые, однако, не
всегда поддаются вычислению). Как можно одно
отнимать от другого, да потом еще и на что-то делить? У
нас тут строгая типизация, детка!
ЧТО ЖЕ ДЕЛАТЬ??
Решение существует! Истинный* ROI описывается следующей формулой:
𝑹𝑶𝑰 = 𝒆 𝑵
− 𝟏
* то есть такой, который не стыдно показать стейкхолдерам.
ОПИСАНИЕ ИСТИННОЙ ФОРМУЛЫ!
Выглядит неплохо, а? Вроде
все понятно, но что еще за N?
N – это эмпирический
показатель наглости. Что
значит, вы не знаете, как его
вычислить? Я что, все подряд
вам должен разжевывать? Ну
хоть про e-то вы слышали?
Не «ето», блять, а e!!!
e!!!
ПОКАЗАТЕЛЬ НАГЛОСТИ
N вычисляется очень просто. Выбирается произвольное
стартовое значение показателя, при помощи которого
находится соответствующее ему значение ROI. Если первой
вашей мыслью является «Что-то многовато вышло» или «Да
ну, не проканает», показатель корректируется в меньшую
сторону, после чего процедура повторяется. N можно
считать определенным достаточно точно, когда вы
начинаете думать «А что, может выгореть».
Если после этого вы продолжите итерации с
декрементированием N, то вскоре должны попасть в зону
«Да мне глаз на жопу натянут!». Это послужит сигналом, что
вы пропустили правильное значение. Вероятно, был
выбран слишком большой шаг декремента.
ОТРИЦАТЕЛЬНАЯ НАГЛОСТЬ
У кого-то может возникнуть вопрос, а
что же на этом графике олицетворяет
отрицательная часть оси абсцисс.
Эта область известна под названием
области отрицательной наглости.
Не следует путать отрицательную
наглость с отсутствием таковой (для
этого существует нулевая точка).
Отрицательная наглость – это объем
наглости, необходимой для того,
чтобы сообщить стейкхолдеру, что:
• вы не заработали для него денег
• вы потратили его деньги
• и сделали это намеренно
• все 43 миллиона долларов
ВОЗРАЖЕНИЯ?
Особо въедливые могут возразить, что в описанном
процессе мы искали зависимость не ROI от N, а скорее N
от ROI, и будут отчасти правы. Так оно и получилось бы,
если бы мы были неопытными и желторотыми юнцами
в мире автоматизационных эстимаций.
Однако же мы – профессионалы, и вся эта утомительная
канитель с блужданием по оси абсцисс нам ни к чему.
Мы сразу видим, какое значение ROI имеет смысл
озвучить, а о каком лучше умолчать. А всякие там
формулы – для слабаков.
Да и вообще, зачем грузить заказчика какими-то
цифрами. Просто скажите ему «Траст ми, айм эн
энженир».
И В ЗАКЛЮЧЕНИЕ...
«Так как же все-таки подсчитать ROI автоматизации
тестирования?» – может спросить кто-то из вас.
Постойте-ка, дайте угадаю: вы – один из тех балбесов,
которые не знали, что такое e.
Объясняю. ROI подсчитывать НЕ надо. ROI есть
инструмент Запудривания, Вешания и Втирательства и
как таковой точной численной оценки не требует.
Выберите значение, которое устроит и вас, и вашего
заказчика, и не дурите себе голову.
А наглость надо тренировать, да.
ВОПРОСЫ?
=)

Weitere ähnliche Inhalte

Was ist angesagt?

Metodologia de-analise-de-acidentes
Metodologia de-analise-de-acidentesMetodologia de-analise-de-acidentes
Metodologia de-analise-de-acidentesJosé Soares Filho
 
Dds 60 temas
Dds 60 temasDds 60 temas
Dds 60 temasGilson_
 
Arvore de falhas
Arvore de falhasArvore de falhas
Arvore de falhasmannulo
 
Tecnicas de mantenimiento industrial
Tecnicas de mantenimiento industrialTecnicas de mantenimiento industrial
Tecnicas de mantenimiento industrialLore Cruz
 
1 3 técnicas de analise de risco
1 3   técnicas de analise de risco1 3   técnicas de analise de risco
1 3 técnicas de analise de riscoRobson Peixoto
 
Distorção harmônica em_redes_elétricas
Distorção harmônica em_redes_elétricasDistorção harmônica em_redes_elétricas
Distorção harmônica em_redes_elétricasMarcio Oliani
 
04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba
04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba
04 acoes de_controle_em_malha_fechada_teoria_isa_curitibaJeferson Carmo
 
Curso de integração 1
Curso de integração 1Curso de integração 1
Curso de integração 1Nilton Goulart
 
Analise de falha rolamento
Analise de falha   rolamentoAnalise de falha   rolamento
Analise de falha rolamentoSidarta Trovão
 
Apostila de manutenção preventiva
Apostila de manutenção preventivaApostila de manutenção preventiva
Apostila de manutenção preventivaRicardo Akerman
 
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucessoMárcio Oliveira
 
Cartilha acidentes
Cartilha acidentesCartilha acidentes
Cartilha acidentesLuis Araujo
 
ExplicaçãO Sobre Torque E Metodos De Aperto
ExplicaçãO Sobre Torque E Metodos De ApertoExplicaçãO Sobre Torque E Metodos De Aperto
ExplicaçãO Sobre Torque E Metodos De ApertoRicardara
 
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)Luiz Avelar
 

Was ist angesagt? (20)

Metodologia de-analise-de-acidentes
Metodologia de-analise-de-acidentesMetodologia de-analise-de-acidentes
Metodologia de-analise-de-acidentes
 
Dds 60 temas
Dds 60 temasDds 60 temas
Dds 60 temas
 
Arvore de falhas
Arvore de falhasArvore de falhas
Arvore de falhas
 
Tecnicas de mantenimiento industrial
Tecnicas de mantenimiento industrialTecnicas de mantenimiento industrial
Tecnicas de mantenimiento industrial
 
TCC Prensa de Ajuste
TCC Prensa de AjusteTCC Prensa de Ajuste
TCC Prensa de Ajuste
 
Nr – 04
Nr – 04Nr – 04
Nr – 04
 
1 3 técnicas de analise de risco
1 3   técnicas de analise de risco1 3   técnicas de analise de risco
1 3 técnicas de analise de risco
 
Qsms
QsmsQsms
Qsms
 
Distorção harmônica em_redes_elétricas
Distorção harmônica em_redes_elétricasDistorção harmônica em_redes_elétricas
Distorção harmônica em_redes_elétricas
 
04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba
04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba
04 acoes de_controle_em_malha_fechada_teoria_isa_curitiba
 
Nr10 miranda
Nr10 mirandaNr10 miranda
Nr10 miranda
 
Curso de integração 1
Curso de integração 1Curso de integração 1
Curso de integração 1
 
Analise de falha rolamento
Analise de falha   rolamentoAnalise de falha   rolamento
Analise de falha rolamento
 
Apostila de manutenção preventiva
Apostila de manutenção preventivaApostila de manutenção preventiva
Apostila de manutenção preventiva
 
Dds ergonomia
Dds   ergonomiaDds   ergonomia
Dds ergonomia
 
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso
202251209 40-temas-gratis-formula-secreta-para-o-dds-de-sucesso
 
Cartilha acidentes
Cartilha acidentesCartilha acidentes
Cartilha acidentes
 
ExplicaçãO Sobre Torque E Metodos De Aperto
ExplicaçãO Sobre Torque E Metodos De ApertoExplicaçãO Sobre Torque E Metodos De Aperto
ExplicaçãO Sobre Torque E Metodos De Aperto
 
Palestra comportamento seguro 2015
Palestra comportamento seguro   2015Palestra comportamento seguro   2015
Palestra comportamento seguro 2015
 
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)
Catálogo com todas Correias automotivas (Veículos Nacionais e Importados)
 

Ähnlich wie How to Calculate Test Automation ROI

ошибки аналитика
ошибки аналитикаошибки аналитика
ошибки аналитикаAndrey Verbitsky
 
Как бросить аутсорс и начать жить
Как бросить аутсорс и начать житьКак бросить аутсорс и начать жить
Как бросить аутсорс и начать житьImprove Group
 
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...Комплето
 
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...Romanus.ru
 
Александр Алаев. Сколько можно заработать на разработке прикладного софта
Александр Алаев. Сколько можно заработать на разработке прикладного софтаАлександр Алаев. Сколько можно заработать на разработке прикладного софта
Александр Алаев. Сколько можно заработать на разработке прикладного софтаДмитрий Шахов
 
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"Осенняя Сессия по контекстной рекламе
 
экономика Agile проекта
экономика Agile проектаэкономика Agile проекта
экономика Agile проектаDenis Petelin
 
физика внедрения Erp систем
физика внедрения Erp системфизика внедрения Erp систем
физика внедрения Erp системKirill Krasnogir
 
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)Как правильно считать деньги в базе данных, Роман Друзягин (404 group)
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)Ontico
 
Забудьте про "Стартапы" - делайте Бизнес!
Забудьте про "Стартапы" - делайте Бизнес!Забудьте про "Стартапы" - делайте Бизнес!
Забудьте про "Стартапы" - делайте Бизнес!Anton Karpenko (KARPOLAN)
 
9 Урок. Заключительный урок введения
9 Урок. Заключительный урок введения9 Урок. Заключительный урок введения
9 Урок. Заключительный урок введенияMobio
 
талант джумазаев ошибки маркетинга в кг
талант джумазаев   ошибки маркетинга в кгталант джумазаев   ошибки маркетинга в кг
талант джумазаев ошибки маркетинга в кгRoman Leonov
 
«Удвоение продаж с сайта Спикер: Алексей Бунаков
«Удвоение продаж с сайта Спикер: Алексей Бунаков«Удвоение продаж с сайта Спикер: Алексей Бунаков
«Удвоение продаж с сайта Спикер: Алексей БунаковBusiness.People
 
Илья Исерсон. Контекстная реклама: турбо-режим
Илья Исерсон. Контекстная реклама: турбо-режимИлья Исерсон. Контекстная реклама: турбо-режим
Илья Исерсон. Контекстная реклама: турбо-режимДмитрий Шахов
 
10 правил хорошего интерфейса
10 правил хорошего интерфейса10 правил хорошего интерфейса
10 правил хорошего интерфейсаKalerya Kaftan
 
Активы сетевого маркетинга
Активы сетевого маркетингаАктивы сетевого маркетинга
Активы сетевого маркетингаOlga Glinchenko
 
Copy of Активы сетевого маркетинга
Copy of Активы сетевого маркетингаCopy of Активы сетевого маркетинга
Copy of Активы сетевого маркетингаOlga Glinchenko
 
Переговоры с клиентом в SEO
Переговоры с клиентом в SEOПереговоры с клиентом в SEO
Переговоры с клиентом в SEODigital.Tools
 

Ähnlich wie How to Calculate Test Automation ROI (20)

Webinar kitchen
 Webinar kitchen Webinar kitchen
Webinar kitchen
 
ошибки аналитика
ошибки аналитикаошибки аналитика
ошибки аналитика
 
Как бросить аутсорс и начать жить
Как бросить аутсорс и начать житьКак бросить аутсорс и начать жить
Как бросить аутсорс и начать жить
 
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...
#EMB2B Владимир Давыдов: "Современная веб-аналитика для B2B, связанная с CRM ...
 
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...
Гарантии в SEO. Какие гарантии при продвижении сайтов существуют и стоит ли и...
 
Александр Алаев. Сколько можно заработать на разработке прикладного софта
Александр Алаев. Сколько можно заработать на разработке прикладного софтаАлександр Алаев. Сколько можно заработать на разработке прикладного софта
Александр Алаев. Сколько можно заработать на разработке прикладного софта
 
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"
Евгений Курышев (Ostrovok.ru) - "Глубокие закопки в мультиканальную атрибуцию"
 
экономика Agile проекта
экономика Agile проектаэкономика Agile проекта
экономика Agile проекта
 
физика внедрения Erp систем
физика внедрения Erp системфизика внедрения Erp систем
физика внедрения Erp систем
 
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)Как правильно считать деньги в базе данных, Роман Друзягин (404 group)
Как правильно считать деньги в базе данных, Роман Друзягин (404 group)
 
Забудьте про "Стартапы" - делайте Бизнес!
Забудьте про "Стартапы" - делайте Бизнес!Забудьте про "Стартапы" - делайте Бизнес!
Забудьте про "Стартапы" - делайте Бизнес!
 
9 Урок. Заключительный урок введения
9 Урок. Заключительный урок введения9 Урок. Заключительный урок введения
9 Урок. Заключительный урок введения
 
талант джумазаев ошибки маркетинга в кг
талант джумазаев   ошибки маркетинга в кгталант джумазаев   ошибки маркетинга в кг
талант джумазаев ошибки маркетинга в кг
 
«Удвоение продаж с сайта Спикер: Алексей Бунаков
«Удвоение продаж с сайта Спикер: Алексей Бунаков«Удвоение продаж с сайта Спикер: Алексей Бунаков
«Удвоение продаж с сайта Спикер: Алексей Бунаков
 
Илья Исерсон. Контекстная реклама: турбо-режим
Илья Исерсон. Контекстная реклама: турбо-режимИлья Исерсон. Контекстная реклама: турбо-режим
Илья Исерсон. Контекстная реклама: турбо-режим
 
10 правил хорошего интерфейса
10 правил хорошего интерфейса10 правил хорошего интерфейса
10 правил хорошего интерфейса
 
Magazineclause потери
Magazineclause   потериMagazineclause   потери
Magazineclause потери
 
Активы сетевого маркетинга
Активы сетевого маркетингаАктивы сетевого маркетинга
Активы сетевого маркетинга
 
Copy of Активы сетевого маркетинга
Copy of Активы сетевого маркетингаCopy of Активы сетевого маркетинга
Copy of Активы сетевого маркетинга
 
Переговоры с клиентом в SEO
Переговоры с клиентом в SEOПереговоры с клиентом в SEO
Переговоры с клиентом в SEO
 

Mehr von Þorgeir Ingvarsson

Mortal Sins and Guilty Pleasures of Automation Engineers
Mortal Sins and Guilty Pleasures of Automation EngineersMortal Sins and Guilty Pleasures of Automation Engineers
Mortal Sins and Guilty Pleasures of Automation EngineersÞorgeir Ingvarsson
 
Pros and Cons of Being an Automation Specialist
Pros and Cons of Being an Automation SpecialistPros and Cons of Being an Automation Specialist
Pros and Cons of Being an Automation SpecialistÞorgeir Ingvarsson
 
How to Put Automation Engineers Down
How to Put Automation Engineers DownHow to Put Automation Engineers Down
How to Put Automation Engineers DownÞorgeir Ingvarsson
 
Amusing Geometry in Test Automation
Amusing Geometry in Test AutomationAmusing Geometry in Test Automation
Amusing Geometry in Test AutomationÞorgeir Ingvarsson
 
Basics of assertions in automated testing
Basics of assertions in automated testingBasics of assertions in automated testing
Basics of assertions in automated testingÞorgeir Ingvarsson
 
UI Automation Patterns: "Sleep" Pattern
UI Automation Patterns: "Sleep" PatternUI Automation Patterns: "Sleep" Pattern
UI Automation Patterns: "Sleep" PatternÞorgeir Ingvarsson
 
Part I. How to stop fooling around and begin automating
Part I. How to stop fooling around and begin automatingPart I. How to stop fooling around and begin automating
Part I. How to stop fooling around and begin automatingÞorgeir Ingvarsson
 
Part III. How to maximize profit from automation
Part III. How to maximize profit from automationPart III. How to maximize profit from automation
Part III. How to maximize profit from automationÞorgeir Ingvarsson
 
Part II. How to automate properly
Part II. How to automate properlyPart II. How to automate properly
Part II. How to automate properlyÞorgeir Ingvarsson
 

Mehr von Þorgeir Ingvarsson (12)

Mortal Sins and Guilty Pleasures of Automation Engineers
Mortal Sins and Guilty Pleasures of Automation EngineersMortal Sins and Guilty Pleasures of Automation Engineers
Mortal Sins and Guilty Pleasures of Automation Engineers
 
Pros and Cons of Being an Automation Specialist
Pros and Cons of Being an Automation SpecialistPros and Cons of Being an Automation Specialist
Pros and Cons of Being an Automation Specialist
 
How to Put Automation Engineers Down
How to Put Automation Engineers DownHow to Put Automation Engineers Down
How to Put Automation Engineers Down
 
Tao and Test Automation
Tao and Test AutomationTao and Test Automation
Tao and Test Automation
 
Amusing Geometry in Test Automation
Amusing Geometry in Test AutomationAmusing Geometry in Test Automation
Amusing Geometry in Test Automation
 
The Dangers of Cucumber
The Dangers of CucumberThe Dangers of Cucumber
The Dangers of Cucumber
 
How to write good autotests
How to write good autotestsHow to write good autotests
How to write good autotests
 
Basics of assertions in automated testing
Basics of assertions in automated testingBasics of assertions in automated testing
Basics of assertions in automated testing
 
UI Automation Patterns: "Sleep" Pattern
UI Automation Patterns: "Sleep" PatternUI Automation Patterns: "Sleep" Pattern
UI Automation Patterns: "Sleep" Pattern
 
Part I. How to stop fooling around and begin automating
Part I. How to stop fooling around and begin automatingPart I. How to stop fooling around and begin automating
Part I. How to stop fooling around and begin automating
 
Part III. How to maximize profit from automation
Part III. How to maximize profit from automationPart III. How to maximize profit from automation
Part III. How to maximize profit from automation
 
Part II. How to automate properly
Part II. How to automate properlyPart II. How to automate properly
Part II. How to automate properly
 

How to Calculate Test Automation ROI

  • 1.
  • 2. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Иногда попадаются прижимистые заказчики, которые не соглашаются тупо отслюнявить названную им сумму на содержание команды лоботрясов автоматизаторов. «Почему столько много? Какие ваши доказательства?» – кричат они. – «У нас вот есть парочка бизнес-аналитиков, они и сами все нормально протестируют. Зачем нам ваша сраная автоматизация?» Господи, ну как можно быть такими жадными? «Вам жалко, что ли?» – хочется спросить нам. Но мы этого не делаем, потому что мы – профессионалы. Вместо этого мы прибегаем к помощи такого полезного инструмента как ROI.
  • 3. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Бывает и немного по-другому. Заказчик является с чемоданом денег и говорит: «Хочу, чтобы у меня все было по-богатому, чтобы там автоматизация туда-сюда и вообще. Но я хочу знать, какой мне с этого будет навар. А ну, посчитайте-ка, во что мне все это выльется». «Навар? Ахаха! Он сказал, навар? Ололол, держите меня семеро!» – хочется сказать нам в ответ на это признание в собственной алчности. Но, будучи профессионалами, мы поступаем иначе: мы прибегаем к помощи такого важного инструмента как ROI.
  • 4. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Ну а что если заказчик уже заплатил, и теперь, по окончании первой фазы разработки, желает услышать, как он грамотно все распланировал и как вовсю идет к успеху? «Значит так, пацаны, у меня тут немного свободных деньжат нарисовалось – вот, думаю, то ли яхту себе купить, то ли в автоматизацию вложиться. Как она там у нас, кстати, поживает?» «Да у нас тут пиздец полный, ни черта не работает», – хочется ответить нам. Конечно, мы ведь честные люди, а не какое-то там жулье. Но при всем при этом мы еще и профессионалы, а потому мы прибегаем к помощи такого безотказного инструмента как ROI.
  • 5. КАНОНИЧЕСКИЙ ПОДХОД К ПОДСЧЕТУ ROI Собственно говоря, каноническая формула придумана давным-давно и по сути сводится к соотношению между прибылью и тратами: 𝑹𝑶𝑰 = 𝑵 𝒂𝒗𝒂𝒓 − 𝑻 𝒓𝒂𝒕𝒚 𝑻 𝒓𝒂𝒕𝒚 Казалось бы, все просто. Бери да считай. Но не тут-то было.
  • 6. ЧТО НЕ ТАК? Тут-то и начинаются вопросы. Как подсчитать прибыль? Из чего она состоит? Обычно полагается, что прибыль от автоматизации – это деньги, которые больше не нужно платить тестировщикам. Иначе говоря, когда в автоматизацию вложились и ее кое-как, помолясь, сделали, можно поувольнять нахер всех тестировщиков – как ручников, так и автоматизаторов – после чего закинуть ноги на стол и наблюдать за тем, как лихо тесты жмут на кнопки и ходят по ссылкам.
  • 7. ВО-ПЕРВЫХ... Думаю, многие уже поняли, в чем дело. Но я все равно распишу подробно, потому что надо наваять хоть сколько-нибудь приличное число слайдов. Во-первых, такие расклады нас с вами никак не устраивают. У нас тут не финансовая пирамида а-ля «МММ», где жулик норовит прикарманить бабло и резко свалить. Мы же, как профессионалы, норовим прикарманивать бабло на перманентной основе, никуда при этом не валя. Иными словами, увольнять автоматизаторов нам вообще ни разу не катит.
  • 8. ВО-ВТОРЫХ... Во-вторых, мануальщиков мы тоже не хотим увольнять. И дело даже не в том, что заказчик должен оплатить также и их, с позволения сказать, труд: нам-то из этих денег все равно едва ли что-нибудь перепадет. Но кто-то же должен заниматься анализом наших, с позволения сказать, автотестов? Уж не хотите ли вы сказать, что это тоже будем делать мы? Стояночка, на такое мы не подписывались! Нам еще вон код писать надо и архитектуру наворачивать!
  • 9. ИТАК... Итак, команду мы ни распускать, ни даже сокращать, не намерены, а это значит, что, даже если тестировщики будут просто протирать штаны в офисе, с точки зрения оплаты их работы все будет выглядеть так, будто они в поте лица тестируют приложение. Откуда же здесь взяться прибыли для заказчика? Прибыль в данном случае – это не деньги. Прибыль – это мера счастья закачика от осознания того, как умно он распорядился средствами, а также мера чувства его защищенности от багов.
  • 10. ОКСТИТЕСЬ! Теперь-то каждому должно быть понятно, что, если автоматизация уже однажды начата, в нее нужно либо продолжать вкладывать деньги до бесконечности, либо в какой-то момент зафиксировать убытки, выгнав всю команду и смыв все эти ее автотесты в унитаз. Это, кстати, один из подводных камней автоматизации, о котором заказчику говорить не принято. Поддержку автотестов, фреймворка и CI-джобов в рабочем состоянии, а также анализ результатов если и упоминают при эстимациях, то примерно в таком ключе: «Ну и заложим еще 10% на maintenance и result analysis». Люди, окститесь! Эта активность – она как газ, занимает весь доступный ей объем.
  • 11. ХМ, «ИТАК» УЖЕ БЫЛО... Итак, как мы уже убедились, если прибыль – величина эфемерная, то траты вполне себе материальны и выражаются конкретными цифрами (которые, однако, не всегда поддаются вычислению). Как можно одно отнимать от другого, да потом еще и на что-то делить? У нас тут строгая типизация, детка!
  • 12. ЧТО ЖЕ ДЕЛАТЬ?? Решение существует! Истинный* ROI описывается следующей формулой: 𝑹𝑶𝑰 = 𝒆 𝑵 − 𝟏 * то есть такой, который не стыдно показать стейкхолдерам.
  • 13. ОПИСАНИЕ ИСТИННОЙ ФОРМУЛЫ! Выглядит неплохо, а? Вроде все понятно, но что еще за N? N – это эмпирический показатель наглости. Что значит, вы не знаете, как его вычислить? Я что, все подряд вам должен разжевывать? Ну хоть про e-то вы слышали? Не «ето», блять, а e!!! e!!!
  • 14. ПОКАЗАТЕЛЬ НАГЛОСТИ N вычисляется очень просто. Выбирается произвольное стартовое значение показателя, при помощи которого находится соответствующее ему значение ROI. Если первой вашей мыслью является «Что-то многовато вышло» или «Да ну, не проканает», показатель корректируется в меньшую сторону, после чего процедура повторяется. N можно считать определенным достаточно точно, когда вы начинаете думать «А что, может выгореть». Если после этого вы продолжите итерации с декрементированием N, то вскоре должны попасть в зону «Да мне глаз на жопу натянут!». Это послужит сигналом, что вы пропустили правильное значение. Вероятно, был выбран слишком большой шаг декремента.
  • 15. ОТРИЦАТЕЛЬНАЯ НАГЛОСТЬ У кого-то может возникнуть вопрос, а что же на этом графике олицетворяет отрицательная часть оси абсцисс. Эта область известна под названием области отрицательной наглости. Не следует путать отрицательную наглость с отсутствием таковой (для этого существует нулевая точка). Отрицательная наглость – это объем наглости, необходимой для того, чтобы сообщить стейкхолдеру, что: • вы не заработали для него денег • вы потратили его деньги • и сделали это намеренно • все 43 миллиона долларов
  • 16. ВОЗРАЖЕНИЯ? Особо въедливые могут возразить, что в описанном процессе мы искали зависимость не ROI от N, а скорее N от ROI, и будут отчасти правы. Так оно и получилось бы, если бы мы были неопытными и желторотыми юнцами в мире автоматизационных эстимаций. Однако же мы – профессионалы, и вся эта утомительная канитель с блужданием по оси абсцисс нам ни к чему. Мы сразу видим, какое значение ROI имеет смысл озвучить, а о каком лучше умолчать. А всякие там формулы – для слабаков. Да и вообще, зачем грузить заказчика какими-то цифрами. Просто скажите ему «Траст ми, айм эн энженир».
  • 17. И В ЗАКЛЮЧЕНИЕ... «Так как же все-таки подсчитать ROI автоматизации тестирования?» – может спросить кто-то из вас. Постойте-ка, дайте угадаю: вы – один из тех балбесов, которые не знали, что такое e. Объясняю. ROI подсчитывать НЕ надо. ROI есть инструмент Запудривания, Вешания и Втирательства и как таковой точной численной оценки не требует. Выберите значение, которое устроит и вас, и вашего заказчика, и не дурите себе голову. А наглость надо тренировать, да.