SlideShare ist ein Scribd-Unternehmen logo
1 von 60
Обеспечение Качества
Высоконагруженных Систем
Иосиф Иткин, Exactpro Systems
Вторая Лекция в ИАТЭ
27 ноября 2013
Содержание лекции

1. Автоматизация тестирования
2. Обработка результатов нагрузочного тестирования
3. Системы мониторинга и контроля биржевого рынка
http://www.slideshare.net/IosifItkin
http://exactpro.com
http://tmpaconf.org
http://its-trading.ru
https://vk.com/clubqa
http://linkedin.com/in/iosifitkin
Что такое автоматизация

Автоматизация — одно из направлений научнотехнического прогресса, использующее саморегулирующие
технические средства и математические методы с целью
освобождения человека от участия в процессах получения,
преобразования, передачи и использования энергии,
материалов или информации, либо существенного
уменьшения степени этого участия или трудоёмкости
выполняемых операций
Что такое автоматизация
Взаимодействие с системой
Взаимодействие с системой
Подходы к кодированию

1. Запись и проигрывание
2. Линейный подход
3. Модульный подход
4. Тестирование основанное на данных
5. Ключевые слова
Запись и проигрывание
Линейный подход
Устойчивость Тестов
Модульный подход
Тестирование основанное на
данных
Тестирование основанное на
данных
Ключевые слова
Ключевые слова

Logon TestPetya/Password123
Open Order Ticket
Send Order VOD.L 23@985
Order Ticket Should Be Closed
No Error Message
Риски использования
инструментов
По ISTQB:
• Нереалистичные ожидания от инструментов
• Недооценка времени, затрат и усилий требуемых при
первоначальном внедрении
• Недооценка времени и усилий необходимых для достижения
существенных результатов
• Недооценка усилий требуемых на поддержку
• Избыточная зависимость от инструмента
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
• Не выкидывай старого робота
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
• Не выкидывай старого робота
• Спрашивай себя зачем ты создаешь нечто
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
• Не выкидывай старого робота
• Спрашивай себя зачем ты создаешь нечто
• Главное правило робоапокалипса
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
• Не выкидывай старого робота
• Спрашивай себя зачем ты создаешь нечто
• Главное правило робоапокалипса
Уроки робоапокалипсиса

• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
• Относись к искусственной жизни с уважением
• Не выкидывай старого робота
• Спрашивай себя зачем ты создаешь нечто
• Главное правило робоапокалипса

Найди себе друга робота
Своровано у John Rauser
Виды обработки данных

• Агрегация
• Распределение
• Детали
Население Лондона

http://geopub.narod.ru/student/agapova/1/4.htm
Холера

Andrea Resmini, 5th Italian IA Summit, Milano 2011
The Broad Street Pump Or Where The Frenzy of Orlando Met Pulp Fiction
John Snow / Ваня Снежок

15 March 1813 – 16 June 1858
Один из основателей
эпидемиологии
Агрегация
Вывод

Работа Ивана Снежного была принята
со скепсисом в 1849 году
Корреляция не является
доказательством причинно
следственной связи
Примеры

Работа Ивана Снежного была принята со
скепсисом в 1849 году
Корреляция не является доказательством
причинно следственной связи:
Корреляция между результатом ЕР и
наличием КОИБ-ов
Корреляция между результатом ЕР и явкой
Корреляция между результатом ЕР и
присутствие наблюдателей на участке
Что это за цифры?

Корреляция?
68 из 210 = 32%
11 из 24 = 46%
Что это означает?

Корреляция?
68 из 210 = 32%
11 из 24 = 46%
9% vs. 16%
Какие Вам еще нужны доказательства?

Корреляция?
68 из 210 = 32%
11 из 24 = 46%
9% vs. 16%
Красивых – 100%
Рекомендация для Ивана

London Medical Gazette, 1849
«The experimentum crucis would be, that the water
conveyed to a distant locality produced the disease in
all who used it, while those who did not use it,
escaped»
Correlation is not causation
Эпидемия Холеры 1854 в Сохо
The
majority of
the deaths
occurred
during this
period

Pump
handle
removed
Распределение
Распределение
Распределение
Кто такие Бины?
Кто такие Бины?
Кто такие Бины?
Гаусс?
Не совсем. А почему?
Что такое медиана?
Распределение по бинам

http://www.pnas.org/content/early/2012/12/19/1206770110.full.pdf
Turquoise MTF – Latency

Latency Distribution

Average and Consistency
Metric

uS

Average 100%

108

Average 99.9%

103

Max 99.9%

381

Max 99

191

Phil Penhaligan, EXTENT Trading Technology Trends & Quality Assurance 2012, Kostroma, Romanov Les
http://extentconf.com
И снова Холера
И снова Холера

Pump
handle
removed

Bad
water

Workhouse
535 people
Private
bore
BROAD
ST
PUMP

People
evacuated
early

Brewery
70+
people
Private
bore
Free
beer

Street
pattern an
obstacle
А при чем тут HФТ?
Самый быстрый и самый
медленный сайты
Самый быстрый и самый
медленный сайты
Система под нагрузкой
Выборы, выборы…
Наш друг Чурозавр

http://oude-rus.livejournal.com/542295.html
Чтобы такого сделать плохого

Манипуляция ценами
Переигрывание объемами
Уход от налогов
Финансирование зла
Инсайдерская торговля
Проскальзывание перед клиентом
Многое другое…
Часто легитимная активность выглядит как
злоупотребление, и наоборот
Market Surveillance Systems

•
•
•
•
•

Поток сообщений
Незаметность
Агрегация данных
Гибкая настройка правил
Помощь в обследовании
места преступления и
сборе
• доказательств
• Хранение данных
Market Surveillance Systems

•
•
•
•
•

Поток сообщений
Незаметность
Агрегация данных
Гибкая настройка правил
Помощь в обследовании
места преступления и
сборе
• доказательств
• Хранение данных
Market Surveillance Systems

•
•
•
•
•

Поток сообщений
Незаметность
Агрегация данных
Гибкая настройка правил
Помощь в обследовании
места преступления и
сборе
• доказательств
• Хранение данных
Спасибо!

Источники информации:
http://www.slideshare.net/IosifItkin
http://exactpro.com
http://tmpaconf.org
http://its-trading.ru
https://vk.com/clubqa
http://linkedin.com/in/iosifitkin

Weitere ähnliche Inhalte

Ähnlich wie IATE Lecture 2: Quality Assurance for Highload Systems

02.11.2016 Буланов, как технологии и медиа меняют школьное образование
02.11.2016 Буланов, как технологии и медиа меняют школьное образование02.11.2016 Буланов, как технологии и медиа меняют школьное образование
02.11.2016 Буланов, как технологии и медиа меняют школьное образованиеМаксим Буланов
 
Антицензура в сети
Антицензура в сети Антицензура в сети
Антицензура в сети Samson Bezmyatezhny
 
Science bar hopping miet
Science bar hopping mietScience bar hopping miet
Science bar hopping mietAnton Boiko
 
Автоматизация тестирования: взгляд в будущее
Автоматизация тестирования: взгляд в будущееАвтоматизация тестирования: взгляд в будущее
Автоматизация тестирования: взгляд в будущееSQALab
 
What fact is and how do business learn requirements engineering
What fact is and how do business learn requirements engineeringWhat fact is and how do business learn requirements engineering
What fact is and how do business learn requirements engineeringAlex Turkhanov
 
My talk at YouCon Saratov 2016
My talk at YouCon Saratov 2016My talk at YouCon Saratov 2016
My talk at YouCon Saratov 2016Alex Chistyakov
 

Ähnlich wie IATE Lecture 2: Quality Assurance for Highload Systems (7)

02.11.2016 Буланов, как технологии и медиа меняют школьное образование
02.11.2016 Буланов, как технологии и медиа меняют школьное образование02.11.2016 Буланов, как технологии и медиа меняют школьное образование
02.11.2016 Буланов, как технологии и медиа меняют школьное образование
 
Антицензура в сети
Антицензура в сети Антицензура в сети
Антицензура в сети
 
Science bar hopping miet
Science bar hopping mietScience bar hopping miet
Science bar hopping miet
 
Автоматизация тестирования: взгляд в будущее
Автоматизация тестирования: взгляд в будущееАвтоматизация тестирования: взгляд в будущее
Автоматизация тестирования: взгляд в будущее
 
What fact is and how do business learn requirements engineering
What fact is and how do business learn requirements engineeringWhat fact is and how do business learn requirements engineering
What fact is and how do business learn requirements engineering
 
My talk at YouCon Saratov 2016
My talk at YouCon Saratov 2016My talk at YouCon Saratov 2016
My talk at YouCon Saratov 2016
 
Evoting2011
 Evoting2011 Evoting2011
Evoting2011
 

Mehr von Iosif Itkin

Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4Iosif Itkin
 
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...Iosif Itkin
 
Exactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test OraclesExactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test OraclesIosif Itkin
 
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolExactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolIosif Itkin
 
Operational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market InfrastructuresOperational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market InfrastructuresIosif Itkin
 
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday SeasonIosif Itkin
 
Testing the Intelligence of your AI
Testing the Intelligence of your AITesting the Intelligence of your AI
Testing the Intelligence of your AIIosif Itkin
 
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresEXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresIosif Itkin
 
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...Iosif Itkin
 
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiEXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiIosif Itkin
 
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenEXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenIosif Itkin
 
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...Iosif Itkin
 
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...Iosif Itkin
 
QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)Iosif Itkin
 
Machine Learning and RoboCop Testing
Machine Learning and RoboCop TestingMachine Learning and RoboCop Testing
Machine Learning and RoboCop TestingIosif Itkin
 
Behaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibileBehaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibileIosif Itkin
 
2018 - Exactpro Year in Review
2018 - Exactpro Year in Review2018 - Exactpro Year in Review
2018 - Exactpro Year in ReviewIosif Itkin
 
Exactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and StrategyExactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and StrategyIosif Itkin
 
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing ChallengesFIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing ChallengesIosif Itkin
 
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)Iosif Itkin
 

Mehr von Iosif Itkin (20)

Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4
 
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
 
Exactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test OraclesExactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test Oracles
 
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolExactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
 
Operational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market InfrastructuresOperational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market Infrastructures
 
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
 
Testing the Intelligence of your AI
Testing the Intelligence of your AITesting the Intelligence of your AI
Testing the Intelligence of your AI
 
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresEXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
 
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
 
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiEXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
 
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenEXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
 
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
 
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
 
QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)
 
Machine Learning and RoboCop Testing
Machine Learning and RoboCop TestingMachine Learning and RoboCop Testing
Machine Learning and RoboCop Testing
 
Behaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibileBehaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibile
 
2018 - Exactpro Year in Review
2018 - Exactpro Year in Review2018 - Exactpro Year in Review
2018 - Exactpro Year in Review
 
Exactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and StrategyExactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and Strategy
 
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing ChallengesFIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
 
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
 

IATE Lecture 2: Quality Assurance for Highload Systems

Hinweis der Redaktion

  1. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  2. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  3. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  4. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  5. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  6. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  7. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  8. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  9. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  10. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  11. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  12. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  13. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  14. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  15. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  16. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  17. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  18. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  19. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  20. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  21. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  22. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  23. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  24. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  25. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  26. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface
  27. The reconciliation tool should meet the following requirements: Scalability Ability to process many transactions at a time Adaptability ( или Flexibility) User friendly interface