Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)
QA Fest 2018. Юрій Сиченко. Testing neural network, or how to convince AI love the humans
1. Testing neural network, or how to
convince AI love the humans
t
WITH PASSION TO
QUALITY
Yurii Sychenko
QA CONFERENCE #1 IN UKRAINE, KYIV 2018
2. - controlling the quality since 2014
- assured quality in 1 company, currently in the 2nd
one
- passionate about smart balance of
manual/automation tests
- moving forward to penetration testing
t WITH PASSION TO QUALITY
KYIV 2018
About me
3. t WITH PASSION TO QUALITY
KYIV 2018
Elafris Inc
- будуємо чатботи
для страхових
компаній із США
- більше року на
ринку
- 2 клієнта в лайві
4. - автоматизувати рутинні
процеси через повсякденні
канали спілкування
- бути на звязку з юзерами
24/7
t WITH PASSION TO QUALITY
KYIV 2018
Допомагаємо клієнтам
8. побудувати процес
забезпечення якості в
продукті з купою інтеграцій і
нетривіальним алгоритмом
NLP, який постійно
еволюціонує
t WITH PASSION TO QUALITY
KYIV 2018
Мій челендж
13. - ,інтент те чого хоче юзер
Yes= confirm
No = reject
FU = stop conversation
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа, інтент
14. 100% ,ніколи не дає точності в кращому випадку
96%
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі
15. ,важко віддебажити треба перенеавчати
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі
16. - 'об єм і якість датасетів
- -кожна нова бізнес вимога
~ новий інтент
- =кожен новий інтент
переплетення з існуючим
t WITH PASSION TO QUALITY
KYIV 2018
Проблеми навчання нейромережі
17. Факапи на демо
бізнес хоче показати
справжній NLP, технічно це
майже неможливо
t WITH PASSION TO QUALITY
KYIV 2018
Наслідки використання нейронки
19. - 100%зробити робочий демо сценарій
- user inputкраще розпізнавати
t WITH PASSION TO QUALITY
KYIV 2018
Як допомогти бізнесу провести демо
20. Наш внутрішній інструмент для інтеграційного
тестування системи без участі ФБ
t WITH PASSION TO QUALITY
KYIV 2018
Flow checker для перевірки демо сценарію
22. ,слек канал дашборд
UI→ АІ →
перенавчення → тест
t WITH PASSION TO QUALITY
KYIV 2018
Нерозпізнані/неправильно розпізнані фрази
23. - my birthday is 30,02,2022
- i need your clothes your boots
and your motorcycle
- i wanna change my gender
t WITH PASSION TO QUALITY
KYIV 2018
Cкладнi фрази
31. Розпізнавати все
що не потрапило в
екстрактор
=рекогнішн сервісу
yes, no, sop
conversation, skip...
t WITH PASSION TO QUALITY
KYIV 2018
Функція нейронки тепер
32. - -стоп слова для розпізнавання
- -стоп слова для навчання
t WITH PASSION TO QUALITY
KYIV 2018
Подальше покращення нейронки
33. - розширюємо список трігерів для екстракторів
- апдейтимо датасети для навчання і тесту
нейронки
t WITH PASSION TO QUALITY
KYIV 2018
Як глобально покращуємо розпізнавання