Taller ofrecido por María José Pérez Zavala Se dice que sólo podemos controlar lo que podemos medir. Si podemos medir, entonces podemos comprender de mejor manera, y el comprender nos deja mejor posicionados para tomar decisiones. Podemos medir infinidad de cosas, el desafío entonces está en definir métricas relevantes y relativamente simples que nos permitan entender cuan lejos o cerca estamos de alcanzar los objetivos. El objetivo de este taller consiste en entender por qué es necesario medir, qué es una métrica, cómo se compone y cómo puede ser definida, para luego ir a la práctica concreta y definir métricas relacionadas a la Calidad de SW. La estructura de este taller tendrá 3 partes. 1) Una breve introducción teórica general sobre mediciones, métricas y técnicas para definir Métricas. Luego se verá en particular cómo implementar un plan de métricas siguiendo el paradigma de GQM (Goal Question Metric). 2) Ejercicio práctico aplicando GQM para definir métricas relacionadas a la Calidad del SW. Se trabajará en grupos, luego cada uno presenta alguna de las métricas que definió y entre todos se revisan y mejoran. 3) Cierre con conclusiones generales y presentación de algunos ejemplos de Métricas relacionadas con Calidad del SW de uso frecuente en el mercado. Se seguirá un modelo Kanban para la presentación y discusión de temas. Conocimientos previos requeridos Conocimiento del proceso de Testing completo. Experiencia concreta ejecutando o gestionando actividades de Testing en proyectos. Requerimientos Este taller no requiere computadora. María José Pérez Zavala https://www.linkedin.com/in/mar%C3%ADa-jos%C3%A9-p%C3%A9rez-zavala-4a32b016/

1. Definiendo Métricas de Calidad
Edición 2018

2. Ing. María José Pérez Zavala, UTN - FRBA
QE Technical Director - Globant
Más de 19 años de experiencia en Control de Calidad de SW (QC) y en Aseguramiento
de Calidad (QA) con la definición e implementación de procesos.
Su paso por proyectos para distintos tipos de industrias, tanto para pequeñas
empresas como multinacionales, le ha dado la posibilidad de adquirir experiencia y
desarrollar su especialización en gran diversidad de aplicaciones, enfrentando
importantes desafíos tanto tecnológicos como de procesos.
En los últimos años trabajando en Globant ha ocupado diversidad de roles,
actualmente está focalizada en gestión y liderazgo de equipos, así como consultoría y
desarrollo de estrategias y procesos de testing para gran diversidad de clientes.

3. ● Métricas vs. Mediciones
● Para qué definir métricas?
● Cómo definir métricas?
● GQM - Ejemplo
● Ejercicios
● Clasificación de métricas
Objetivos

4. "Si no puedes medirlo, entonces no puedes controlarlo"
Tom DeMarco

6. Métricas vs. Mediciones
Medición
● Una medición es un número, una cantidad o un grado de algo que se deriva
de tomar una medida.
● Una medida se podría tomar con una técnica diferente cada vez.
Métrica
● Se basa en procedimientos estandarizados, métodos de cálculo y sistemas
para generar un número.
● La métrica es un cálculo entre dos o más medidas.
● El formato del resultado calculado puede ser un porcentaje, una proporción,
una fracción, un decimal o un múltiplo.

7. Métricas vs. Mediciones - Ejemplos
Medición
● Número de errores reportados
● Cantidad de casos de prueba ejecutados
● Número de tareas completadas
● Cantidad de US en el backlog del sprint
● Número de errores abiertos
Métrica
● % De errores abiertos (Número de errores abiertos / Número de errores informados) * 100
● % De casos de prueba aprobados
● Distribución de Bugs por US
● Porcentaje de Detección de Defectos (Número total de defectos reportados por testers /
Número de todos los defectos reportados por testers y usuarios) * 100
● ROI

8. Métricas

9. ● <= 8% Verde (es aceptable/esperable)
● entre 8% y 20% Amarillo (hay riesgos)
● > = 20% Rojo (hay problemas)
Métricas
Parte importante en la definición de una métrica es el objetivo o los márgenes de aceptación
definidos como una referencia.
Dependiendo de las necesidades, el progreso del proyecto o madurez del equipo, los valores de los
rangos de aceptación pueden ajustarse.
Ejemplo:
Métrica: % de errores abiertos= (Número de errores abiertos / Número de errores informados) * 100
Referencias:

10. Para qué definir métricas?
Las métricas efectivas son simples, objetivas, medibles, significativas y
tienen datos subyacentes de fácil acceso.
El modelo de métricas cubre diferentes aspectos del desarrollo y pruebas del
software, permitiendo a los gerentes tomar decisiones.
Las métricas pueden proporcionar una visión rápida del estado del esfuerzo
de las pruebas, lo que resulta en un mejor control a través de la toma de
decisiones inteligente.
Las métricas ayudan a medir el progreso, la calidad y la salud del esfuerzo de
pruebas.
Las métricas también se pueden aprovechar para evaluar el rendimiento
pasado, el estado actual y prever las tendencias futuras.

12. Cómo definir Métricas?
Mantener la estrategia de métricas lo más ligera y enfocada posible.
Evolucionar a medida que se aprende.
Tomar un enfoque abierto. Hacer que las métricas estén lo más disponibles
posible y para una amplia audiencia.
Colaborar. Las métricas pueden proporcionar información sobre lo que está
sucediendo, pero es mucho mejor tener conversaciones con otros para
determinar o entender qué está sucediendo realmente.
Se recomienda implementar el paradigma Goal-Question-Metric (GQM).

13. Cómo definir Métricas
Tiene sólo Tres Pasos!
● Primero identifica una meta que te gustaría alcanzar.
● En segundo lugar, identifica un conjunto de preguntas derivadas de la
meta que ayude a refinar, articular y determinar qué tan bien se está
logrando esa meta.
● Y finalmente, indica la(s) métrica(s) y las medidas que se recolectarán y
podrían ayudarte a responder cada pregunta de manera cuantificable.
La idea fundamental detrás de GQM es que todas
las mediciones deben estar orientadas a objetivos.
Evitar recopilar mediciones por el simple hecho de
recopilar.
*GQM - Victor Basili (´70 for NASA)

14. GQM - Ejemplo
GOAL ● Construir SW de Calidad
● Mejorar mi proceso ágil de calidad
● Mejorar las ventas
● Estar saludable
● Comprar una casa
● Hacer un viaje
QUESTIONS ● Qué es calidad?
● Qué tipo de defectos tengo?
● El re-trabajo está creciendo?
● Voy más rápido o lento?
● Cuánto peso?
● Tengo riesgo de paro cardíaco?
● Puedo correr sin cansarme?
METRICS ● Categorización de fallas en
producción por módulo
● Story points por unidad de trabajo
● Velocidad por sprint
● Variación en las estimaciones
● Porcentaje de bugs re-abiertos
● etc!
● Peso
● Colesterol
● Presión arterial
● Ejercicios/día
● Recuento de glóbulos rojos
● Pulsaciones después del ejercicio
● etc!

16. Clasificación de Métricas
Métricas de Calidad de Procesos Métricas de Calidad de Producto
* Percentage of
work completed
* Percentage of
work yet to be
completed
* Time to complete
the remaining
work
* Project progress
MétricasdeGestióndeProyecto
Métricas de Proyecto
MétricasdeEficiencia
Cost of testing
•Phase-wise
•Component-
wise
Test Execution
•Productivity
Trends
•Average Defect
Turnaround time
•Average defect
response time
•Test Bank
Growth Trends
MétricasdeEfectividad
• Test Coverage
● Overall
● Execution
● Component
wise
• Defect removal
efficiency
• Defect Leakage
• Cost of Quality
MétricasdeGestióndeDefectos
MétricasdePruebasAutomatizadas
* Test Automation
Coverage
* Test Automation
Productivity
Trends
* Effort Savings
through Test
Automation
* ROI of Test
Automation
* Testing Defect
Backlog over Time
* Defects by Severity
* Defects by Priority
* Defects by type
* Defects by status
* Showstopper’s
Trend
* Component-wise
defect Distribution

17. Más preguntas?
Ing. Majo Zavala - majipz@gmail.com / maria.zavala@globant.com