Este documento presenta un resumen del proceso de evaluación de productos de software descrito en la norma ISO/IEC 14598. El proceso consta de 5 etapas principales: 1) Establecimiento de los requerimientos, 2) Especificación de la evaluación, 3) Diseño de la evaluación, 4) Ejecución de la evaluación, y 5) Conclusión de la evaluación. El objetivo es definir un proceso de evaluación repetible, reproducible e imparcial.

1. Grupo 2
Evaluación de
Productos

2. Grupo 2
Agenda
• Introducción
• Norma ISO/IEC 14598
• Proceso para Evaluadores

3. Grupo 2
Evaluación de Productos
• Importancia de evaluar productos
• Para la evaluación de calidad:
– Modelo de calidad
– Método de evaluación
– Medición del software
– Herramientas de soporte

4. Grupo 2
Norma ISO/IEC 14598
• Conformada por:
– 1: Descripción General
– 2: Planificación y gerenciamiento
– 3: Proceso para Desarrolladores
– 4: Proceso para Adquirientes
– 5: Proceso para Evaluadores
– 6: Documentación de Módulos de evaluación

5. Grupo 2
Norma ISO/IEC 14598-1
• Descripción General
– Descripción de las partes que conforman la norma
– Quienes la pueden usar
• Desarrolladores
• Adquirientes
• Evaluadores

6. Grupo 2
Norma ISO/IEC 14598-2
• Planificación y Gerenciamiento
– Determinar requerimientos para asegurar el éxito de la
evaluación
– Función de soporte al proceso de evaluación:
• Adquisición de estandares nacionales e internacionales
• Desarrollo de estandares internos y herramientas que se
adecuan a los requerimientos de la organización

7. Grupo 2
Norma ISO/IEC 14598-3
• Define Proceso de evaluación de producto para
Desarrolladores
– Evaluación para Desarrollo y Mantenimiento
– Aplica a todas las fases del desarrollo
– Se realiza por miembros de la propia empresa
– Se evalúa productos intermedios y finales

8. Grupo 2
Norma ISO/IEC 14598-4
• Define Proceso de evaluación de producto para
Adquirientes
– Evaluación de productos ya desarrollados
– La evaluación resultante de este proceso se aplica
para la toma de decisiones de la adquisición del
producto.

9. Grupo 2
Norma ISO/IEC 14598-5
• Define Proceso de evaluación de producto para
Evaluadores
– Realizado por personal independiente
– Evaluación de productos intermedios y finales

10. Grupo 2
Norma ISO/IEC 14598-6
• Guía para Documentación de Módulos de
evaluación
– Modulo de evaluación: estandarización para
documentar nuevas métricas y guias de uso
– Se documentan las técnicas, métricas y métodos del
proceso de evaluación
– Ej.;Definición de Templates

11. Grupo 2
Producto de
software
Proceso de
evaluación
Recursos y
entorno
Efecto del
producto
software
Apoyo a la
evaluación
Proceso de
evaluación
Métricas
Internas
Métricas
externas
Métricas de
calidad en
uso
14598-2
14598-6
14598-3
14598-4
14598-5
14598-1
9126-3 9126-2 9126-4
9126-1
ISO/IEC 14598 - ISO/IEC 9126

12. Grupo 2
Agenda
• Introducción
• Norma ISO/IEC 14598
• Proceso para Evaluadores

13. Grupo 2
Proceso para evaluadores
• Define un proceso de evaluación
– Actividades
– Entregables
• Debería ser usado por:
– Laboratorios evaluadores
– Empresas desarrolladoras de software
– Adquirientes de software
– Usuarios de un producto
– Entidades certificadoras

14. Grupo 2
Proceso para evaluadores (2)
• Promueve las siguientes características:
– Repetible
– Reproducible
– Imparcial
– Objetivo

15. Grupo 2
a
Establecimiento de los
Requerimientos

16. Grupo 2
• Propósito
– Definir los objetivos de la evaluación.
- Proyectar uso del producto de software y
riesgos asociados.
- Puede ser interesante considerar diferentes
puntos de vista (desarrollador, proveedor,
encargado de mantenimiento, etc)
Establecimiento de los
Requerimientos

17. Grupo 2
Caja Ampliada
Establecimiento de los
Requerimientos

18. Grupo 2
Entradas
• Requerimientos del Solicitante
– Aspectos del producto a gran escala que el Solicitante
quiere evaluar.

19. Grupo 2
Actividades a desarrollar
• Planteo de requerimientos del Solicitante.
• Definición del cubrimiento de la evaluación por
parte del Solicitante.
• Orientación del Evaluador hacia el Solicitante en
la definición de requerimientos.
• Acuerdo mutuo en la definición de
requerimientos.

20. Grupo 2
Salidas
• Requerimientos de la Evaluación
– Descripción general del dominio de la aplicación
– Listado de requerimientos de calidad a evaluar (se
recomienda basarse en ISO/IEC 9126-1)
– Ponderar reqs. de calidad en función del tipo de
aplicación a evaluar

21. Grupo 2
• Producto a Evaluar: Gmail
• Evaluación de Interfaz en las sig. tareas
• Envio de mail
• Uso de Chat
• Armado de grupos
• Redireccionamiento a otra casilla de correo
• Atributos de calidad
• Efectividad
• Productividad
• Satisfaccion
Ejemplo: Reqs de la Evaluación

22. Grupo 2
Especificación de la Evaluación

23. Grupo 2
Especificación de la Evaluación
• Propósito
– Especificar las mediciones a realizar acerca de los
atributos anteriormente seleccionados.
– Brindar un nivel de detalle suficiente como para
asegurar que el proceso sea repetible y reproducible.

24. Grupo 2
Especificación de la Evaluación

25. Grupo 2
Entradas
• Requerimientos de Evaluación (etapa anterior)
• Descripción del Producto (Solicitante)
• Especificaciones Predefinidas (Evaluador)
– Conjunto de posibles mediciones a realizar sobre un
cierto atributo de calidad

26. Grupo 2
Actividades a desarrollar
• Análisis de la descripción del producto
– Determinación de los componentes a ser evaluados y
estudio de factibilidad.
• Especificación de las evaluaciones
– Especificación de que atributos de calidad van a ser
evaluados por componente.
– Especificación de las métricas a ser utilizadas en
ciertos componentes (Evalúo midiendo).
– Determinación de requerimientos a ser testéados.
(Evalúo testeando).

27. Grupo 2
Actividades a desarrollar (2)
• Verificación de la Especificación de la Evaluación
– Verificar el cubrimiento de los Reqs. de evaluación con
respecto a la Especificación de la Evaluación.

28. Grupo 2
Salidas
• Especificación de la Evaluación
– Resultado de las actividades anteriormente
mencionadas.

29. Grupo 2
• Evaluaremos los siguientes atributos de calidad:
– Efectividad
– Productividad
– Satisfacción
Ejemplo: Esp. de la Evaluación

30. Grupo 2
Ejemplo: Esp. de la Evaluación
• Efectividad
– % funciones relevantes usadas
– % de usuarios capaces de completar cada tarea
– % de usuarios capaces de completar una tarea sin
capacitación

31. Grupo 2
Ejemplo: Esp. de la Evaluación
• Productividad
– Tiempo insumido en primer intento
– Tiempo insumido normalmente
– Cantidad de clicks necesarios

32. Grupo 2
Ejemplo: Esp. de la Evaluación
• Satisfacción
– Relación entre opiniones positivas y negativas de los
usuarios
– % de usuarios que recomendarían el producto
– % de usuarios que lo califican de fácil uso en
comparación con otro competidor

33. Grupo 2
Diseño de la Evaluación

34. Grupo 2
Diseño de la Evaluación
• Propósito
– Documentar los métodos y procedimientos a ser
usados en la evaluación
– Identificar los recursos a ser utilizados en la evaluación

35. Grupo 2
Diseño de la Evaluación

36. Grupo 2
Entradas
• Especificación de la Evaluación (etapa anterior)
• Descripción del Producto (Solicitante)
• Métodos de Evaluación (Evaluador)
– Conjunto de técnicas y procedimientos conocidos por
el Evaluador.

37. Grupo 2
Actividades a desarrollar
• Documentación de los métodos y
procedimientos en un plan inicial.
– Para cada evaluación a realizar, se deberá describir en
forma detallada el método a ser usado y como este va
a ser instanciádo.
• Agendar las actividades a realizar de acuerdo a
los recursos disponibles.
• Optimización del plan inicial.

38. Grupo 2
Salidas
• Plan de la Evaluación
– Métodos a seguir
– Agenda.

39. Grupo 2
Ejemplo: Diseño de la Evaluación
• Plan de Evaluación
– Encuestas
• % de usuarios que recomendarían el producto.
– Cronómetro
• Tiempo insumido en primer intento.
– Contar clicks
• Cantidad de clicks necesarios.

40. Grupo 2
Ejecución de la Evaluación

41. Grupo 2
Ejecución de la Evaluación
• Propósito
– Llevar a cabo el plan definido en el diseño registrando
los resultados obtenidos y las acciones tomadas.

42. Grupo 2
Ejecución de la Evaluación

43. Grupo 2
Entradas
• Plan de la Evaluación (etapa anterior)
• Componentes del Producto (Solicitante)
• Herramientas de Evaluación (Evaluador)

44. Grupo 2
Actividades a desarrollar
• Gestión de los componentes del producto
– Llevar registro de los componentes de producto
recibidos.
• Identificador único de componente o documento
• Nombre del documento o componente
• Estado del documento (en buen estado, dañado, etc)
• Versión
• Fecha de recibido
– En caso de ser necesario se podra usar Gestión de la
Configuración

45. Grupo 2
Actividades a desarrollar (2)
• Gestión de resultados obtenidos
– Manejo ordenado
– Prevención de modificaciones accidentales
– Manejo de la confidencialidad
– Tener en cuenta el lugar de desarrollo de la evaluación

46. Grupo 2
Actividades a desarrollar (3)
• Gestión del uso de herramientas
– Inclusión en el Informe borrador de la evaluación
información acerca de las herramientas utilizadas
– Inclusión en el registro de acciones de información
detallada sobre el uso de herramientas
– Verificación del correcto funcionamiento de las
herramientas
– Capacitación (en caso de ser necesario) en el uso de
las herramientas.

47. Grupo 2
Actividades a desarrollar (4)
• Revisión de los datos obtenidos y generación de
reportes
– Todos los resultados deben ser analizados
– Participación de integrantes no involucrados
directamente en la medición de los resultados
– Resultados de la revisión se deben incluir en el
Informe Borrador de la Evaluación

48. Grupo 2
Salidas
• Plan de la Evaluación
– Informe Borrador de la Evaluación
– Registros de Acciones

49. Grupo 2
Conclusión de la Evaluación

50. Grupo 2
Conclusión de la Evaluación
• Propósito
– Revisión conjunta (Solicitante, Evaluador) del Informe
Borrador de la Evaluación
– Eliminación de los datos no relevantes de la
evaluación

51. Grupo 2
Conclusión de la Evaluación

52. Grupo 2
Entradas
• Requerimientos de la Evaluación (etapas
anteriores)
• Especificación de la Evaluación(etapas
anteriores)
• Informe Borrador de la Evaluación(etapa
anterior)
• Componentes del Producto (Solicitante)

53. Grupo 2
Actividades a desarrollar
• Revisión conjunta
– Puesta en común de los resultados documentados
– Comentarios del solicitante
– Generación del Informe Final de la Evaluación, la cual
incluye la integración de los documentos de entrada
• Cierre de la evaluación
– Destino de los datos, documentos, componentes,
herramientas, hw, etc.

54. Grupo 2
Salidas del Proceso
• Informe Final de la Evaluación
– Resultado de las actividades anteriormente mencionadas.
– Entregado al Solicitante y almacenado por parte del
Evaluador

55. Grupo 2
Salidas del Proceso
• Registros de la Evaluación
– Almacenado solo por el Evaluador
– Es lo permite que el proceso sea repetible y
reproducible.

56. Grupo 2
Preguntas