SlideShare ist ein Scribd-Unternehmen logo
1 von 52
Downloaden Sie, um offline zu lesen
Departamento de Ciencias de la Computación
Universidad de Chile

Métricas e Indicadores:
Dos Conceptos Claves para
Medición y Evaluación
Contenidos
• Introducción
• Teoría de Métricas
• Teoría de Indicadores
• Conclusiones/Avances

Dr. Luis Olsina
GIDIS, Facultad de Ingeniería, UNLPam,
La Pampa - Argentina
TE 54 2302 430497 Ext. 6501
E-mail olsinal@ing.unlpam.edu.ar
Esquema

•
•
•
•

Introducción
Teoría de Métricas
Teoría de Indicadores
Conclusiones
Introducción
Beneficios de la Medición/Evaluación
Analizar, Comprender (los atributos de un ente)
Controlar (la calidad del producto, …)
Predecir (el tiempo y costo de un proyecto)
Mejorar (la calidad de un producto, proceso …)

Conceptos Medibles (Factores)
Calidad, Calidad en Uso, Productividad, Costo …

Fases del Ciclo de Vida del Software
Exploración, Desarrollo, Mantenimiento.
Introducción
Requerimientos de Medición/Evaluación
Metas, Restricciones (Seguridad, Disponibilidad, etc.)
Especificación de Requisitos, Definición de Criterios,
Técnicas, Métricas, Indicadores…

Captura de Datos
Recolección de Datos
– Automática, Semiautomática, Manual

Análisis
Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.
Interpretación de los datos.

Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora
Clases de Métodos de Evaluación
Categorías de Métodos
Testing
Inspección
Consulta (Inquiry)
Modelado Analítico
Simulación
Los Métodos y Técnicas a Aplicar pueden ser:
Cuantitativos versus Cualitativos
Automáticos, Semiautomáticos o Manuales
Desde Fácil a Difícil de Usar y Aprender
Taxonomía de Métodos
Clase de Método
-- Testing
-- Inspección
-- Consulta, ...

Tipo de Método

Taxonomía
de Métodos de
Evaluación

-- Análisis de Log Files
-- Evaluación de Características y Atributos

Tipo de Automatización
-- Manual
-- Semi-Automático
-- Automático

Nivel de Esfuerzo
-- Fácil de Usar, Aprender
-- Efectivo, Preciso
-- Rango de Aplicabilidad

Fase
-- Requerimientos
-- Captura
-- Análisis
-- Recomendaciones
Hacia una Ontología de M&I
Diversos Estándares (principalmente ISO) tratan
sobre
el modelo de calidad de software (ISO 9126),
el proceso de medición (ISO 15939),
el proceso de evaluación (ISO 14598)
otros

Con frecuencia, no existe un claro consenso
entre los mismos términos en diferentes
documentos o, a veces, términos ausentes
Necesidad de una Ontología para el dominio de
Métricas e Indicadores
– Ontologías para el Proceso de Medición y Evaluación
Esquema

•
•
•
•

Introducción
Teoría de Métricas
Teoría de Indicadores
Conclusiones
Introducción a Métricas
ENTIDAD
ATRIBUTO
CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
METRICA (Directa e Indirecta)
MEDICION, MEDIDA
METODO (Medición, Cálculo)
ESCALA / TIPO DE ESCALA
UNIDAD
...
Introducción a Métricas
ENTIDAD
Un objeto que va a ser caracterizado mediante una
medición de sus atributos [ISO-15939].
Una entidad puede ser física –tangible– (p.ej. una
computadora) o abstracta -intangible– (p.ej. un
programa software)
Objetos de interés para el dominio de software son:
–
–
–
–
–
–

Recurso,
Proceso,
Producto,
Producto en uso?,
Proyecto,
Servicio
Introducción a Métricas
ATRIBUTO
Una propiedad mensurable, física o abstracta,
de una entidad [ISO 14598-1:1999].
el atributo puede ser interno o externo
– Tamaño de código fuente (atributo interno), precio (atributo
externo).

el atributo se puede medir (cuantificar) por
medio de una métrica directa o indirecta.
Introducción a Métricas
CONCEPTO MEDIBLE
Es una relación abstracta entre atributos de una o más
entidades, y una necesidad de información [ISO15939].
Evaluar o predecir dicho concepto, desde una
perspectiva de usuario.
Ejemplos de conceptos medibles son: Calidad, Costo,
Accesibilidad, Calidad en Uso, Confiabilidad.
Ejemplos de perspectivas de usuario son: Gerente,
Desarrollador, Usuario final, etc.
Introducción a Métricas
MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre
ellos, que sirven de base para una ulterior evaluación
o estimación.
Ej. Características y/o subcaracterísticas y sus
relaciones que proveen las bases para modelar
Calidad.
Una característica puede estar conformada por
subcaracterísticas y atributos.
El modelo puede ser fijo (estándar, como ISO 9126-1),
propio o mixto.
Modelos de Calidad (Boehm - 1978)
Primary uses

Intermediate constructors

Primitive constructors

Device Independence
Completeness
Portability

As is utility

Reliability
Efficiency

Accuracy
Consistency
Device efficiency
Acessibility

General utility

Human engineering

Metrics
Communicativeness

Testability
Maintainability

Structuredness

Understandability

Self descriptiveness

Modifiablility

Conciseness
Legibility
Augmentability
Modelos de Calidad (ISO/IEC 9126-1)
Software
Software
Quality
Quality

Características

Functionality
Functionality

Reliability
Reliability

Usability
Usability

Suitability
Suitability
Accuracy
Accuracy
Interoperability
Interoperability
Security
Security
Compliance
Compliance

Maturity
Maturity
Fault Tolerance
Fault Tolerance
Recoverability
Recoverability
Compliance
Compliance

Understandability
Understandability
Learnability
Learnability
Operability
Operability
Attactiveness
Attactiveness
Compliance
Compliance

Subcaracterísticas

Efficiency
Efficiency
Time behaviour
Time behaviour
Resource
Resource
utilization
utilization
Compliance
Compliance

Maintainability
Maintainability
Analysability
Analysability
Changeability
Changeability
Stability
Stability
Testeability
Testeability
Compliance
Compliance

Portability
Portability
Adaptability
Adaptability
Instalability
Instalability
Co-existence
Co-existence
Replaceability
Replaceability
Compliance
Compliance
Características y Subcaracterísticas
Usabilidad
» Comprensión Global del Sitio
» Ayuda y Retroalimentación
» Aspectos de Interface
» Aspectos Estéticos
Funcionalidad
» Búsqueda y Recuperación
» Navegación y Exploración
» Funciones y Contenido Específicos del Dominio (E-commerce,
Museos, Universidades ...)
Confiabilidad
» Enlaces
» Páginas
» Compatibilidad de Navegadores
Eficiencia
» Performance
» Accesibilidad
Características y Atributos
Confiabilidad
– Enlaces
» Enlaces Rotos
» Enlaces Inválidos
» Enlaces no Implementados

– Páginas
» Páginas Muertas
» Páginas bajo Construcción
» Errores de Ortografia
Una entidad puede ser un Proceso,
Producto, Recurso, Proy ecto o Serv icio.

calculada_por

Función
1 especifi cació n

subEn ti dad

0 ..*
Entidad

MétricaDirecta

1

n ombre
d es
cripció n

NecesidadDeInform ación

mé tri cas_re la ci onad

1.. *

descripción

ver_También

asociado_con

1

Métrica

1..*
de scri be

Modelo
Conceptual
para
Métricas

Atributo

1..*

subConcepto

0..*

MétricaIn directa

combina

1

1..*

1

nombre
palabrasClave/ Alia s
definició n
nivelIndependencia
ti po = {interno, ext erno}

1..*

cuantif ica

contiene

ConceptoMedible
nombre
descripción

0..*

nombre
interpretaciónValor
objetivo/Motivación
tipoRecolecciónDatos
referencias
tipoValor = {Símbolo, Integer, Float}
precisión

2..*

1
referida_a

1

Escala

0..*

<<enum>> tipoEscala

especificado_por

Medición

0..*

fechaYHora

Medida

produce
1

1

valor

ModeloDeConcepto

nombre
especificación
referencias

tipoEscala={Nominal, Ordinal Restringida,
Ordinal no Restringida, Interv alo, Proporción,
Absoluta}

EscalaCategórica
valoresPermitidos

Herramie nta
nombre
descripción
versión
proveedor

EscalaNumérica

0..*

1..*

1..*

1

Método

automatizado_por

1

nombre
especificación

MétodoDeCálculo

Unidad

expresada_en

ti po = {cont in ua, d iscret a}

MétodoDeMedición
tipo = {Objetivo, Subjetivo}

nombre
descrip ción

inclu ye
Introducción a Métricas
METRICA
El método de medición definido y la escala
de medición [ISO 14598-1:1999].
MEDICION
– Actividad que usa la definición de la métrica para
producir el valor de una medida.

MEDIDA
– Número o categoría asignada a un atributo de una
entidad mediante una medición [ISO 145981:1999]
Introducción a Métricas
METODO (de MEDICION, CALCULO)
Secuencia lógica de operaciones y potenciales
heurísticas, expresadas de forma genérica, que
permite la realización de una descripción de actividad.
El tipo de método de medición va a depender de la
naturaleza de las operaciones utilizadas para
cuantificar el atributo. Pueden distinguirse dos tipos:
– Subjetivo: Cuando la cuantificación supone un juicio realizado
por un ser humano.
– Objetivo: Cuando la cuantificación está basada en métodos
numéricos.
Introducción a Métricas
Escala
Un conjunto de valores con propiedades definidas
[ISO 14598-1].
Escala Numérica (Continua o Discreta)
Escala Categórica
Tipos de Escala (Nominal, Ordinal, Intervalo...)
Introducción a Métricas
METRICA Es la correspondencia de un dominio empírico (mundo real) a
un mundo formal, matemático. La medida incluye al valor numérico o
nominal asignado al atributo de un ente por medio de dicha
correspondencia. [Fenton]

Juan es más alto que María sí y sólo sí M (Juan)>M (María)
Introducción a Métricas
METRICA DIRECTA
Una métrica de un atributo que no depende de
ninguna métrica de otro atributo.

METRICA INDIRECTA
Una métrica de un atributo que se deriva de una o
más métricas de otros atributos.
– Se formaliza por medio de una Función de Medición (Fórmula,
Ecuación).
– Función de Medición: Un algoritmo o cálculo que permite
combinar dos o más métricas.
Ejemplos de Métricas Directas
• Longitud del Texto del Cuerpo de una Página
• Medido por cantidad de palabras, etc.
• Cantidad de Enlaces Rotos Internos
• Medidos por la presencia de errores del tipo 404, (410 ?)

• Cantidad de Imágenes con Texto Alternativo
• Medido por la presencia de la etiqueta ALT (con texto no

nulo) en cada una de las imágenes vinculadas a las páginas
de un sitio Web
Ejemplos de Métricas Indirectas

Porcentaje de Enlaces Rotos de un Sitio

PorcentajeEnlacesRotos =

CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos
×100
CantidadTotalEnlaces

Porcentaje de Presencia de la propiedad ALT.
CantidadIm
ágenesALT
Porcentaje
PresenciaA =
LT
×100
CantidadTo
talImágene
s
Introducción a Métricas
INSTRUMENTO (Herramienta)
Instrumento (o herramienta) que automatiza
parcial o totalmente a un método de medición
o cálculo.
– Nota: un instrumento software (de medición o
cálculo) es un caso particular de un instrumento (de
medición o cálculo).
– Por ejemplo, un termómetro es un instrumento de
medición.
Herramientas de Automatización Métricas Web
Bobby: CAST [http://www.cast.org/bobby/] ; web-based on-line y offline, con ranking; Analizador Accesibilidad (WAI conformance), de
Errores y Fallas, Compatibilidad de Browsers.
Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; webbased y off-line; Analizador de Errores y Fallas, HTML tags,
Performance, etc.
LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; webbased y off-line, con ranking; Analizador de Errores y Fallas, HTML
tags, Imágenes, Performance, test de Accesibilidad, etc.
LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp];
off-line, con ranking; Analizador de Errores y Fallas, Performance,
HTTP códigos de estado, etc. Herramienta de reparación.
Introducción a Métricas
ESCALA / TIPOS DE ESCALA
Un conjunto de valores con propiedades definidas
[ISO 14598-1].
Una escala puede ser clasificada de acuerdo a los
siguientes Tipos de Escala: Nominal, Ordinal
restringida, Ordinal no restringida, Intervalo,
Proporción, Absoluta.
Cada tipo de escala determina las transformaciones
admisibles, el tipo de operaciones matemáticas, y los
análisis estadísticos que pueden aplicarse sobre el
conjunto de valores de la escala.
Introducción a Métricas
UNIDAD (para escalas numéricas)
Una cantidad particular, definida y adoptada
por convención, con la que se pueden
comparar otras cantidades de la misma clase
para expresar sus magnitudes respecto a esa
cantidad particular [ISO-15939]
– Ejemplos: LOC, bytes, palabras, links ...
Introducción a Métricas: Tipos de Escala
Tipo de
Escala
Nominal

Transformación
Admisible
Equivalencia uno-a-uno

Ordinal

Funciones monotónicas
incrementales

Intervalo

m1 = a m + b

Proporción

m1 = a m

Absoluta

m1 = m (Identidad)

Estadísticas
Significativas
Moda, Frecuencia
Test no paramétricos
Mediana, Spearman y
Kendall Tau, W
Test no paramétricos
(Todo lo previo)
Media
Aritmética,
Desvío estándar
Coef. de correlación de
Pearson
Test no paramétricos
(Todo lo previo)
Porcentajes,
Media
Geométrica
Test paramétricos y no
paramétricos
(Todo lo previo)
(Todo lo previo)

Ejemplos
Clasificación,
etiquetado
Grado de disponibilidad,
funcionalidad,
complejidad, etc.
Temperatura (Celsius,
Fahrenheit) Tiempos
relativos, etc.

Preferencia de calidad,
tamaño
(LOC),
longitud, etc.

Conteo
Introducción a Métricas: Tipos de Escala
Tipo de Escala Nominal
En un tipo de escala nominal el sistema relacional empírico consta
sólo de categorías diferentes.
Cualquier número o símbolo distinto para cada categoria es una
medida aceptable, pero no existe orden o noción de magnitud
asociado a cada número o símbolo.
Ejemplo: mido las fallas de software si están en Especifación, Diseño
o Codificación y puedo asignar 1, 2 y 3 para las fallas que se
encontraron en cada tarea respectivamente, o simplemete A, B y C.
Esta clasificación no nos permite determinar si un tipo de falla es más
importante o no que otra.

La transformación admisible para el tipo de escala nominal es el
conjunto de todos los mapeos 1 a 1.
Introducción a Métricas: Tipos de Escala
Tipo de Escala Ordinal
Le agrega orden a las categorías del tipo de escala nominal.
El sistema relacional empírico está formado por categorías ordenadas
con respecto a un atriburo.
Cualquier mapeo que preserve el orden es aceptable.
No tiene sentido ninguna operación aritmética sobre las categorías.
Ejemplo: Complejidad de Software. Si defino trivial, simple, normal,
complejo e inentendible, hay una relacion de orden implicito , “mas
complejo que” el mapeo a números debe preservar este orden, podría
ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que
preserve el orden en el sistema numérico es valido.
Introducción a Métricas: Tipos de Escala
Tipo de Escala Intervalo
Toma información acerca del tamaño de los intervalos que separan
las categorías (escala o “salto” de una categoría a otra)
Preserva el orden de las categorías
Preserva la diferencia entre dos categorías pero no puedo hacer
algunas operaciones sobre las mismas; es decir puedo sumar y restar
pero no multiplicar o dividir.
Ejemplo: medir la temperatura del aire en Fahrenheit. Puedo decir

que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40
grados, también si aumenta un grado en NY y Miami pero NO puedo decir
que la temperatura en Miami es el doble que en NY, o que en NY es la mitad.

El tipo de transformación admisible es de la forma: M’= a * M + b.
Introducción a Métricas: Tipos de Escala
Tipo de Escala de Proporción
Es el tipo de escala más usado. Podemos hacer análisis con
operadores de multiplicación y división, porcentajes, entre otros.
Todas las operaciones aritméticas tienen sentido sobre las
categorias.
Ejemplo: La altura de una persona (Dos veces más alto que)

Se preserva el orden, el tamaño de intervalo y la proporción de las
categorías. Hay un elemento cero, que representa la falta total de un
atributo.
Las categorías mapeadas deben comenzar en cero e incrementarse
a intervalos regulares llamados unidades.
El tipo de transformación admisible es de la forma: M’= a * M.
Introducción a Métricas: Tipos de Escala
Tipo de Escala Absoluta
Es la mas restriciva. La única transformación admisible es la
identidad. Es decir, sólo hay un mapeo posible M’ = M.
La medida es hecha (generalmente) contando elementos del
conjunto de un atributo de una entidad
El atributo tiene siempre la forma “Número de ocurrencias del atributo
X en la entidad E”
Todo análisis aritmético tiene sentido. Ejemplo: Cantidad de Enlaces
Rotos.
Una entidad puede ser un Proceso,
Producto, Recurso, Proy ecto o Serv icio.

calculada_por

Función
1 especifi cació n

subEn ti dad

0 ..*
Entidad

MétricaDirecta

n ombre
d es
cripció n

NecesidadDeInform ación

mé tri cas_re la ci onad as
ver_También

asociado_con

1

Métrica

1..*
de scri be

combina

1

1..*

1

nombre
palabrasClave/ Alia s
definició n
nivelIndependencia
ti po = {interno, ext erno}

cuantif ica

contiene

ConceptoMedible
nombre
descripción

0..*

nombre
interpretaciónValor
1..* objetivo/Motivación
tipoRecolecciónDatos
referencias
tipoValor = {Símbolo, Integer, Float}
precisión

Atributo

1..*

subConcepto

Modelo
Conceptual
para
Métricas

MétricaIn directa

1.. *

descripción

0..*

1

2..*

1
referida_a

1

Escala

0..*

<<enum>> tipoEscala

especificado_por

Medición

0..*

fechaYHora

Medida

produce
1

1

valor

ModeloDeConcepto

nombre
especificación
referencias

tipoEscala={Nominal, Ordinal Restringida,
Ordinal no Restringida, Interv alo, Proporción,
Absoluta}

EscalaCategórica
valoresPermitidos

Herramie nta
nombre
descripción
versión
proveedor

EscalaNumérica

0..*

1..*

1..*

1

Método

automatizado_por

1

nombre
especificación

MétodoDeCálculo

Unidad

expresada_en

ti po = {cont in ua, d iscret a}

MétodoDeMedición
tipo = {Objetivo, Subjetivo}

nombre
descrip ción

inclu ye
Ejemplo de Atributos/Métricas
Necesidad de Información: Evaluate the link reliability for
static pages of a website
Entidad: Producto (web site)
Concepto Medible: link reliability (Confiabilidad de Enlaces)
Modelo para Confiabilidad de Enlaces (link reliability )
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL)
1.3 Invalid Links (IL)
Ejemplo de Atributos/Métricas
1. Link Reliability
// Atributos
1.1 Internal Broken Links (IBL)
// Dos Posibles Métricas para 1.1
a) #IBL Unidad: Enlace; Escala: Numérica, Enteros
Tipo de Escala: Absoluta
Tipo de Método de Medición: Objetivo
b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje;
Escala: Numérica, Reales
Tipo de Escala: Absoluta
Para Resaltar
Las métricas NO pueden interpretar por sí solas
un concepto medible
Necesidad de INDICADORES
Esquema

•
•
•
•

Aseguramiento de Calidad
Teoría de Métricas
Teoría de Indicadores
Conclusiones
Introducción a Indicadores
INDICADOR (ELEMENTAL, GLOBAL)
CONCEPTO MEDIBLE (Calidad, Productiv...)
MODELO DE CONCEPTO
MODELO ELEMENTAL, GLOBAL
CRITERIO DE DECISION
CALCULO, VALOR INDICADOR
ESCALA / TIPO DE ESCALA
UNIDAD
...
Introducción a Indicadores
INDICADOR
El método de cálculo y la escala definidos,
además del modelo y criterios de decisión
con el fin de proveer una evaluación o
estimación de un concepto medible con
respecto a una necesidad de información.
Indicador Elemental
– Preferencia de Enlaces Rotos Internos (IBL_P)

Indicador Global
– Preferencia en Confiabilidad de Enlaces (LR_P)
Introducción a Indicadores
MODELO ELEMENTAL
Algoritmo o función asociados a criterios de
decisión que modela a un indicador elemental.
Ejemplo para Preferencia de Enlaces Rotos
Internos (IBL_P)
IBL_P = 100% if %IBL = 0;
IBL_P = 0% if %IBL >= X max ;
otherwise IBL_P =( (X max – %IBL) / X max ) * 100
if 0 < %IBL < X max
where X max is some agreed upper threshold such as 3
Introducción a Indicadores
MODELO GLOBAL
Algoritmo o función asociados a criterios de
decisión que modela a un indicador global.
Ejemplo para Preferencia de Confiabilidad de
Enlaces (LR_P)
GI1 = (W1.1 EI1.1 + W1.2 EI1.2 + W1.3 EI1.3);
(W1 + W2 + .. + Wm ) = 1; if Wi > 0 ;
para i = 1 .. m
(m = 3, en nuestro ejemplo).
Introducción a Indicadores
CRITERIO DE DECISION
Thresholds, targets, or patterns used to determine the
need for action or further investigation, or to describe
the level of confidence in a given results [ISO 15939].
Ejemplo

The decision criteria that a model of an indicator have to
have are the agreed acceptability levels in the given
scale; for instance, it is unsatisfactory if the range is 0
to 40; marginal, if it is greater than 40 and less or
equal than 60; otherwise, satisfactory
Entidad
NecesidadDeInformación

1..*

cuan tif ica

1..*

descripción

asociado_con

1

1..*

1..*
describe
c ombina

1..*

1

nombre
interpretaciónValor
objetivo/Motivación
tipoRecolecciónDatos
referencias
tipoValor = {Símbolo, Integer, Float}
precisión

0..1

Atributo
nombre
~
palabrasClave/Alias
definición
nivelIndependencia
tipo = {interno, externo}

1

cont iene

referida_a

1

1

ConceptoMedible

0..*

1

nom bre
des crip ció n

Modelo
Conceptual
para
Indicadores

Métrica

nombre
descripción

Es c ala

1

0..*

produce
1
1

Medición

<<enum>> tipoEscala

fechaYHora

Medid a
valor

evalúa/estima
contiene

subConcepto
especificado_por
0..*
ModeloDeConcepto

E sca laCate góric a

nombre
especificación
referencias

valoresPermitidos

tipo = {continua, discreta}

1

incluye

Indicador

Cálc ulo

nombre
precisión
referencias
tipoValor = {Símbolo, Integer, Float}

relacionado_a
0..* fech aYHora

1

2..*

IndicadorElem ental

Indi cad orGlobal

1
modelado_por

in cluye

ModeloElemental

tie ne
1..*

valor

nom bre
des cripción
vers ión
proveedor
0..*
automatizado_por

1

nom bre
es pecificación

1

Herram ienta

1
modelado_por

1

ValorIndicador

produce
1

indicadores_relacionados

1

Unidad
expresada_en
1..* nombre
1
descripción

Es calaNum érica

1..*

ModeloGlobal

Método

nom bre
especificación

1

nombre
especificación

tie ne
1.. *

CriterioDeDecis ión
nom bre
des cripción
rango

Métod oDe Cá lcul o

MétodoDeMedición
tipo = {Objetivo, Subjetiv o}

interpreta
Esquema

•
•
•
•

Aseguramiento de Calidad
Teoría de Métricas
Teoría de Indicadores
Conclusiones/Avances
Conclusiones
Metrics are welcome when they are clearly needed and
easy to collect and understand Pfleeger
Utilidad de las Métricas
Medición “objetiva antes que subjetiva”
Especificar en el mundo formal, la correspondencia de
un atributo del mundo empírico
Operacionalizar Heurísticas
Servir de “base” a Métodos Cuantitativos de Evaluación
o Predicción.
La métrica NO puede interpretar por sí sola un concepto
medible (Necesidad de INDICADORES)
Conclusiones
Indicators are ultimately the foundation for interpretation of
information needs and decision-making.
Utilidad de los Indicadores
Servir de base para cuantificar Conceptos Medibles para
una Necesidad de Información
Servir de base a Métodos Cuantitativos de Evaluación o
Predicción
Los indicadores ofrecen información para la toma de
decisiones
Trabajos en Avance
Ontología para Métricas e Indicadores
Conceptualización (UML, Tablas)
Implementación (RDFS, OWL)
Mantenimiento

Ontologías para Procesos de Medición/Evaluación
Sistema Web para Catalogación de M&I
Con Capacidad de Web Semántica
Arquitectura del Sistema
User Administrator Reviewer Moderator Tool/Agent

INTERFACE
TIER

Web Interfaces

Web Services
BUSINESS
LOGIC TIER
Business Classes

Semantic Data
Access Components

SQL Data Access
Components

DB Repository

OWL
RDF/S
XMLS

Semantic Query
System

DATA LOGIC
TIER

PERSISTENCY
TIER

Catalog Review
System
Metrics and Indicators
Cataloging System
Preguntas ?
PROGRAMA CYTED
Proyecto WEST: Web-Oriented Software Technology

Dr. Luis Olsina
E-mail: olsinal@ing.unlpam.edu.ar
URL: http://gidis.ing.unlpam.edu.ar
Grupo de Investigación y Desarrollo en Ingeniería de Software
Departamento de Informática – Facultad de Ingeniería – Universidad Nacional de La Pampa

Argentina
© 2003 GIDIS

Weitere ähnliche Inhalte

Was ist angesagt?

Estadistica aplicada a la investigación
Estadistica aplicada a la investigaciónEstadistica aplicada a la investigación
Estadistica aplicada a la investigacióndavidmariela2880801
 
A10) glosario proceso auditor
A10) glosario proceso auditorA10) glosario proceso auditor
A10) glosario proceso auditorSandroCJC
 
Planteamiento del problema_y_marco_teorico
Planteamiento del problema_y_marco_teoricoPlanteamiento del problema_y_marco_teorico
Planteamiento del problema_y_marco_teoricoahliiz
 
Tecnicas y Herramientas en la Auditoria
 Tecnicas y Herramientas en la Auditoria Tecnicas y Herramientas en la Auditoria
Tecnicas y Herramientas en la AuditoriaUPTM
 
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6A
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6ACapítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6A
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6AGuadalupe Jasiel López González
 
Proceso de auditoria
Proceso de auditoriaProceso de auditoria
Proceso de auditoriamafer2210
 
Normas internacionales de
Normas internacionales deNormas internacionales de
Normas internacionales deYudi TU Bebita
 
Tipos y diseños de investigacion
Tipos y diseños de investigacionTipos y diseños de investigacion
Tipos y diseños de investigacionJoselyn Castañeda
 
Guia estudio 03.pptxestadistica
Guia estudio 03.pptxestadisticaGuia estudio 03.pptxestadistica
Guia estudio 03.pptxestadisticacienciascontables
 
Software para auditoría informática
Software para auditoría informáticaSoftware para auditoría informática
Software para auditoría informáticameme694
 
Metodos de investigación
Metodos de investigaciónMetodos de investigación
Metodos de investigaciónUNAH
 
Presentacion Auditoria Forense
Presentacion Auditoria ForensePresentacion Auditoria Forense
Presentacion Auditoria Forensekeniamunoz0618
 
Papeles de trabajo auditoria.5555
Papeles de trabajo auditoria.5555Papeles de trabajo auditoria.5555
Papeles de trabajo auditoria.5555elecodelcontador
 
QMS awareness 12th may 2015
QMS awareness 12th may 2015QMS awareness 12th may 2015
QMS awareness 12th may 2015Amr Eldakroury
 
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsx
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsxNAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsx
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsxRamón Alexander Paula Reynoso
 

Was ist angesagt? (20)

Estadistica aplicada a la investigación
Estadistica aplicada a la investigaciónEstadistica aplicada a la investigación
Estadistica aplicada a la investigación
 
A10) glosario proceso auditor
A10) glosario proceso auditorA10) glosario proceso auditor
A10) glosario proceso auditor
 
Planteamiento del problema_y_marco_teorico
Planteamiento del problema_y_marco_teoricoPlanteamiento del problema_y_marco_teorico
Planteamiento del problema_y_marco_teorico
 
Tecnicas y Herramientas en la Auditoria
 Tecnicas y Herramientas en la Auditoria Tecnicas y Herramientas en la Auditoria
Tecnicas y Herramientas en la Auditoria
 
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6A
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6ACapítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6A
Capítulo 4. Técnicas y procedimientos de auditoría (Equipo 4) 6A
 
Proceso de auditoria
Proceso de auditoriaProceso de auditoria
Proceso de auditoria
 
Normas internacionales de
Normas internacionales deNormas internacionales de
Normas internacionales de
 
Presentacion autores calidad
Presentacion autores calidadPresentacion autores calidad
Presentacion autores calidad
 
Tipos y diseños de investigacion
Tipos y diseños de investigacionTipos y diseños de investigacion
Tipos y diseños de investigacion
 
Vpn
VpnVpn
Vpn
 
Metodología GQM
Metodología GQMMetodología GQM
Metodología GQM
 
Presentacion protocolos de investigación
Presentacion  protocolos de investigaciónPresentacion  protocolos de investigación
Presentacion protocolos de investigación
 
Guia estudio 03.pptxestadistica
Guia estudio 03.pptxestadisticaGuia estudio 03.pptxestadistica
Guia estudio 03.pptxestadistica
 
Software para auditoría informática
Software para auditoría informáticaSoftware para auditoría informática
Software para auditoría informática
 
Metodos de investigación
Metodos de investigaciónMetodos de investigación
Metodos de investigación
 
Presentacion Auditoria Forense
Presentacion Auditoria ForensePresentacion Auditoria Forense
Presentacion Auditoria Forense
 
Papeles de trabajo auditoria.5555
Papeles de trabajo auditoria.5555Papeles de trabajo auditoria.5555
Papeles de trabajo auditoria.5555
 
Iso 25000
Iso 25000Iso 25000
Iso 25000
 
QMS awareness 12th may 2015
QMS awareness 12th may 2015QMS awareness 12th may 2015
QMS awareness 12th may 2015
 
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsx
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsxNAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsx
NAGAS - Evidencia Suficiente y Competente - CURNE - UASD.ppsx
 

Andere mochten auch

Objetivo general
Objetivo generalObjetivo general
Objetivo generalWilberth Pc
 
Metricas del software
Metricas del softwareMetricas del software
Metricas del softwareEfrain Lira
 
Metricas de proceso y proyecto
Metricas de proceso y proyectoMetricas de proceso y proyecto
Metricas de proceso y proyectoEdison Tobar
 
metricos de los sistemas de manufactura
metricos de los sistemas de manufacturametricos de los sistemas de manufactura
metricos de los sistemas de manufacturaRaul Guzman
 
Métricas del proceso y proyecto - Procesos de Ingeniería de software
Métricas del proceso y proyecto - Procesos de Ingeniería de softwareMétricas del proceso y proyecto - Procesos de Ingeniería de software
Métricas del proceso y proyecto - Procesos de Ingeniería de softwareGalo Lalangui
 
Métricas de procesos y proyectos
Métricas de procesos y proyectosMétricas de procesos y proyectos
Métricas de procesos y proyectosjose_macias
 
Métricas de Proceso y proyecto de software
Métricas de Proceso y proyecto de softwareMétricas de Proceso y proyecto de software
Métricas de Proceso y proyecto de softwareLorena Quiñónez
 

Andere mochten auch (7)

Objetivo general
Objetivo generalObjetivo general
Objetivo general
 
Metricas del software
Metricas del softwareMetricas del software
Metricas del software
 
Metricas de proceso y proyecto
Metricas de proceso y proyectoMetricas de proceso y proyecto
Metricas de proceso y proyecto
 
metricos de los sistemas de manufactura
metricos de los sistemas de manufacturametricos de los sistemas de manufactura
metricos de los sistemas de manufactura
 
Métricas del proceso y proyecto - Procesos de Ingeniería de software
Métricas del proceso y proyecto - Procesos de Ingeniería de softwareMétricas del proceso y proyecto - Procesos de Ingeniería de software
Métricas del proceso y proyecto - Procesos de Ingeniería de software
 
Métricas de procesos y proyectos
Métricas de procesos y proyectosMétricas de procesos y proyectos
Métricas de procesos y proyectos
 
Métricas de Proceso y proyecto de software
Métricas de Proceso y proyecto de softwareMétricas de Proceso y proyecto de software
Métricas de Proceso y proyecto de software
 

Ähnlich wie Charla metricas indicadores

Metricas4 vip ideas interesantes-
Metricas4  vip ideas interesantes-Metricas4  vip ideas interesantes-
Metricas4 vip ideas interesantes-xavazquez
 
Metricas
MetricasMetricas
MetricasNorerod
 
Metricas
MetricasMetricas
MetricasCECY50
 
Capitulo 9 leccion 4
Capitulo 9 leccion 4Capitulo 9 leccion 4
Capitulo 9 leccion 4Camilo Forero
 
¿Cómo medir la calidad del software de una manera formal pero práctica?
¿Cómo medir la calidad del software de una manera formal pero práctica?¿Cómo medir la calidad del software de una manera formal pero práctica?
¿Cómo medir la calidad del software de una manera formal pero práctica?Software Guru
 
4. introduccion a los modelos de calidad
4. introduccion a los modelos de calidad4. introduccion a los modelos de calidad
4. introduccion a los modelos de calidadJuan Pablo Carvallo
 
Unidad 1_calidad del software
Unidad 1_calidad del softwareUnidad 1_calidad del software
Unidad 1_calidad del softwareraaf0001
 
Usabilidad de los sitios web, los métodos
Usabilidad de los sitios web, los métodosUsabilidad de los sitios web, los métodos
Usabilidad de los sitios web, los métodosDanny Eguis
 
Metricas de proceso y proyecto
Metricas de proceso y proyectoMetricas de proceso y proyecto
Metricas de proceso y proyectoEdison Tobar
 
6. Administración de la Calidad de Software
6. Administración de la Calidad de Software6. Administración de la Calidad de Software
6. Administración de la Calidad de SoftwareMario A Moreno Rocha
 
PROCESOS DE INGENIERIA DEL SW
PROCESOS DE INGENIERIA DEL SWPROCESOS DE INGENIERIA DEL SW
PROCESOS DE INGENIERIA DEL SWRaquel Solano
 

Ähnlich wie Charla metricas indicadores (20)

Metricas4 vip ideas interesantes-
Metricas4  vip ideas interesantes-Metricas4  vip ideas interesantes-
Metricas4 vip ideas interesantes-
 
Metricas
MetricasMetricas
Metricas
 
Metricas
MetricasMetricas
Metricas
 
Metricas
MetricasMetricas
Metricas
 
2
22
2
 
Clase04 16092014
Clase04 16092014Clase04 16092014
Clase04 16092014
 
Capitulo 9 leccion 4
Capitulo 9 leccion 4Capitulo 9 leccion 4
Capitulo 9 leccion 4
 
¿Cómo medir la calidad del software de una manera formal pero práctica?
¿Cómo medir la calidad del software de una manera formal pero práctica?¿Cómo medir la calidad del software de una manera formal pero práctica?
¿Cómo medir la calidad del software de una manera formal pero práctica?
 
4. introduccion a los modelos de calidad
4. introduccion a los modelos de calidad4. introduccion a los modelos de calidad
4. introduccion a los modelos de calidad
 
Unidad 1_calidad del software
Unidad 1_calidad del softwareUnidad 1_calidad del software
Unidad 1_calidad del software
 
metrologia
metrologiametrologia
metrologia
 
Metricas
MetricasMetricas
Metricas
 
Metricas
MetricasMetricas
Metricas
 
Usabilidad de los sitios web, los métodos
Usabilidad de los sitios web, los métodosUsabilidad de los sitios web, los métodos
Usabilidad de los sitios web, los métodos
 
Metricas de proceso y proyecto
Metricas de proceso y proyectoMetricas de proceso y proyecto
Metricas de proceso y proyecto
 
6. Administración de la Calidad de Software
6. Administración de la Calidad de Software6. Administración de la Calidad de Software
6. Administración de la Calidad de Software
 
PROCESOS DE INGENIERIA DEL SW
PROCESOS DE INGENIERIA DEL SWPROCESOS DE INGENIERIA DEL SW
PROCESOS DE INGENIERIA DEL SW
 
METROLOGIA.pptx
METROLOGIA.pptxMETROLOGIA.pptx
METROLOGIA.pptx
 
Metricas de Software
Metricas de SoftwareMetricas de Software
Metricas de Software
 
La razón para auditar informática
La razón para auditar informáticaLa razón para auditar informática
La razón para auditar informática
 

Charla metricas indicadores

  • 1. Departamento de Ciencias de la Computación Universidad de Chile Métricas e Indicadores: Dos Conceptos Claves para Medición y Evaluación Contenidos • Introducción • Teoría de Métricas • Teoría de Indicadores • Conclusiones/Avances Dr. Luis Olsina GIDIS, Facultad de Ingeniería, UNLPam, La Pampa - Argentina TE 54 2302 430497 Ext. 6501 E-mail olsinal@ing.unlpam.edu.ar
  • 3. Introducción Beneficios de la Medición/Evaluación Analizar, Comprender (los atributos de un ente) Controlar (la calidad del producto, …) Predecir (el tiempo y costo de un proyecto) Mejorar (la calidad de un producto, proceso …) Conceptos Medibles (Factores) Calidad, Calidad en Uso, Productividad, Costo … Fases del Ciclo de Vida del Software Exploración, Desarrollo, Mantenimiento.
  • 4. Introducción Requerimientos de Medición/Evaluación Metas, Restricciones (Seguridad, Disponibilidad, etc.) Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas, Indicadores… Captura de Datos Recolección de Datos – Automática, Semiautomática, Manual Análisis Técnicas Estadísticas, Visualización Gráfica, Tablas, etc. Interpretación de los datos. Recomendaciones Doc. de Conclusiones, Propuestas de Mejora
  • 5. Clases de Métodos de Evaluación Categorías de Métodos Testing Inspección Consulta (Inquiry) Modelado Analítico Simulación Los Métodos y Técnicas a Aplicar pueden ser: Cuantitativos versus Cualitativos Automáticos, Semiautomáticos o Manuales Desde Fácil a Difícil de Usar y Aprender
  • 6. Taxonomía de Métodos Clase de Método -- Testing -- Inspección -- Consulta, ... Tipo de Método Taxonomía de Métodos de Evaluación -- Análisis de Log Files -- Evaluación de Características y Atributos Tipo de Automatización -- Manual -- Semi-Automático -- Automático Nivel de Esfuerzo -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones
  • 7. Hacia una Ontología de M&I Diversos Estándares (principalmente ISO) tratan sobre el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939), el proceso de evaluación (ISO 14598) otros Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos o, a veces, términos ausentes Necesidad de una Ontología para el dominio de Métricas e Indicadores – Ontologías para el Proceso de Medición y Evaluación
  • 9. Introducción a Métricas ENTIDAD ATRIBUTO CONCEPTO MEDIBLE (Calidad, Productiv...) MODELO DE CONCEPTO METRICA (Directa e Indirecta) MEDICION, MEDIDA METODO (Medición, Cálculo) ESCALA / TIPO DE ESCALA UNIDAD ...
  • 10. Introducción a Métricas ENTIDAD Un objeto que va a ser caracterizado mediante una medición de sus atributos [ISO-15939]. Una entidad puede ser física –tangible– (p.ej. una computadora) o abstracta -intangible– (p.ej. un programa software) Objetos de interés para el dominio de software son: – – – – – – Recurso, Proceso, Producto, Producto en uso?, Proyecto, Servicio
  • 11. Introducción a Métricas ATRIBUTO Una propiedad mensurable, física o abstracta, de una entidad [ISO 14598-1:1999]. el atributo puede ser interno o externo – Tamaño de código fuente (atributo interno), precio (atributo externo). el atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.
  • 12. Introducción a Métricas CONCEPTO MEDIBLE Es una relación abstracta entre atributos de una o más entidades, y una necesidad de información [ISO15939]. Evaluar o predecir dicho concepto, desde una perspectiva de usuario. Ejemplos de conceptos medibles son: Calidad, Costo, Accesibilidad, Calidad en Uso, Confiabilidad. Ejemplos de perspectivas de usuario son: Gerente, Desarrollador, Usuario final, etc.
  • 13. Introducción a Métricas MODELO de CONCEPTO El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación o estimación. Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad. Una característica puede estar conformada por subcaracterísticas y atributos. El modelo puede ser fijo (estándar, como ISO 9126-1), propio o mixto.
  • 14. Modelos de Calidad (Boehm - 1978) Primary uses Intermediate constructors Primitive constructors Device Independence Completeness Portability As is utility Reliability Efficiency Accuracy Consistency Device efficiency Acessibility General utility Human engineering Metrics Communicativeness Testability Maintainability Structuredness Understandability Self descriptiveness Modifiablility Conciseness Legibility Augmentability
  • 15. Modelos de Calidad (ISO/IEC 9126-1) Software Software Quality Quality Características Functionality Functionality Reliability Reliability Usability Usability Suitability Suitability Accuracy Accuracy Interoperability Interoperability Security Security Compliance Compliance Maturity Maturity Fault Tolerance Fault Tolerance Recoverability Recoverability Compliance Compliance Understandability Understandability Learnability Learnability Operability Operability Attactiveness Attactiveness Compliance Compliance Subcaracterísticas Efficiency Efficiency Time behaviour Time behaviour Resource Resource utilization utilization Compliance Compliance Maintainability Maintainability Analysability Analysability Changeability Changeability Stability Stability Testeability Testeability Compliance Compliance Portability Portability Adaptability Adaptability Instalability Instalability Co-existence Co-existence Replaceability Replaceability Compliance Compliance
  • 16. Características y Subcaracterísticas Usabilidad » Comprensión Global del Sitio » Ayuda y Retroalimentación » Aspectos de Interface » Aspectos Estéticos Funcionalidad » Búsqueda y Recuperación » Navegación y Exploración » Funciones y Contenido Específicos del Dominio (E-commerce, Museos, Universidades ...) Confiabilidad » Enlaces » Páginas » Compatibilidad de Navegadores Eficiencia » Performance » Accesibilidad
  • 17. Características y Atributos Confiabilidad – Enlaces » Enlaces Rotos » Enlaces Inválidos » Enlaces no Implementados – Páginas » Páginas Muertas » Páginas bajo Construcción » Errores de Ortografia
  • 18. Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio. calculada_por Función 1 especifi cació n subEn ti dad 0 ..* Entidad MétricaDirecta 1 n ombre d es cripció n NecesidadDeInform ación mé tri cas_re la ci onad 1.. * descripción ver_También asociado_con 1 Métrica 1..* de scri be Modelo Conceptual para Métricas Atributo 1..* subConcepto 0..* MétricaIn directa combina 1 1..* 1 nombre palabrasClave/ Alia s definició n nivelIndependencia ti po = {interno, ext erno} 1..* cuantif ica contiene ConceptoMedible nombre descripción 0..* nombre interpretaciónValor objetivo/Motivación tipoRecolecciónDatos referencias tipoValor = {Símbolo, Integer, Float} precisión 2..* 1 referida_a 1 Escala 0..* <<enum>> tipoEscala especificado_por Medición 0..* fechaYHora Medida produce 1 1 valor ModeloDeConcepto nombre especificación referencias tipoEscala={Nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta} EscalaCategórica valoresPermitidos Herramie nta nombre descripción versión proveedor EscalaNumérica 0..* 1..* 1..* 1 Método automatizado_por 1 nombre especificación MétodoDeCálculo Unidad expresada_en ti po = {cont in ua, d iscret a} MétodoDeMedición tipo = {Objetivo, Subjetivo} nombre descrip ción inclu ye
  • 19. Introducción a Métricas METRICA El método de medición definido y la escala de medición [ISO 14598-1:1999]. MEDICION – Actividad que usa la definición de la métrica para producir el valor de una medida. MEDIDA – Número o categoría asignada a un atributo de una entidad mediante una medición [ISO 145981:1999]
  • 20. Introducción a Métricas METODO (de MEDICION, CALCULO) Secuencia lógica de operaciones y potenciales heurísticas, expresadas de forma genérica, que permite la realización de una descripción de actividad. El tipo de método de medición va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: – Subjetivo: Cuando la cuantificación supone un juicio realizado por un ser humano. – Objetivo: Cuando la cuantificación está basada en métodos numéricos.
  • 21. Introducción a Métricas Escala Un conjunto de valores con propiedades definidas [ISO 14598-1]. Escala Numérica (Continua o Discreta) Escala Categórica Tipos de Escala (Nominal, Ordinal, Intervalo...)
  • 22. Introducción a Métricas METRICA Es la correspondencia de un dominio empírico (mundo real) a un mundo formal, matemático. La medida incluye al valor numérico o nominal asignado al atributo de un ente por medio de dicha correspondencia. [Fenton] Juan es más alto que María sí y sólo sí M (Juan)>M (María)
  • 23. Introducción a Métricas METRICA DIRECTA Una métrica de un atributo que no depende de ninguna métrica de otro atributo. METRICA INDIRECTA Una métrica de un atributo que se deriva de una o más métricas de otros atributos. – Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). – Función de Medición: Un algoritmo o cálculo que permite combinar dos o más métricas.
  • 24. Ejemplos de Métricas Directas • Longitud del Texto del Cuerpo de una Página • Medido por cantidad de palabras, etc. • Cantidad de Enlaces Rotos Internos • Medidos por la presencia de errores del tipo 404, (410 ?) • Cantidad de Imágenes con Texto Alternativo • Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web
  • 25. Ejemplos de Métricas Indirectas Porcentaje de Enlaces Rotos de un Sitio PorcentajeEnlacesRotos = CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos ×100 CantidadTotalEnlaces Porcentaje de Presencia de la propiedad ALT. CantidadIm ágenesALT Porcentaje PresenciaA = LT ×100 CantidadTo talImágene s
  • 26. Introducción a Métricas INSTRUMENTO (Herramienta) Instrumento (o herramienta) que automatiza parcial o totalmente a un método de medición o cálculo. – Nota: un instrumento software (de medición o cálculo) es un caso particular de un instrumento (de medición o cálculo). – Por ejemplo, un termómetro es un instrumento de medición.
  • 27. Herramientas de Automatización Métricas Web Bobby: CAST [http://www.cast.org/bobby/] ; web-based on-line y offline, con ranking; Analizador Accesibilidad (WAI conformance), de Errores y Fallas, Compatibilidad de Browsers. Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; webbased y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc. LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; webbased y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc. LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos de estado, etc. Herramienta de reparación.
  • 28. Introducción a Métricas ESCALA / TIPOS DE ESCALA Un conjunto de valores con propiedades definidas [ISO 14598-1]. Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta. Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, y los análisis estadísticos que pueden aplicarse sobre el conjunto de valores de la escala.
  • 29. Introducción a Métricas UNIDAD (para escalas numéricas) Una cantidad particular, definida y adoptada por convención, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO-15939] – Ejemplos: LOC, bytes, palabras, links ...
  • 30. Introducción a Métricas: Tipos de Escala Tipo de Escala Nominal Transformación Admisible Equivalencia uno-a-uno Ordinal Funciones monotónicas incrementales Intervalo m1 = a m + b Proporción m1 = a m Absoluta m1 = m (Identidad) Estadísticas Significativas Moda, Frecuencia Test no paramétricos Mediana, Spearman y Kendall Tau, W Test no paramétricos (Todo lo previo) Media Aritmética, Desvío estándar Coef. de correlación de Pearson Test no paramétricos (Todo lo previo) Porcentajes, Media Geométrica Test paramétricos y no paramétricos (Todo lo previo) (Todo lo previo) Ejemplos Clasificación, etiquetado Grado de disponibilidad, funcionalidad, complejidad, etc. Temperatura (Celsius, Fahrenheit) Tiempos relativos, etc. Preferencia de calidad, tamaño (LOC), longitud, etc. Conteo
  • 31. Introducción a Métricas: Tipos de Escala Tipo de Escala Nominal En un tipo de escala nominal el sistema relacional empírico consta sólo de categorías diferentes. Cualquier número o símbolo distinto para cada categoria es una medida aceptable, pero no existe orden o noción de magnitud asociado a cada número o símbolo. Ejemplo: mido las fallas de software si están en Especifación, Diseño o Codificación y puedo asignar 1, 2 y 3 para las fallas que se encontraron en cada tarea respectivamente, o simplemete A, B y C. Esta clasificación no nos permite determinar si un tipo de falla es más importante o no que otra. La transformación admisible para el tipo de escala nominal es el conjunto de todos los mapeos 1 a 1.
  • 32. Introducción a Métricas: Tipos de Escala Tipo de Escala Ordinal Le agrega orden a las categorías del tipo de escala nominal. El sistema relacional empírico está formado por categorías ordenadas con respecto a un atriburo. Cualquier mapeo que preserve el orden es aceptable. No tiene sentido ninguna operación aritmética sobre las categorías. Ejemplo: Complejidad de Software. Si defino trivial, simple, normal, complejo e inentendible, hay una relacion de orden implicito , “mas complejo que” el mapeo a números debe preservar este orden, podría ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que preserve el orden en el sistema numérico es valido.
  • 33. Introducción a Métricas: Tipos de Escala Tipo de Escala Intervalo Toma información acerca del tamaño de los intervalos que separan las categorías (escala o “salto” de una categoría a otra) Preserva el orden de las categorías Preserva la diferencia entre dos categorías pero no puedo hacer algunas operaciones sobre las mismas; es decir puedo sumar y restar pero no multiplicar o dividir. Ejemplo: medir la temperatura del aire en Fahrenheit. Puedo decir que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 grados, también si aumenta un grado en NY y Miami pero NO puedo decir que la temperatura en Miami es el doble que en NY, o que en NY es la mitad. El tipo de transformación admisible es de la forma: M’= a * M + b.
  • 34. Introducción a Métricas: Tipos de Escala Tipo de Escala de Proporción Es el tipo de escala más usado. Podemos hacer análisis con operadores de multiplicación y división, porcentajes, entre otros. Todas las operaciones aritméticas tienen sentido sobre las categorias. Ejemplo: La altura de una persona (Dos veces más alto que) Se preserva el orden, el tamaño de intervalo y la proporción de las categorías. Hay un elemento cero, que representa la falta total de un atributo. Las categorías mapeadas deben comenzar en cero e incrementarse a intervalos regulares llamados unidades. El tipo de transformación admisible es de la forma: M’= a * M.
  • 35. Introducción a Métricas: Tipos de Escala Tipo de Escala Absoluta Es la mas restriciva. La única transformación admisible es la identidad. Es decir, sólo hay un mapeo posible M’ = M. La medida es hecha (generalmente) contando elementos del conjunto de un atributo de una entidad El atributo tiene siempre la forma “Número de ocurrencias del atributo X en la entidad E” Todo análisis aritmético tiene sentido. Ejemplo: Cantidad de Enlaces Rotos.
  • 36. Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio. calculada_por Función 1 especifi cació n subEn ti dad 0 ..* Entidad MétricaDirecta n ombre d es cripció n NecesidadDeInform ación mé tri cas_re la ci onad as ver_También asociado_con 1 Métrica 1..* de scri be combina 1 1..* 1 nombre palabrasClave/ Alia s definició n nivelIndependencia ti po = {interno, ext erno} cuantif ica contiene ConceptoMedible nombre descripción 0..* nombre interpretaciónValor 1..* objetivo/Motivación tipoRecolecciónDatos referencias tipoValor = {Símbolo, Integer, Float} precisión Atributo 1..* subConcepto Modelo Conceptual para Métricas MétricaIn directa 1.. * descripción 0..* 1 2..* 1 referida_a 1 Escala 0..* <<enum>> tipoEscala especificado_por Medición 0..* fechaYHora Medida produce 1 1 valor ModeloDeConcepto nombre especificación referencias tipoEscala={Nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta} EscalaCategórica valoresPermitidos Herramie nta nombre descripción versión proveedor EscalaNumérica 0..* 1..* 1..* 1 Método automatizado_por 1 nombre especificación MétodoDeCálculo Unidad expresada_en ti po = {cont in ua, d iscret a} MétodoDeMedición tipo = {Objetivo, Subjetivo} nombre descrip ción inclu ye
  • 37. Ejemplo de Atributos/Métricas Necesidad de Información: Evaluate the link reliability for static pages of a website Entidad: Producto (web site) Concepto Medible: link reliability (Confiabilidad de Enlaces) Modelo para Confiabilidad de Enlaces (link reliability ) 1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) 1.2 External Broken Links (EBL) 1.3 Invalid Links (IL)
  • 38. Ejemplo de Atributos/Métricas 1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) // Dos Posibles Métricas para 1.1 a) #IBL Unidad: Enlace; Escala: Numérica, Enteros Tipo de Escala: Absoluta Tipo de Método de Medición: Objetivo b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales Tipo de Escala: Absoluta
  • 39. Para Resaltar Las métricas NO pueden interpretar por sí solas un concepto medible Necesidad de INDICADORES
  • 40. Esquema • • • • Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores Conclusiones
  • 41. Introducción a Indicadores INDICADOR (ELEMENTAL, GLOBAL) CONCEPTO MEDIBLE (Calidad, Productiv...) MODELO DE CONCEPTO MODELO ELEMENTAL, GLOBAL CRITERIO DE DECISION CALCULO, VALOR INDICADOR ESCALA / TIPO DE ESCALA UNIDAD ...
  • 42. Introducción a Indicadores INDICADOR El método de cálculo y la escala definidos, además del modelo y criterios de decisión con el fin de proveer una evaluación o estimación de un concepto medible con respecto a una necesidad de información. Indicador Elemental – Preferencia de Enlaces Rotos Internos (IBL_P) Indicador Global – Preferencia en Confiabilidad de Enlaces (LR_P)
  • 43. Introducción a Indicadores MODELO ELEMENTAL Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental. Ejemplo para Preferencia de Enlaces Rotos Internos (IBL_P) IBL_P = 100% if %IBL = 0; IBL_P = 0% if %IBL >= X max ; otherwise IBL_P =( (X max – %IBL) / X max ) * 100 if 0 < %IBL < X max where X max is some agreed upper threshold such as 3
  • 44. Introducción a Indicadores MODELO GLOBAL Algoritmo o función asociados a criterios de decisión que modela a un indicador global. Ejemplo para Preferencia de Confiabilidad de Enlaces (LR_P) GI1 = (W1.1 EI1.1 + W1.2 EI1.2 + W1.3 EI1.3); (W1 + W2 + .. + Wm ) = 1; if Wi > 0 ; para i = 1 .. m (m = 3, en nuestro ejemplo).
  • 45. Introducción a Indicadores CRITERIO DE DECISION Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939]. Ejemplo The decision criteria that a model of an indicator have to have are the agreed acceptability levels in the given scale; for instance, it is unsatisfactory if the range is 0 to 40; marginal, if it is greater than 40 and less or equal than 60; otherwise, satisfactory
  • 46. Entidad NecesidadDeInformación 1..* cuan tif ica 1..* descripción asociado_con 1 1..* 1..* describe c ombina 1..* 1 nombre interpretaciónValor objetivo/Motivación tipoRecolecciónDatos referencias tipoValor = {Símbolo, Integer, Float} precisión 0..1 Atributo nombre ~ palabrasClave/Alias definición nivelIndependencia tipo = {interno, externo} 1 cont iene referida_a 1 1 ConceptoMedible 0..* 1 nom bre des crip ció n Modelo Conceptual para Indicadores Métrica nombre descripción Es c ala 1 0..* produce 1 1 Medición <<enum>> tipoEscala fechaYHora Medid a valor evalúa/estima contiene subConcepto especificado_por 0..* ModeloDeConcepto E sca laCate góric a nombre especificación referencias valoresPermitidos tipo = {continua, discreta} 1 incluye Indicador Cálc ulo nombre precisión referencias tipoValor = {Símbolo, Integer, Float} relacionado_a 0..* fech aYHora 1 2..* IndicadorElem ental Indi cad orGlobal 1 modelado_por in cluye ModeloElemental tie ne 1..* valor nom bre des cripción vers ión proveedor 0..* automatizado_por 1 nom bre es pecificación 1 Herram ienta 1 modelado_por 1 ValorIndicador produce 1 indicadores_relacionados 1 Unidad expresada_en 1..* nombre 1 descripción Es calaNum érica 1..* ModeloGlobal Método nom bre especificación 1 nombre especificación tie ne 1.. * CriterioDeDecis ión nom bre des cripción rango Métod oDe Cá lcul o MétodoDeMedición tipo = {Objetivo, Subjetiv o} interpreta
  • 47. Esquema • • • • Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores Conclusiones/Avances
  • 48. Conclusiones Metrics are welcome when they are clearly needed and easy to collect and understand Pfleeger Utilidad de las Métricas Medición “objetiva antes que subjetiva” Especificar en el mundo formal, la correspondencia de un atributo del mundo empírico Operacionalizar Heurísticas Servir de “base” a Métodos Cuantitativos de Evaluación o Predicción. La métrica NO puede interpretar por sí sola un concepto medible (Necesidad de INDICADORES)
  • 49. Conclusiones Indicators are ultimately the foundation for interpretation of information needs and decision-making. Utilidad de los Indicadores Servir de base para cuantificar Conceptos Medibles para una Necesidad de Información Servir de base a Métodos Cuantitativos de Evaluación o Predicción Los indicadores ofrecen información para la toma de decisiones
  • 50. Trabajos en Avance Ontología para Métricas e Indicadores Conceptualización (UML, Tablas) Implementación (RDFS, OWL) Mantenimiento Ontologías para Procesos de Medición/Evaluación Sistema Web para Catalogación de M&I Con Capacidad de Web Semántica
  • 51. Arquitectura del Sistema User Administrator Reviewer Moderator Tool/Agent INTERFACE TIER Web Interfaces Web Services BUSINESS LOGIC TIER Business Classes Semantic Data Access Components SQL Data Access Components DB Repository OWL RDF/S XMLS Semantic Query System DATA LOGIC TIER PERSISTENCY TIER Catalog Review System Metrics and Indicators Cataloging System
  • 52. Preguntas ? PROGRAMA CYTED Proyecto WEST: Web-Oriented Software Technology Dr. Luis Olsina E-mail: olsinal@ing.unlpam.edu.ar URL: http://gidis.ing.unlpam.edu.ar Grupo de Investigación y Desarrollo en Ingeniería de Software Departamento de Informática – Facultad de Ingeniería – Universidad Nacional de La Pampa Argentina © 2003 GIDIS