2 horas de workshop para analizar los problemas fundamentales que atraviezan desarrolladores y testers en los smart devices. Desafíos, foco, checklist y herramientas.
6. Desafios
• Multiples dispositivos / HW / pantallas
• Multiples versiones de OS
• Complejas interacción/paradigama del usuario
• Clientes exigentes – Marketplace rating
• Privacidad y Seguridad
• La performance es todo
• Red: wifi vs Carriers
22. Design
• No hagan pensar a los usuarios
– Darle un prototipo a un sobrino de 12 o la abuela de 60 no
es para nada una mala idea.
• Reducir al mínimo los inputs
– Usar Cbox, lists y controles adecuados
– InputTypes (Numeric, Email, URL)
• Usar las convenciones de interfaz
– iOS Human Interface Guidelines
– Android User Interface Guidelines
23. Programming
• Go Native!
• Configurar API Level / Deployment Target
– Think in the real market
– Test in your target
• Performance
• Layout
29. Tip - Elegir Devices
• Olvídense de los emuladores para testing, son
útiles para desarrollo.
• No confíen en las analytics de sitios web
• Armar tabla OSversions + screen size
• Mínimo: Entre 5 y 10 devices
30. Tip - Elegir Devices
• Luego empezar por riesgo: + Usados
31. Tip - Elegir Devices
• Luego empezar por riesgo: - Recursos
32. Tip - Elegir Devices
• Al menos 1 “gama baja” y 1 “gama alta”
36. Checklists
• Puedo desinstalarla y volver a instalarla?
• Pide la aplicación para prender wifi o los datos?
• Funciona offline?
• Funcionan bien los gestos en las distintas pantallas
– Swipe, zoom, pinch, multitouch, shake, orintation
• Sensores
– Cámara, funciona ok?
• Integración con otras aplicaciones
37. Interrupciones
• Llamadas
• Mensajes
• App notificaciones
• Low batery warning
• Cambiar entre aplicaciones
• Bloquear y desbloquear
• Escuchar música en paralelo
• Levantar otras aplicaciones para lograr dejar el SO sin
memoria
38. Checklists
• Round 2: Hacer testing de la misma APP usando
las checklist que fueron entregadas en format
impreso
43. Networking - Dev
• Usar Cache – Cuidado con I/O
• Minimizar el Payload
• Adaptar contenido a las pantallas (dpi)
• Usar puertos standard
(Mail: 25, 143, 465, 993 or 995 HTTP: 80 or 443 SFTP: 22)
45. Networking - Test
• Connection test: Wifi / LTE / 3G / Offline
– NLC for iOS (Dev)
– Use Tools
• Testing específico para aplicaciones “parcialmente
conectadas”. (Sync)
46. Performance Dev
• Desde el inicio
• Establecer un standard de tiempo de respuesta
máximo (ej. 3s)
– Gold Standard era 6s, luego 3s, Google apunta a 1s.
• API Level – Deployment target
• Usar Checklists
47. Performance
• +60% de los problemas son de performance, no
funcionales.
• Gold Standard era 6s, luego 3s, Google apunta a
1s.
• El usuario espera que en su móvil funcione mejor
que en us PC
48. Load Testing (Servicios)
• Por lo general es mucho más fácil que en Web
(poner IMG)
• Tools:
– Para HTTP usar Fiddler
– Luego convertir a OpenSTA, Jmeter o LoadUI
53. Automation
• Más complejo que en Web
• Priorizar los servicios (y
UItest)
• Testeability (Code)
54. Device Anyware
• Robotización no «remote desktop»
• Gran variedad de dispositivos
• Como funciona:
1. Elegir dispositivos y reservarlos
2. Instalarse la aplicación en cada dispositivo
3. Probar! Se tiene control total
57. Community
#5
+300+
100+ http://www.meetup.com/Testing-Uy/
http://opendevicelab.com
107 Open Device Labs
across 26 countries
2593 devices accessible
http://testing.uy
Buen día a todos!
Quisimos junto a Matías, hablar sobre las tendencias en el mundo del testing.
Básicamente por 2 motivos:
1- no queríamos aburrir con una charla técnica de las que estamos acostumbrados a hacer, porque tenemos 25 minutos y por lo general nos colgamos
2- creemos es importante conocer qué nos espera, para afrontar los desafíos.
<contar una historia personal y por qué hicimos esta charla>
Bajar app y repartir el material
Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:”
La idea es contarles qué esta sucediento en el mundo del testing de SD, y darle algunos tips que creemos importantes para mejorar la calidad de las apps y tener mas chances de Éxito.
El 60 % de los devs no llegan a recuperar su dinero, y el 80% no les da para crear un negocio independiente….
<Proof of concept>
En particular en esta presentación queremos compartir algunos datos de este reporte. Realmente para el que no lo conoce les recomiendo leerlo ya que hay mucha información útil.
Si bien, los números exactos no son tan importantes o significativos, (ya que este tipo de reportes se basan en empresas robustas con más de 1000 empleados) sino que lo importante es poder analizar las tendencias, y hacia dónde van los indicadores en base a estudios de las mismas empresas en años anteriores.
En particular este estudio abarca practicamente todo el mundo, para el último año se hicieron unas 1500 entrevistas telefónicas de unos 40-50minutos de duración cada una.
Como se viene predicando desde hace unos años, la inversión en QA sigue en aumento….
Para hablar del mercado internacional, hay que considerar que el propio presupuesto de IT tiene una tasa de crecimiento anual de 2-3%
Entonces, QA no sólo tiene ese crecimiento “inercial”, sino que tiene una tasa muchísimo más acelerada.
Dato importante 1: crecimiento del 18 al 23%, se predice llegar al 28% en el 2015.
Dato 2: 40% del presupuesto de testing va a infraestructura y hardware, con un extra de 28% en licencias de herramientas.
Dato 3: la mayoría (65%) tiene dificultades en data-managment (sincronizar los datos de prueba en las nuevas versiones)
54% prefieren armar los ambientes con datos nuevos en vez de copiar los de producción
Bueno la mayoria de la plata se gasta en infraestructura!
Luego se gasta en herramientas y licencias y por ùltimo en recursos humanos.
Esto la verdad parece muy dificil de entender. En un mundo donde cada vez es mas facil tener una infraestructura que se ajuste a la demanda y donde lo mas importante es la metodologia y las habilidades de las personas.
Nosotros somos fabricantes de herramientas y apostamos a vender licencias, pero tenemos claro que las herramientas son un medio y que sin profesionales excelentes no aportan el valor para el cual fueron creadas.
Bueno la mayoria de la plata se gasta en infraestructura!
Luego se gasta en herramientas y licencias y por ùltimo en recursos humanos.
Esto la verdad parece un poco dificil de entender, en un mundo donde cada vez es mas facil y barato tener infraestructura que se ajuste a la demanda y donde lo que hace la diferencia es la metodologia y las habilidades de las personas. Nosotros somos fabricantes de herramientas y apostamos a vender licencias, pero tenemos claro que las herramientas son un medio y que sin profesionales excelentes no aportan el valor para el cual fueron creadas.
Dato: la mayoría (65%) tiene dificultades en data-managment (sincronizar los datos de prueba en las nuevas versiones)
54% prefieren armar los ambientes con datos nuevos en vez de copiar los de producción
Estos son los problemas más comunes de las empresas:
Como factor común y resumen podemos categorizar en orden:
Herramientas
Ambientes (multiplataformas, dsiponibles en tiempo y forma, configuraciones)
Hardware
Como verán, en diferentes medidas, todas las industrias aumentaron su test en SD…
Como resumen, Mobile testing aumentó de 31 a 55%
Es una disciplina fuerte pero con ausencia de técnicas especializadas y ambientes adecuados!
De las primeras 3, dos son temas bien relacionados al testing, haciendo enfasis en test dirven y en integraciòn continua.
Las plataformas cada vez mas se preocupan por integrar herramientas de testing a su ambiente
En SAP, las herramientas de testing tanto para managment como para autoamtizacion se pueden utilizar sin tener que instalar nada extra, ya vienen preinstaladas en todos los sistemas, es simplemente utilizarla.
En Genexus nosotros estamos manteniendo Gxunit para que los desarrolladores tengan una herramienta de testing. Es una herramienta que esta a disposición de todo el mundo.
Yo creo que el cambio de paradigma en el mercado es para darte te doy todo el toolset, no te cobro por pedacitos, de ultima cuanto mejor hagas las cosas mas ganamos todos.
Cada vez mas el testing se acerca a los desarrolladores. El otro dia un amigo que trabaja desarrollando en ruby on rails me decia que si entregaba un proyecto sin la carpeta de test con varios casos se la rebotaban de una.
Es por eso que cada vez mas los desarrolladores se dedican a testing, dejeme compartirles esta informacion:
Hace poquito Apple adquirio TestFlight. Realmente fue una noticia importante pago algunos millones por la tecnologia esta que permite hacer beta testing de manera mas sencilla.
Google hizo lo mismo con Appurify….
Esto es una muestra mas del interes de parte de las empresas que proveen una plataforma por que sus desarrolladores liberen aplicaciones de calidad. En definitiva cuando no lo hacen todos pierden.
Es por eso tambien que cuando vemos que es lo nuevo de XCode
Hace poquito Apple adquirio TestFlight. Realmente fue una noticia importante pago algunos millones por la tecnologia esta que permite hacer beta testing de manera mas sencilla.
Google hizo lo mismo con Appurify….
Esto es una muestra mas del interes de parte de las empresas que proveen una plataforma por que sus desarrolladores liberen aplicaciones de calidad. En definitiva cuando no lo hacen todos pierden.
Es por eso tambien que cuando vemos que es lo nuevo de XCode
Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:”
Hay un libro famoso para web de steve krug.
Facebook tried HTML5 for years. When they recently switched to native code, they were able to improve performance by 200% and increase their average user rating from two stars to four stars. krug.
No confíen en las analytics de sitios web para determinar el target, son en base a los usuarios activos
(Dichas estadísticas nunca consideran los usuarios que no usan los sitios o apps) porque no funcionan!
emuladores:
Ideal para etapa de desarrollo, demos de funcionalidades, etc.
Primeras pruebas, o para pruebas básicas
Dispositivos con wi-fi:
Ideal para funcionalidades estables.
Pruebas en distintos dispositivos.
Pruebas de experiencia de usuario.
Usando simuladores de red se puede probar qué pasaría con una red de datos, pero sin gastos.
Dispositivo + red de datos
Recomendado sólo para un pequeño conjunto de pruebas que apuntan a aspectos dependientes del operador de telefonía, cambios de red, etc.
Amigos, bienvenidos a nuestra sección que se llama “se complicó el panorama:”
Aprovechemos la comunidad, aprovechemos la cantidad de empresas y universidades con foco en mejorar la industria
Testing Uy – más de 270 inscriptos el día anterior
Meetup – Súmense para debatir y proponer temas y discusiones en meetup.com
Apoyen los Open Device Lab !
Aprovechemos la comunidad, aprovechemos la cantidad de empresas y universidades con foco en mejorar la industria
Testing Uy – más de 270 inscriptos el día anterior
Meetup – Súmense para debatir y proponer temas y discusiones en meetup.com
Apoyen los Open Device Lab !