Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
ANÁLISIS DE LA LITERATURA Y VALORACIÓN DE LA EVIDENCIA
LECTURA CRÍTICA DE LA LITERATURA CIENTÍFICA
Mg. Jorge E. Manrique C...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
 La literatura biomédica es el principal
mecanismo de formación continuada y...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
 La VALORACIÓN CRÍTICA es la
capacidad para verificar la validez y
aplicabil...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
¿Por que necesitamos hacer lectura crítica?
- La calidad científica de los ar...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
OBJETIVOS DE LA LECTURA
- Identificar los elementos esenciales del texto.
- C...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
OBJETIVOS DEL ANÁLISIS
- Comprender la esencia.
- Comparar con criterios adec...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
OBJETIVOS DE LA CRÍTICA
- Aprobar o desaprobar:
- Título.
- Métodos.
 Del di...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
En resumen…
 El objetivo final del análisis crítico de la información cientí...
ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA
 ¿Por qué leemos la literatura científica?
- Para responder preguntas especi...
ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE)
 Trata de actuar en la clínica utilizando información seleccionada y
relevante, ...
ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE)
 La actividad clínica diaria genera cuestiones acerca de los efectos de la
terap...
ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE)
OBE
LA PREGUNTA CLÍNICA
 Se pueden formular dos tipos de preguntas:
1. Preguntas Básicas:
Constan de dos componentes y se pla...
LA PREGUNTA CLÍNICA
2. Preguntas Avanzadas:
Pregunta necesaria para la práctica OBE y consta como mínimo de 3 ó 4
elemento...
LA PREGUNTA CLÍNICA
EL TIPO DE ESTUDIO
 Una vez formulada la pregunta, debemos considerar qué aspecto clínico
trata la pregunta: tratamiento ...
EL TIPO DE ESTUDIO
 Es importante elegir el tipo de estudio adecuado en función de la
pregunta a contestar y no confundir...
EL TIPO DE ESTUDIO
PIRÁMIDE DE LA EVIDENCIA
Lectura crítica de la literatura
 Una PRIMERA FINALIDAD por la que los profesionales utilizamos la
literatura científica ...
Lectura crítica de la literatura
 El objetivo de la evaluación crítica o análisis de la información
recopilada es la iden...
Lectura crítica de la literatura
 Antes de aceptar o tomar un artículo científico como fuente para la toma
decisiones de ...
Lectura crítica de la literatura
 Cualquier tipo de información incluso la que proporcionan los estudios
con metodología ...
Lectura crítica de la literatura
 Una SEGUNDA FINALIDAD de emplear literatura científica es porque
sirve de ayuda en la r...
Lectura crítica de la literatura
 Una TERCERA FINALIDAD del uso de la literatura científica en la
práctica de la Odontolo...
NIVELES DE EVIDENCIA
 El tipo de diseño de los estudios de investigación hace que éstos
tengan diferentes probabilidades ...
NIVELES DE EVIDENCIA
 Según la Agency for Healthcare Research and Quality (AHRQ)
- Nivel Ia: La evidencia proviene de met...
NIVELES DE EVIDENCIA
- Nivel IIb: La evidencia proviene de, al menos, un estudio no
completamente experimental (cuasi-expe...
GRADO DE LA RECOMENDACIÓN
 Grado A: Requiere al menos un ensayo controlado aleatorio de alta calidad y
consistencia sobre...
GUÍAS PARA LA LECTURA CRÍTICA
 La finalidad de las guías es AYUDAR A LOS PROFESIONALES EN
SU TOMA DE DECISIONES, haciendo...
GUÍAS PARA LA LECTURA CRÍTICA
 Al contrario de lo que se piensa, la valoración crítica de la literatura
no exige, al meno...
GUÍAS PARA LA LECTURA CRÍTICA
 El investigador debe estar capacitado para saber si debe creer la
información seleccionada...
GUÍAS PARA LA LECTURA CRÍTICA
 Existen distintas plantillas de lectura crítica desarrolladas por diversas
organizaciones,...
Guías para la lectura crítica
 Entre algunas de las guías para la lectura crítica que ofrece la CASPe, tenemos:
- 11 preg...
GUÍAS PARA LA LECTURA CRÍTICA
 1ª PREGUNTA: ¿Por qué se hizo el estudio?
 2ª PREGUNTA: ¿Qué tipo de estudio realizaron l...
LECTURA CRÍTICA DE LA LITERATURA
• A través del tiempo, han ido apareciendo un número creciente
de publicaciones que filtr...
LECTURA CRÍTICA DE LA LITERATURA
• Los ejemplos más conocidos a nivel médico son el ACP
Journal Club y Evidence-Based Medi...
http://www.bestbets.org/
LECTURA CRÍTICA DE LA LITERATURA
• En Odontología tenemos diversas revistas científicas, muchas
de ellas, asociadas a ASOC...
LECTURA CRÍTICA DE LA LITERATURA
• También se encuentra la revista de la American Dental
Association (JADA), de la British...
http://www.nature.com/ebd
Proporciona la mejor evidencia
disponible sobre los últimos
acontecimientos en materia de salud
...
OBE es la integración de
• Mejor Evidencia Científica.
• Criterio Clínico – Experiencia.
• Valoración de los pacientes a f...
http://oralhealth.cochrane.org/
http://oralhealth.cochrane.org/
http://www.cochrane.org/
http://www.cochrane.org/es/evidence
http://es.cochrane.org/es
http://handbook.cochrane.org/index.htm
http://ebd.ada.org/
CENTRO DE ODONTOLOGÍA BASADA EN LA EVIDENCIA
ASOCIACIÓN DENTAL AMERICANA (ADA)
El Centro, fundado en e...
http://ebd.ada.org/
http://ebd.ada.org/
http://www.cebd.org/
CENTRO DE ODONTOLOGÍA BASADA EN LA EVIDENCIA
(CEBD)
Después de la creación del Centro de Medicina Bas...
http://www.cebd.org/
http://medinformatics.uthscsa.edu/evidents/
GRACIAS
pe.linkedin.com/in/jorgemanriquechavez
facebook.com/jmanriquech
@JorgeManriqueCh
slideshare.net/jorgemanriquechave...
Análisis de Literatura y Valoración de Evidencia Científica
Análisis de Literatura y Valoración de Evidencia Científica
Análisis de Literatura y Valoración de Evidencia Científica
Análisis de Literatura y Valoración de Evidencia Científica
Análisis de Literatura y Valoración de Evidencia Científica
Nächste SlideShare
Wird geladen in …5
×

Análisis de Literatura y Valoración de Evidencia Científica

1.123 Aufrufe

Veröffentlicht am

Análisis de Literatura y Valoración de Evidencia Científica

Veröffentlicht in: Gesundheit & Medizin

Análisis de Literatura y Valoración de Evidencia Científica

  1. 1. ANÁLISIS DE LA LITERATURA Y VALORACIÓN DE LA EVIDENCIA LECTURA CRÍTICA DE LA LITERATURA CIENTÍFICA Mg. Jorge E. Manrique Chávez
  2. 2. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA  La literatura biomédica es el principal mecanismo de formación continuada y actualización de conocimientos. La LECTURA CRÍTICA es una técnica que ofrece la oportunidad de aumentar la efectividad de la lectura, evaluando validez y excluyendo artículos científicos de mala calidad.
  3. 3. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA  La VALORACIÓN CRÍTICA es la capacidad para verificar la validez y aplicabilidad de los resultados publicados de las investigaciones, con el fin de poder incorporarlos justificadamente al proceso de toma de decisiones en cualquiera de los ámbitos de las ciencias de la salud.
  4. 4. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA ¿Por que necesitamos hacer lectura crítica? - La calidad científica de los artículos de investigación es muy variada. - El análisis critico aumenta la efectividad de nuestras lecturas. - La validez de un artículo la podemos clasificar dentro de una escala de niveles de evidencia.
  5. 5. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA OBJETIVOS DE LA LECTURA - Identificar los elementos esenciales del texto. - Comprender el contexto e Identificar los elementos no comprensibles. - Resolver lo incomprensible con otras lecturas.
  6. 6. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA OBJETIVOS DEL ANÁLISIS - Comprender la esencia. - Comparar con criterios adecuados. - Diferenciar los componentes. - Evaluar logros. - Evaluar alcances.
  7. 7. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA OBJETIVOS DE LA CRÍTICA - Aprobar o desaprobar: - Título. - Métodos.  Del diseño.  Del análisis. - Expresión o interpretación de resultados. - Conclusiones o generalizaciones. - Referencias bibliográficas.
  8. 8. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA En resumen…  El objetivo final del análisis crítico de la información científica publicada es: - Establecer la VALIDEZ INTERNA del estudio que la generó, - la VALIDEZ EXTERNA de los resultados obtenidos y … - su APLICABILIDAD en la práctica.
  9. 9. ANÁLISIS CRÍTICO DE LA LITERATURA CIENTÍFICA  ¿Por qué leemos la literatura científica? - Para responder preguntas especificas relacionada con la actividad diaria. - Para estar al día en general o en algo de interés particular. - Para revisar conocimientos adquiridos previamente. - Por entretenimiento. - Para no sentirnos culpables.
  10. 10. ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE)  Trata de actuar en la clínica utilizando información seleccionada y relevante, y que venga avalada por datos obtenidos a través del método científico más riguroso empleando la epidemiología y estadística.  La evidencia conseguida debe integrarse con la experiencia clínica individual y las expectativas, preferencias y deseos del paciente.
  11. 11. ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE)  La actividad clínica diaria genera cuestiones acerca de los efectos de la terapia, la utilidad de una prueba diagnóstica, el pronóstico de una enfermedad o la etiología de una determinada patología, lo que nos lleva a: - Plantearnos una pregunta clínica. - Realizar una búsqueda bibliográfica. - Evaluar la validez y aplicabilidad de la bibliografía encontrada. - Volver al paciente e integrar la evidencia encontrada y evaluada con la experiencia clínica y sus preferencias. - Evaluar el rendimiento de nuestra aplicación.
  12. 12. ODONTOLOGÍA BASADA EN LA EVIDENCIA (OBE) OBE
  13. 13. LA PREGUNTA CLÍNICA  Se pueden formular dos tipos de preguntas: 1. Preguntas Básicas: Constan de dos componentes y se plantean en relación al conocimiento general de un tema. - Ejemplo: Si me enfrento a un niño de 5 años con diagnóstico de caries de la infancia temprana y no trabajo con pacientes pediátricos, lo más probable es que me plantee una pregunta de dos componentes: ¿Qué tratamiento odontológico le puedo brindar a un paciente pedriátrico?, y para responderla podría acudir a un libro de texto clásico sobre odontopediatría o la literatura científica.
  14. 14. LA PREGUNTA CLÍNICA 2. Preguntas Avanzadas: Pregunta necesaria para la práctica OBE y consta como mínimo de 3 ó 4 elementos y se resume en los acrónimos PIO o PICO (Paciente, Intervención, Comparación, Outcome ó Resultado en castellano), y no puede responderse recurriendo a un libro de texto sino a artículos o revisiones sistemáticas. Este tipo de preguntas son las que más se nos plantean en la práctica clínica diaria. La C del acrónimo (Comparación) no siempre es necesaria. Una pregunta clínica bien formulada va a facilitar enormemente la búsqueda de la evidencia al permitirnos traducir fácilmente nuestros términos a palabras clave (descriptores).
  15. 15. LA PREGUNTA CLÍNICA
  16. 16. EL TIPO DE ESTUDIO  Una vez formulada la pregunta, debemos considerar qué aspecto clínico trata la pregunta: tratamiento o prevención, pronóstico, causalidad- etiología, elección de una prueba diagnóstica, riesgo-beneficio, calidad de vida, etc., y en función de esto sabremos qué tipo de estudio es el que mejor responde a la pregunta.
  17. 17. EL TIPO DE ESTUDIO  Es importante elegir el tipo de estudio adecuado en función de la pregunta a contestar y no confundirse con la pirámide de la evidencia aportada por los distintos tipos de estudios con la adecuación para responder preguntas clínicas.
  18. 18. EL TIPO DE ESTUDIO
  19. 19. PIRÁMIDE DE LA EVIDENCIA
  20. 20. Lectura crítica de la literatura  Una PRIMERA FINALIDAD por la que los profesionales utilizamos la literatura científica es para estar al día.  Más que leer, de lo que se trata es de explorar un número determinado de revistas (habitualmente aquellas a las que se está suscrito o se reciben en el centro de trabajo u hogar) para seleccionar algunos artículos que se pretende leer y valorar más detalladamente con posterioridad.
  21. 21. Lectura crítica de la literatura  El objetivo de la evaluación crítica o análisis de la información recopilada es la identificación de los puntos fuertes y débiles de los estudios publicados. Se ha sugerido la siguiente nemotecnia: VIA Evaluar ó analizar críticamente un artículo Comprobar la VIA del artículo Verifique la Validez Verifique la Importancia Verifique la Aplicabilidad
  22. 22. Lectura crítica de la literatura  Antes de aceptar o tomar un artículo científico como fuente para la toma decisiones de Odontología Basada en la Evidencia (OBE), se requiere la valoración de la validez interna del estudio y de los resultados observados, teniendo en cuenta tanto la magnitud de su impacto, es decir su importancia clínica, como su aplicabilidad a situaciones concretas.
  23. 23. Lectura crítica de la literatura  Cualquier tipo de información incluso la que proporcionan los estudios con metodología correcta puede estar sujeto a varias formas de sesgo. Los problemas se incrementan si los resultados de varios estudios encontrados o fuentes utilizadas son discordantes o contradictorios.
  24. 24. Lectura crítica de la literatura  Una SEGUNDA FINALIDAD de emplear literatura científica es porque sirve de ayuda en la resolución de problemas clínicos.  Se trata de leer y evaluar cuidadosamente un artículo con el fin de tomar una decisión razonada en relación a un problema clínico en el diagnóstico o en el manejo de un paciente específico, lo que implica la identificación clara del problema que se desea resolver y la localización de un número de artículos relevantes para evaluar detalladamente.
  25. 25. Lectura crítica de la literatura  Una TERCERA FINALIDAD del uso de la literatura científica en la práctica de la Odontología es la revisión sistemática para analizar y sintetizar las evidencias disponibles sobre un determinado tema.
  26. 26. NIVELES DE EVIDENCIA  El tipo de diseño de los estudios de investigación hace que éstos tengan diferentes probabilidades de incurrir en sesgos o errores sistemáticos que limiten su validez interna, por lo que es necesario establecer una jerarquía y una clasificación de los artículos científicos. Aunque no existe consenso a nivel internacional. Esta debe quedar claramente especificada en la revisión.
  27. 27. NIVELES DE EVIDENCIA  Según la Agency for Healthcare Research and Quality (AHRQ) - Nivel Ia: La evidencia proviene de meta-análisis de ensayos clínicos controlados y aleatorizados bien diseñados. - Nivel Ib: La evidencia proviene de, al menos, un ensayo controlado y aleatorizado. - Nivel IIa: La evidencia proviene de, al menos, un estudio controlado prospectivo controlado bien diseñado sin aleatorizar.
  28. 28. NIVELES DE EVIDENCIA - Nivel IIb: La evidencia proviene de, al menos, un estudio no completamente experimental (cuasi-experimental) bien diseñado o estudios de cohortes. - Nivel III: La evidencia proviene de estudios descriptivos no comparativos bien diseñados, como los estudios de correlación o de casos y controles. - Nivel IV: La evidencia proviene de documentos u opiniones de comités de expertos o experiencias clínicas de autoridades de prestigio o los estudios de series de casos.
  29. 29. GRADO DE LA RECOMENDACIÓN  Grado A: Requiere al menos un ensayo controlado aleatorio de alta calidad y consistencia sobre la que basar la recomendación concreta (niveles de evidencia Ia y Ib).  Grado B: Requiere disponer de estudios clínicos bien realizados, pero no de ensayos clínicos aleatorios sobre el tema de la recomendación (niveles de evidencia IIa, IIb y III)  Grado C: Requiere disponer de evidencia obtenida de documentos u opiniones de comités de expertos o experiencias clínicas de autoridades de prestigio. Indica la ausencia de estudios clínicos directamente aplicables y de alta calidad (nivel de evidencia IV).
  30. 30. GUÍAS PARA LA LECTURA CRÍTICA  La finalidad de las guías es AYUDAR A LOS PROFESIONALES EN SU TOMA DE DECISIONES, haciendo que se basen en la evidencia científica, reconociendo a la vez el nivel de certeza o la fuerza de la inferencia en que se fundamentan.  Se podría decir que nos dan guías para saber leer (validez) y como leerlo (resultados y forma de aplicarlos).
  31. 31. GUÍAS PARA LA LECTURA CRÍTICA  Al contrario de lo que se piensa, la valoración crítica de la literatura no exige, al menos en su fase inicial, unos conocimientos previos y amplios de metodología de investigación, y ni siquiera de conocimientos médicos, siendo una técnica que se puede aprender de forma rápida tras la lectura atenta de estas guías o el aprendizaje tutorizado en seminarios y cursos.  Para realizar una selección de los artículos que nos puedan interesar, debemos preguntarnos una serie de cuestiones que deberían haber quedado reflejadas en el resumen.
  32. 32. GUÍAS PARA LA LECTURA CRÍTICA  El investigador debe estar capacitado para saber si debe creer la información seleccionada y si puede aplicarla.  Para ayudar a éste en su aproximación crítica, un grupo de la Universidad de McMaster elaboró una serie de guías publicadas inicialmente en 1981 en la revista Canadian Medical Association Journal (CMAJ) y actualizadas en 1993 en una nueva serie publicada en el Journal of the American Association (JAMA).
  33. 33. GUÍAS PARA LA LECTURA CRÍTICA  Existen distintas plantillas de lectura crítica desarrolladas por diversas organizaciones, algunas de ellas en castellano como las de la CASPe (Critical Appraisal Skills Programme España).  Estas guías se basan fundamentalmente en la serie de la revista JAMA "Guías para usuarios de la literatura médica".
  34. 34. Guías para la lectura crítica  Entre algunas de las guías para la lectura crítica que ofrece la CASPe, tenemos: - 11 preguntas para valorar un ensayo clínico. - 11 preguntas para valorar un estudio de casos-controles. - 11 preguntas para valorar un estudio de cohortes. - 10 preguntas para valorar un artículo de revisión. - 10 preguntas para valorar un artículo sobre diagnóstico. - 10 preguntas para valorar un estudio cualitativo. - 11 preguntas para valorar una evaluación económica. - 11 preguntas para valorar las reglas de predicción clínica.
  35. 35. GUÍAS PARA LA LECTURA CRÍTICA  1ª PREGUNTA: ¿Por qué se hizo el estudio?  2ª PREGUNTA: ¿Qué tipo de estudio realizaron los investigadores? - Estudio Primario: - Experimental / De observación / Ensayo clínico. - Estudio Secundario: - De revisión: revisiones narrativas, revisiones sistemáticas, meta-análisis. - Guías de práctica clínica (protocolos).  3ª PREGUNTA: ¿El tipo de diseño fue apropiado para la investigación? - Estudios relacionados con el diagnóstico, tratamiento ó pronóstico.  4ª PREGUNTA: ¿Las características metodológicas son las adecuadas?
  36. 36. LECTURA CRÍTICA DE LA LITERATURA • A través del tiempo, han ido apareciendo un número creciente de publicaciones que filtran los contenidos de las principales revistas, seleccionando los artículos metodológicamente correctos y relevantes, y presentándolos en forma de resumen estructurado y, en muchos de los casos, comentado por un experto.
  37. 37. LECTURA CRÍTICA DE LA LITERATURA • Los ejemplos más conocidos a nivel médico son el ACP Journal Club y Evidence-Based Medicine en formato impreso y que se encuentran disponibles en Best Evidence Topics (www.bestbets.org) que es la versión electrónica recopilada de estas dos revistas secundarias.
  38. 38. http://www.bestbets.org/
  39. 39. LECTURA CRÍTICA DE LA LITERATURA • En Odontología tenemos diversas revistas científicas, muchas de ellas, asociadas a ASOCIACIONES/SOCIEDADES CIENTÍFICAS, por ejemplo de la International Association for Dental Research (IADR): – Journal of Dental Research – Advances in Dental Research – Critical Reviews in Oral Biology & Medicine http://www.iadr.com
  40. 40. LECTURA CRÍTICA DE LA LITERATURA • También se encuentra la revista de la American Dental Association (JADA), de la British Dental Journal (BDJ) o de la Canadian Dental Association (JCDA) que en algunos de sus volúmenes presentan revisiones (resúmenes) de artículos publicados en otras fuentes. http://jada.ada.org/http://www.nature.com/bdj http://www.jcda.ca/
  41. 41. http://www.nature.com/ebd Proporciona la mejor evidencia disponible sobre los últimos acontecimientos en materia de salud oral. Evalúa la evidencia y proporciona orientación sobre el valor de las conclusiones del autor. Mantiene a la odontología al día con los nuevos enfoques, explorando una amplia gama de últimas novedades a través de un comentario experto accesible. Los trabajos originales y publicaciones relevantes se condensan en resúmenes digeribles, prestando atención a los métodos y conclusiones.
  42. 42. OBE es la integración de • Mejor Evidencia Científica. • Criterio Clínico – Experiencia. • Valoración de los pacientes a fin de obtener un mejor cuidado sanitario. http://www.evidentista.org/
  43. 43. http://oralhealth.cochrane.org/
  44. 44. http://oralhealth.cochrane.org/
  45. 45. http://www.cochrane.org/
  46. 46. http://www.cochrane.org/es/evidence
  47. 47. http://es.cochrane.org/es
  48. 48. http://handbook.cochrane.org/index.htm
  49. 49. http://ebd.ada.org/ CENTRO DE ODONTOLOGÍA BASADA EN LA EVIDENCIA ASOCIACIÓN DENTAL AMERICANA (ADA) El Centro, fundado en el 2007, desarrolla recursos para ayudar a los odontólogos a integrar la evidencia científica clínicamente relevante con los procesos de atención. Facilita el acceso a la mejor información científica disponible relacionada con el cuidado de la salud oral y desarrolla los recursos basados en la evidencia para su uso en la práctica clínica.
  50. 50. http://ebd.ada.org/
  51. 51. http://ebd.ada.org/
  52. 52. http://www.cebd.org/ CENTRO DE ODONTOLOGÍA BASADA EN LA EVIDENCIA (CEBD) Después de la creación del Centro de Medicina Basada en la evidencia, así como el Programa de Valoración Crítica (CASP) y el Proyecto la Investigación en la Práctica (GRIPP) iniciativas en Anglia y Oxford. El CEBD se formó a principios de 1995, a raíz de un taller sobre la OBE llevado a cabo en Templeton College de Oxford, en diciembre de 1994.
  53. 53. http://www.cebd.org/
  54. 54. http://medinformatics.uthscsa.edu/evidents/
  55. 55. GRACIAS pe.linkedin.com/in/jorgemanriquechavez facebook.com/jmanriquech @JorgeManriqueCh slideshare.net/jorgemanriquechavez www.jorgemanriquechavez.com vimeo.com/jorgemanriquechavez jorge.manrique.ch@upch.pe jorgemanriquechavez.blogspot.pe

×