Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Hacia una IA Responsable.pptx
Ähnlich wie Hacia una IA Responsable.pptx (20)
Mehr von Luis775803
Mehr von Luis775803 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (15)
Hacia una IA Responsable.pptx
- 1. Hacia una Inteligencia Artificial Responsable Luis Beltrán luis@luisbeltran.mx Carla Mamani Chávez cmchavez@devcarly.com
- 2. 35 % 65 % Confianza Confían en IA No confían en IA ¿Qué nivel de confianza tienen los consumidores con la forma en que las organizaciones implementan la IA? 77 % 23 % Responsabilidad Sí No ¿Qué nivel de confianza tienen los consumidores con la forma en que las organizaciones implementan la IA? Fuentes: Accenture 2022 Tech Vision Research https://www.accenture.com/dk-en/insights/technology/technology-trends-2022 Accenture 2019 Global Risk Study https://www.accenture.com/us-en/insights/financial-services/global-risk-study
- 3. ¿Qué es la IA Responsable?
- 4. IA Responsable Es un enfoque para evaluar, desarrollar e implementar sistemas de IA de una manera segura, confiable y ética, y tomar decisiones y acciones responsables. En términos generales, la IA Responsable es la práctica de defender los principios de la IA al diseñar, construir y utilizar sistemas de inteligencia artificial.
- 5. Principios de una IA Responsable
- 6. 1. Equidad (Fairness) Ausencia de impacto negativo en los grupos basado en: Origen étnico Género Edad Capacidades físicas Otras características sensibles
- 7. Evaluando la Equidad de un modelo Disparidad de la tasa de selección Disparidad de rendimiento de la predicción <=25 >25 <=25 >25
- 8. Mitigando la inequidad/injusticia Crea modelos con restricciones de paridad: Paridad demográfica. Paridad de tasa positiva verdadera Paridad de tasa de falsos positivos Probabilidades ecualizadas Paridad de la tasa de error Pérdida de grupo acotada
- 9. 2. Transparencia (Explicabilidad) Paquetes que contribuyen a la explicabilidad y transparencia de un modelo Interpret-Community InterpretML Fairlearn
- 10. Feature Importance • Global Feature Importance Importancia general de las características para todos los datos de prueba Indica la influencia relativa de cada característica en la etiqueta de predicción • Local Feature Importance Importancia de las características para una predicción individual En la clasificación, esto muestra el soporte relativo para cada clase posible por característica
- 12. Seguimiento / Retroalimentación Formación del problema Construcción de conjuntos de datos Selección de algoritmos Proceso de entrenamiento Proceso de prueba Despliegue ¿Es un algoritmo una solución ética al problema? ¿Son los datos de entrenamiento representativos de diferentes grupos? ¿Hay sesgos en las etiquetas o características? ¿Hay que modificar los datos para migrar los sesgos? ¿Es necesario incluir restricciones de equidad en la función objetivo? ¿Hay efectos desiguales entre los usuarios? ¿Se utiliza el modelo en una población para la que no se ha entrenado o evaluado? ¿Se ha evaluado el modelo utilizando métricas de equidad relevantes? ¿Fomenta el modelo bucles de retroalimentación que pueden producir resultados cada vez más injustos? 3. Fiabilidad
- 13. 4. Privacidad
- 14. 5. Inclusión
- 18. Páneles disponibles Análisis de Errores Interpretabilidad Equidad IA Responsable
- 19. Integraciones Análisis de Errores Interpretabilidad del modelo Analisis contrafáctico Análisis causal Balanceo de datos
- 21. Demostración
- 22. Conclusiones
- 23. Recomendaciones generales hacia una IA Responsable Clarifica lo que el sistema inteligente va a hacer. Clarifica el desempeño del sistema Muestra información contextual relevante Mitiga (reduce) el sesgo social
- 24. Permite ignorar características no deseables. Permite la corrección eficiente. Explica claramente por qué el sistema tomó cierta decisión.
- 25. Recuerda las interacciones recientes. Aprende del comportamiento del usuario. Actualiza y adapta con cautela. Fomenta la retroalimentación.
- 26. Beneficios de una IA Responsable Minimizar sesgo (bias) no intencionado Garantizar la transparencia de la IA Crear oportunidades Proteger la privacidad y seguridad de los datos Beneficiar a clientes y mercados
- 27. Principios de una IA Responsable
- 28. Q & A
- 29. Hacia una Inteligencia Artificial Responsable Carla Mamani Chávez cmchavez@devcarly.com Luis Beltrán luis@luisbeltran.mx ¡Gracias por tu atención!
Hinweis der Redaktion
- Cuando hablamos de IA, generalmente nos referimos a un modelo de machine learning que se utiliza dentro de un sistema para automatizar algo. Por ejemplo, un automóvil autónomo puede tomar imágenes usando sensores. Un modelo de machine learning puede usar estas imágenes para hacer predicciones (por ejemplo, el objeto de la imagen es un árbol). Estas predicciones son utilizadas por el automóvil para tomar decisiones (por ejemplo, girar a la izquierda para evitar el árbol). Nos referimos a todo este sistema como IA. Yo Cuando se desarrolla IA existen riesgos de que sea injusta o vista como una caja negra que toma decisiones por los humanos. Por ejemplo, otro modelo que analiza la información de una persona (como su salario, nacionalidad, edad, etc) y decide si se le otorga un préstamo o no. La participación humana es limitada en esas decisiones tomadas por el sistema. Esto puede conducir a muchos problemas potenciales y las empresas deben definir un enfoque claro para el uso de la IA. La IA responsable es un marco de gobernanza destinado a hacer exactamente eso.
- Yo La IA brinda oportunidades sin precedentes a las empresas, pero también implica una responsabilidad increíble. Su impacto directo en la vida de las personas ha planteado preguntas considerables en torno a la ética de la IA, la gobernanza de datos, la confianza y la legalidad. De hecho, la investigación 2022 Tech Vision de Accenture encontró que solo el 35% de los consumidores globales confían en cómo las organizaciones implementan la IA. Y el 77% piensa que las organizaciones deben rendir cuentas por su mal uso de la IA. A medida que las organizaciones comienzan a ampliar su uso de la IA para capturar beneficios comerciales, deben tener en cuenta las regulaciones y los pasos que deben tomar para asegurarse de que sus organizaciones cumplan con las normas. Ahí es donde entra en juego la IA responsible donde también los científicos de datos y los ingenieros de machine learning tienen la responsabilidad ética (y, posiblemente legal) de crear modelos que no afecten negativamente a individuos o grupos de personas.
- Carlita La IA responsable es la práctica de diseñar, desarrollar e implementar IA con buena intención para empoderar a los empleados y las empresas, e impactar de manera justa, segura y ética a los clientes y a la sociedad, lo que permite a las organizaciones generar confianza y escalar la IA con más seguridad. Son el producto de muchas decisiones tomadas por quienes los desarrollan e implementan. Desde el propósito del sistema hasta la forma en que las personas interactúan con los sistemas de IA, la IA responsable puede ayudar a guiar proactivamente decisiones hacia resultados más beneficiosos y equitativos. Eso significa mantener a las personas y sus objetivos en el centro de las decisiones de diseño del sistema y respetar valores duraderos como la equidad, la confiabilidad y la transparencia. La evaluación e investigación de los modelos de ML antes de su implementación sigue siendo el núcleo del desarrollo de inteligencia artificial confiable y responsable.
- Carlita Varias empresas, organizaciones, científicos de datos consideran varios principios clave para lograr una IA responsable: rendición de cuentas, inclusión, fiabilidad, equidad, transparencia, privacidad y seguridad. Estos principios son esenciales para crear una IA responsable y confiable a medida que avanza hacia productos y servicios más convencionales. Se guían por dos perspectivas: ética y explicabilidad. Desde una perspectiva ética, la IA debe ser justa e inclusiva en sus afirmaciones, ser responsable de sus decisiones y no discriminar ni obstaculizar diferentes razas, discapacidades o antecedentes. Es importante hoy en día. Por ejemplo Microsoft estableció un comité ético para IA, Aether, en 2017. La responsabilidad principal del comité es asesorar sobre temas, tecnologías, procesos y mejores prácticas responsables. Hablemos de los principios
- Yo Los modelos de ML pueden encapsular sesgos no intencionales que resultan en injusticia. En una IA Responsable, debes detectar, mitigar, reducir la injusticia en tus modelos. Los sistemas de IA deben tratar a todos de manera justa y evitar afectar a grupos de personas en un mismo contexto. Por ejemplo, cuando los sistemas de IA proporcionan orientación sobre tratamiento médico, solicitudes de préstamos o empleo, deben hacer las mismas recomendaciones a todos los que tengan síntomas, circunstancias financieras o calificaciones profesionales similares para incrementar la confianza en las predicciones del modelo y garantizar que no discriminan a favor o en contra de subconjuntos de la población en función del origen étnico, el género, la edad u otros factores.
- Yo Supongamos que se utiliza un modelo de clasificación para predecir la probabilidad de un reembolso exitoso del préstamo y, por lo tanto, influye en si el préstamo se aprueba o no. Es probable que el modelo se entrene utilizando características que reflejen las características del solicitante, tales como: - Edad - Situación laboral - Ingresos - Ahorro - Deuda actual Estas características se utilizan para entrenar un modelo de clasificación binaria que predice si un solicitante pagará un préstamo. Supongamos que el modelo predice que alrededor del 45% de los solicitantes pagarán con éxito sus préstamos. Sin embargo, al revisar los registros de aprobación de préstamos, comienza a sospechar que se aprueban menos préstamos para solicitantes de 25 años o menos que para solicitantes mayores de 25 años. ¿Cómo puede estar seguro de que el modelo es justo para los solicitantes en ambos grupos de edad? Selection rate disparity Una forma de comenzar a evaluar la imparcialidad de un modelo es comparar las predicciones para cada grupo dentro de una característica sensible. La edad es una característica sensible que nos importa, por lo que podríamos dividir los datos en subconjuntos para cada grupo de edad y comparar la tasa de selección para cada grupo. Digamos que encontramos que el modelo predice que el 36% de los solicitantes de 25 años o menos pagarán un préstamo, pero predice reembolsos exitosos para el 54% de los solicitantes mayores de 25 años. Hay una disparidad en las predicciones del 18%. A primera vista, esta comparación parece confirmar que hay un sesgo en el modelo que discrimina a los solicitantes más jóvenes. Sin embargo, podría analizarse que las personas más jóvenes generalmente ganen menos que las personas más establecidas en sus carreras, tengan niveles más bajos de ahorros, y tengan una tasa más alta de incumplimiento de préstamos. El punto importante a considerar aquí es que solo porque queremos garantizar la equidad con respecto a la edad, no necesariamente se deduce que la edad no es un factor en la probabilidad de reembolso del préstamo. Es posible que, en general, las personas más jóvenes realmente tengan menos probabilidades de pagar un préstamo que las personas mayores. Para obtener una imagen completa, necesitamos profundizar un poco más en el rendimiento predictivo del modelo para cada subconjunto de la población.
- Yo Para reducir la injusticia se puede usar un algoritmo y restricciones para entrenar múltiples modelos, y luego comparar su rendimiento, tasa de selección y métricas de disparidad a fin de encontrar el modelo óptimo. La elección del modelo implica una compensación entre el rendimiento predictivo y la equidad. En general, la equidad se mide por la reducción de la disparidad en la selección de características (por ejemplo, asegurando que una proporción igual de miembros de cada grupo de género sea aprobada para un préstamo bancario) o por una reducción en la disparidad de la métrica de desempeño (por ejemplo, asegurando que un modelo sea igualmente preciso para identificar a los pagadores e incumplidores en cada grupo de edad). Algunos algoritmos comunes utilizados para optimizar los modelos de equidad. - Gradiente exponencializado - - Grid Search – - Threshold Optimizer - La elección de la restricción de paridad depende de la técnica que se utilice y de los criterios de equidad específicos que desee aplicar. Las restricciones incluyen: - Demographic parity: - True positive rate parity - False positive rate parity - Equalized odds - Error rate parity - Bounded group loss
- Yo Es importante poder comprender cómo los modelos de machine learning hacen predicciones; y ser capaz de explicar la justificación de las decisiones tomadas por el sistema identificando y mitigando los sesgos. La interpretabilidad del modelo se ha convertido en un elemento clave para ayudar a que las predicciones del modelo sean explicables, que no sea visto como una caja negra que toma decisions aleatorias. La transparencia entonces permite explicar por qué un modelo hace las predicciones que hace.. Qué características afectan el comportamiento de un modelo? Por qué se aprobó o rechazó la solicitud de préstamo de un cliente específico?
- Yo Los explicadores de modelos utilizan técnicas estadísticas para calcular la *importancia de las características*. Esto le permite cuantificar la influencia relativa que tiene cada característica del conjunto de datos de entrenamiento en la predicción. Evaluan un conjunto de datos de prueba de casos de características y las etiquetas que el modelo predice para ellos. Global feature importance La importancia de la característica global cuantifica la importancia relativa de cada característica en el dataset de prueba en su totalidad. Proporciona una comparación general de la medida en que cada característica del conjunto de datos influye en la predicción. Por ejemplo, un modelo de clasificación binaria para predecir el riesgo de incumplimiento del préstamo podría entrenarse a partir de características como el monto del préstamo, los ingresos, el estado civil y la edad para predecir una etiqueta de 1 para los préstamos que probablemente se pagarán y 0 para los préstamos que tienen un riesgo significativo de incumplimiento (y, por lo tanto, no deben aprobarse). A continuación, un explicador podría utilizar un conjunto de datos de prueba suficientemente representativo para producir los siguientes valores de importancia de características globales: - Ingresos: 0,98 - Importe del préstamo: 0,67 - edad: 0,54 - Estado civil: 0,32 Está claro a partir de estos valores, que los ingresos son la característica más importante para predecir si un prestatario incumplirá o no con un préstamo, seguido por el monto del préstamo, luego la edad y finalmente el estado civil. Local feature importance La importancia de la característica local mide la influencia de cada valor de entidad para una predicción individual específica. Por ejemplo, supongamos que Sam solicita un préstamo que el modelo aprueba. Puede usar un explicativo para la aplicación de Sam para determinar qué factores influyeron en la predicción. Es posible que obtengas un resultado como el mostrado en la segunda imagen que indica la cantidad de compatibilidad para cada clase en función del valor de la entidad. Dado que este es un modelo de clasificación binaria, solo hay dos clases posibles (0 y 1). En el caso de Sam, el soporte general para la clase 0 es -1.4, y el soporte para la clase 1 es correspondientemente 1.4, y el préstamo es aprobado. La característica más importante para una predicción de clase 1 es el monto del préstamo, seguido de los ingresos: estos son el orden opuesto de sus valores de importancia de características globales (que indican que el ingreso es el factor más importante para la muestra de datos en su conjunto). Podría haber múltiples razones por las que la importancia local para una predicción individual varía de la importancia global para el conjunto de datos general; por ejemplo, Sam podría tener un ingreso más bajo que el promedio, pero el monto del préstamo en este caso podría ser inusualmente pequeño.
- Yo **Interpret-Community** package permite interpretar modelos, which is itself a wrapper around a collection of *explainers* based on proven and emerging model interpretation algorithms, such as Shapely Additive Explanations (SHAP) (https://github.com/slundberg/shap) and Local Interpretable Model-agnostic Explanations (LIME) (https://github.com/marcotcr/lime).
- Carlita Los sistemas de IA deben ser seguros para poder confiar en ellos. Es importante que un sistema funcione como fue diseñado originalmente y que responda de manera segura a nuevas situaciones. Su resiliencia inherente debe resistir la manipulación intencionada o no intencionada. Se deben establecer pruebas y validaciones rigurosas para las condiciones de operación a fin de garantizar que el sistema responda de manera segura a los casos extremos. El rendimiento de un sistema de IA puede degradarse con el tiempo, por lo que se debe establecer un proceso robusto de monitoreo y seguimiento del modelo para medir de manera reactiva y proactiva el rendimiento del modelo y volver a entrenarlo, según sea necesario, para modernizarlo.
- Carlita Los sistemas de IA como el reconocimiento facial o el etiquetado de voz definitivamente se pueden usar para infringir la privacidad de un individuo y amenazar la seguridad. La forma en que se utiliza la huella en línea de un individuo para rastrear, deducir e influir en las preferencias o perspectivas de alguien es una preocupación seria que debe abordarse. La forma en que las “fake news” o los “deep fakes” influyen en las opiniones públicas también representa una amenaza para las seguridades individuales o sociales. Los sistemas de IA son cada vez más mal utilizados en este dominio. Existe la necesidad pertinente de establecer un marco que proteja la privacidad y la seguridad de un individuo. La privacidad es cualquier dato que pueda identificar a un individuo y/o su ubicación, actividades e intereses. Dichos datos generalmente están sujetos a estrictas leyes de privacidad y cumplimiento, por ejemplo, GDPR en Europa. Los sistemas de IA deben cumplir con las leyes de privacidad que requieren transparencia sobre la recopilación, el uso y el almacenamiento de datos. Debe exigir que los consumidores tengan controles adecuados para elegir cómo se utilizan sus datos. Dos paquetes de código abierto que pueden permitir una mayor implementación de los principios de privacidad y seguridad: SmartNoise: La privacidad diferencial es un conjunto de sistemas y prácticas que ayudan a mantener los datos de las personas seguros y privados. SmartNoise es un proyecto (co-desarrollado por Microsoft) que contiene componentes para construir sistemas diferencialmente privados que son globales. Counterfit: Counterfit es un proyecto de código abierto que comprende una herramienta de línea de comandos y una capa de automatización genérica para permitir a los desarrolladores simular ciberataques contra sistemas de IA y verificar su seguridad.
- Carlita El mundo que nos rodea es diverso. Hay personas de todos los ámbitos de la vida. Las personas con discapacidades, las organizaciones sin fines de lucro, las agencias gubernamentales necesitan sistemas de IA tanto como cualquier otra persona o empresa. El sistema de IA debe ser inclusivo y estar en sintonía con las necesidades de este ecosistema diverso. Cuando los sistemas de IA piensan en la inclusión, se deben responder las siguientes preguntas: ¿El sistema de IA se desarrolló para garantizar que incluya diferentes categorías de individuos u organizaciones? ¿Hay alguna categoría de datos que deba manejarse de manera excepcional para garantizar que se incluyan? ¿La experiencia que proporciona el sistema de IA excluye algún tipo específico de categorías? En caso afirmativo, ¿hay algo que se pueda hacer al respecto? Las prácticas de diseño inclusivo pueden ayudar a los desarrolladores a comprender y abordar las barreras potenciales que podrían excluir involuntariamente a las personas. Siempre que sea posible, la tecnología de reconocimiento de voz a texto, de texto a voz y visual debe usarse para capacitar a las personas con discapacidades auditivas, visuales y de otro tipo.
- Carlita La rendición de cuentas es un pilar esencial de la IA responsable. Las personas que diseñan e implementan el sistema de IA deben ser responsables de sus acciones y decisiones, especialmente a medida que avanzamos hacia sistemas más autónomos. Las organizaciones deben considerar el establecimiento de un organismo de revisión interna que proporcione supervisión, información y orientación sobre el desarrollo y la implementación de sistemas de IA. Si bien esta guía puede variar según la empresa y la región, debe reflejar el viaje de IA de una organización. Imagine que el algoritmo de un automóvil autónomo ocasiona un accidente. ¿Quién es responsable de ello? ¿El conductor, el dueño del auto, el creador de la IA?
- Carlita Responsible AI Toolbox, un conjunto de herramientas para una experiencia de IA personalizada y responsable con funcionalidades únicas y complementarias. Permite la exploración y evaluación de modelos y datos que ayudan a una mejor comprensión de los sistemas de IA. Además, permite a los desarrolladores y partes interesadas de los sistemas de IA construir y monitorear la IA de manera más responsable, y tomar mejores acciones basadas en datos. Su objetivo es servir como marco de colaboración para la investigación en el campo de IA responsable mediante el uso de visualizaciones interactivas.
- Carlita El toolkit cuenta con varios paneles disponibles: Error Analysis dashboard, para identificar errores del modelo y descubrir grupos de datos para los que el modelo tiene un rendimiento inferior. Panel de interpretabilidad, para comprender las predicciones del modelo. Este panel funciona con InterpretML. Panel de equidad, para comprender los problemas de equidad del modelo utilizando varias métricas de equidad grupal en características y cohortes sensibles. Este panel de control funciona con Fairlearn. Panel de IA Responsible: Un panel que reune varias herramientas para una evaluación y depuración responsable de modelos y la toma de decisiones comerciales informadas.
- Yo Para lograr estas capacidades, el panel integra ideas y tecnologías de varios kits de herramientas de código abierto en las áreas de Análisis de errores Interpretabilidad del modelo Análisis contrafáctico, que muestra versiones perturbadas de características del mismo punto de datos que habrían recibido un resultado de predicción diferente, por ejemplo, el préstamo de una persona ha sido rechazado por el modelo. Pero habría recibido el préstamo si sus ingresos fueran mayores en $ 10,000. Análisis causal, que se centra en responder preguntas al estilo What If para aplicar la toma de decisiones basada en datos: ¿cómo se verían afectados los ingresos si una corporación persigue una nueva estrategia de precios? ¿Mejoraría un nuevo medicamento la condición de un paciente? Data Balance, que ayuda a los usuarios a obtener una comprensión general de sus datos, identificar características que reciben el resultado positivo más que otras y visualizar distribuciones de características.
- Yo Si el sistema de IA utiliza o genera métricas, es importante mostrarlas todas y cómo se rastrean. Ayuda a los usuarios a comprender que la IA no será completamente precisa y establezca expectativas sobre cuándo el sistema de IA podría cometer errores. Proporciona información visual relacionada con el contexto y el entorno actuales del usuario, como hoteles cercanos y detalles de devolución cerca del destino y la fecha de destino. Asegúrate de que el lenguaje y el comportamiento no introduzcan estereotipos o sesgos no deseados. Por ejemplo, una función de autocompletar debe reconocer varios géneros.
- Yo Proporciona un mecanismo fácil para ignorar o descartar características o servicios no deseables. Proporciona una forma intuitiva de facilitar la edición, el refinamiento o la recuperación de los modelos. Optimiza la IA explicable para ofrecer información sobre las decisiones del sistema de IA.
- Yo Conserva un historial de interacciones para futuras referencias. Personaliza la interacción en función del comportamiento del usuario. Limita los cambios disruptivos y actualice en función del perfil del usuario. Recopila los comentarios de los usuarios a partir de sus interacciones con el sistema de IA.
- Carlita Garantiza que los modelos sean lo más imparciales y representativos posible. Una IA transparente y explicable genera confianza entre los usuarios. Crea oportunidades sin sofocar la innovación. Garantiza que los datos personales y confidenciales nunca se utilicen de manera poco ética. Al crear una base ética para la IA se establecen sistemas que beneficien a accionistas, empleados y la sociedad en general.
- (Solo si hay tiempo) A manera de conclusion, recordamos que los principios que se recomienda seguir para desarrollar una IA responsible son Equidad: El objetivo de la IA no debe ser ningún sesgo (bias) en las predicciones proporcionadas por los modelos de IA para evitar la denigración cultural o la subrepresentación. Confiabilidad: Necesitamos asegurarnos de que los sistemas que desarrollamos sean consistentes con las ideas, valores y principios de diseño para que no creen ningún daño en el mundo. Privacidad: La complejidad es parte de los sistemas de IA, se necesitan más datos y nuestro software debe garantizar que esos datos estén protegidos, que no se filtren ni divulguen. Inclusión: Empoderar e involucrar a las personas asegurándose de que nadie se quede fuera. Considere la inclusión y la diversidad en sus modelos para que se cubra todo el espectro de comunidades. Transparencia: La transparencia significa que las personas que crean sistemas de IA deben ser abiertas sobre cómo y están utilizando la IA y también abiertas sobre las limitaciones de sus sistemas. Transparencia también significa interpretabilidad, que se refiere al hecho de que las personas deben ser capaces de comprender el comportamiento de los sistemas de IA. Como resultado, la transparencia ayuda a ganar más confianza de los usuarios. Responsabilidad: Defina las mejores prácticas y procesos que los profesionales de la IA pueden seguir, como el compromiso con la equidad, para considerarlo en cada paso del ciclo de vida de la IA.