Este documento presenta la investigación sobre aprendizaje automático y redes neuronales artificiales realizada por el grupo AYRNA de la Universidad de Córdoba. El grupo está compuesto por 13 investigadores y becarios que trabajan en el desarrollo de nuevos modelos de redes neuronales mediante algoritmos evolutivos y otras técnicas de optimización. El grupo ha aplicado sus modelos a problemas en microbiología, agricultura, medio ambiente y finanzas, y ha publicado sus resultados en revistas internacionales.
Caja de herramientas de inteligencia artificial para la academia y la investi...
Ayrn aforo aticanov2010grupo
1. “APRENDIZAJE Y REDES
NEURONALES ARTIFICIALES”
AYRNA(TIC-148)
Responsable: César Hervás Martínez
chervas@uco.es
Departamento de Informática y Análisis Numérico
Campus de Rabanales, Edificio Einstein. 3ª planta, 14071.
Córdoba. España.
Foro para el Avance y la
Transferencia de la Inteligencia Computacional
Aplicada (ATICA).
Madrid 10 y 11 de noviembre de 2010
http://www.uco.es/ayrna
2. 13 Investigadores
Doctores
César Hervás Martínez (CU)
Francisco Martínez Estudillo (TU)
Mercedes Torres Jiménez (TU)
Carlos García Alonso (TU)
Mariano Carbonero Ruz (TU)
Pedro A. Gutiérrez Peña (AD)
Juan Carlos Fernández (AD)
Alfonso Martínez Estudillo (CD)
Sancho Salcedo Sanz (TU)
David Becerra Alonso (AD)
Becarios
Francisco de Asís Fernández Navarro (FPI)
Javier Sánchez Monedero (FPI)
Manuel Cruz Ramírez (Becario Astellas)
3. Líneas de investigación
Desarrollo de modelos de redes neuronales mediante
la combinación de algoritmos evolutivos y otras técnicas de optimización.
• Algoritmos evolutivos con codificación real para entrenar modelos de
redes neuronales.
• Cruce basados en intervalos de confianza
• Hibridación de algoritmos:
• Evolutivos + Cluster + Busqueda local (LM o iRProp+)
• Evolutivos + Máxima Verosimilitud (IRLS)
• Evolutivos + Moore Penrose (ELM)
• Nuevos modelos de Redes Neuronales (Clasificación y Regresión):
• Redes Neuronales con Unidades Producto.
• Redes Neuronales con Funciones q-Gaussianas.
• Redes Neuronales con funciones RBF Generalizada.
• Redes Neuronales Híbridas (combinación de distinto tipo de
funciones de base)
4. Líneas de investigación
Desarrollo de modelos de redes neuronales mediante
la combinación de algoritmos evolutivos y otras técnicas de optimización.
• Modelos Neuro-Logísticos.
• Redes Neuronales PU + Regresión Logística Multiclase
• Redes Neuronales RBF + Regresión Logística Multiclase
• Redes Neuronales GRBF + Regresión Logística Multiclase
• Redes Neuronales q-Gaussiana + Regresión Logística Multiclase
• Algoritmos Evolutivos Multi-Objetivo para la optimización de Redes Neuronales:
• CCR Vs Sensibilidad
• Complejidad (número conexiones) Vs Precisión
• Ensembles asociados al frente de Pareto
• Hibridación: Algoritmo Evolutivo+ Búsqueda Local
• Nuevos Retos:
• Clasificación Ordinal
• Clasificación con Información Privilegiada,
• Funciones de transferencia asociadas a distribuciones de valores extremos
5. Aplicaciones (1/2)
Microbiología Predictiva: Modelado del crecimiento y la clasificación de
distintas bacterias (lactobacilus, leuconostoc, aureus, ecoli…) en distintos
tipos de alimentos.
Determinación de la eficiencia técnica de grupos estratégicos de
explotaciones agrarias andaluzas para la evaluación de su sostenibilidad
productiva, financiera y territorial.
Clasificación de firmas espectrales en olivar con cubiertas vegetales para
el seguimiento administrativo de las medidas de condicionalidad.
Discriminación de rodales de mala hierba en cultivos, utilizando técnicas
de "Remote sensing" o teledetección.
Modelado para predecir la severidad del polen estacional y la
concentración de granos de polen.
6. Aplicaciones (2/2)
Desarrollo de una biblioteca de clases Java de Computación Evolutiva (Java Class
Library for Evolutionary Computation, JCLEC).
Problemas de clasificación y regresión no lineal basados en los datos del UCI.
Cinética Química: Resolución de mezclas de especies a partir de datos de
cinéticas de reacción.
Predicción de crisis bancarias a partir de variables macro-económicas.
Análisis Espacial: distribución espacial de enfermedades (esquizofrenia y
depresión) y de la renta de explotaciones agrarias.
Energías Renovables: predicción a corto plazo de la velocidad del viento en
parques eólicos.
Proyecto MADRE: Determinación de un Modelo español de asignación donante
receptor en transplantes hepáticos
7. Proyectos recientes
Título del Proyecto de Excelencia: “Regresión logística con
covariables obtenidas mediante Aprendizaje Hibrido de
Redes Neuronales de Unidades Producto: Aplicaciones al
Análisis de Eficiencia y de Medidas de Condicionalidad en
Cultivos Andaluces” P08-TIC-3745.
Entidad financiadora: Junta de Andalucía
Entidades participantes: Universidad de Córdoba, Instituto
de Agricultura Sostenible (CSIC) e INSA-ETEA
Duración: desde el 14/01/2009 hasta el 13/01/2012
Investigador responsable: César Hervás Martínez
8. Título del proyecto: Tendencias Actuales y Nuevos Retos
en KEEL: Aprendizaje Multi-Instancia, Redes Neuronales
Evolutivas, Minería de Datos Educativos y Minería de Datos
Web. TIN2008-06681-C06-03
Entidad financiadora: Ministerio de Educación y Ciencia.
Entidades participantes: Universidades de Granada,
Córdoba, Jaén, Oviedo, Huelva y Ramón Llull
Duración: desde el 1/1/2009 hasta 31/12/2011
Investigador responsable: Francisco Herrera
Proyectos recientes
9. Título del proyecto: Keel II: Modelos de aprendizaje
evolutivo de redes neuronales de unidades producto.
Programación genética y reglas de asociación. Librería
evolutiva Jclec. Métodos inferenciales robustos asociados
TIN2005-08386-C05-02
Entidad financiadora: Ministerio de Educación y Ciencia.
Entidades participantes: Universidades de Córdoba,
Granada, Jaén, Oviedo, Huelva y Ramón Llull
Duración: desde el 02/12/2005 hasta el 02/12/2008
Investigador responsable en la UCO: César Hervás
Martínez
Proyectos recientes
10. Título del proyecto: Modelo español de asignación
donante-receptor de hígado.
Entidad financiadora: Astellas Pharma
Entidades participantes: Universidad de Córdoba, 11
hospitales españoles
Duración: Abril 2010- Septiembre 2010
Ampliación: Octubre 2010-Abril 2011
Investigador responsable: César Hervás Martínez
Proyectos recientes
11. Publicaciones (2005-2011)
Revistas Internacionales:
Año 2011
1. F. Fernandez-Navarro, C. Hervas-Martinez, R. Ruiz, J. C. Riquelme. “Evolutionary Generalized
Radial Basis Function Neural Networks for improving prediction accuracy in gene classication
using feature selection”. Pattern Recognittion. 2011.
2. Francisco Fernández Navarro, César Hervás-Martínez, Javier Sánchez-Monedero, Pedro A.
Gutierrez -Peña. “MELM-GRBF: A modified version of the Extreme Learning Machine for
Generalized Radial Basis Function Neural Networks”. Neurocomputing: Special issue Advanced
in ELM" 2011.
3. Francisco Fernandez-Navarro, Cesar Hervas-Martinez , M. Cruz-Ramirez . “Evolutionary q-
Gaussian Radial Basis Function Neural Network to determine the microbial growth/no growth
interface of Staphylococcus aureus”. Applied Soft Computing 2011.
4. Javier Sánchez-Monedero, C. Hervás-Martínez, P.A. Gutierrez, Mariano Carbonero Ruz, M. C.
Ramírez Moreno y M. Cruz-Ramírez . “Evaluating the performance of Evolutionary Extreme
Learning Machines by a Combination of Sensitivity and Accuracy Measures" Neural Network
World. 2011.
5. J. C. Fernández, C. Hervás-Martínez, F. J. Martínez-Estudillo, P. A. Gutiérrez. "Memetic Pareto
Evolutionary Artificial Neural Networks to determine growth/no-growth in predictive
microbiology", Applied Soft Computing, Vol. 11. 2011, pp. 534-550.
6. A. Tallón-Ballesteros y C. Hervás-Martínez. "A two-stage algorithm in evolutionary product unit
neural networks for classification", Expert Systems with Applications:, Vol. 38. 2011, pp. 743-754
7. A. Castaño, F. Fernández-Navarro, C. Hervás-Martínez, M. M. García, P. A. Gutiérrez.
"Classification by Evolutionary Generalized Radial Basis Functions", International Journal of
Hybrid Intelligent Systems. 2011.
12. Publicaciones (2005-2010)
Revistas Internacionales:
Año 2010:
8. M. Cruz-Ramirez J. Sanchez-Monedero F. Fernandez-Navarro J.C. Fernandez C. Hervas-Martinez. Memetic
Pareto Differential Evolutionary Artificial Neural Networks to determine growth multi-classes in Predictive
Microbiology. Evolutionary Intelligence vol 3 , 3-4, (2010) 3:187-199 DOI 10.1007/s12065-010-0045-9
9. C. García-Alonso, L. Salvador-Carulla, M. A. Negrín-Hernández y B. Moreno-Küstner. "Development of a new
spatial analysis tool in Mental Health: Identification of highly autocorrelated areas (hot-spots) of
schizophrenia using a Multiobjective Evolutionary Algorithm model (MOEA/HS)", Epidemiologia e psichiatria
sociale. 2010.
10. K. Gilbert, C. García-Alonso y L. Salvador-Carulla. "Integrating clinicians, knowledge and data: expert-based
cooperative analysis in healthcare decision support", Health Research Policy and Systems, Vol. 8. 2010.
11. P. A. Gutiérrez et al. "Hybridizing logistic regression with product unit and RBF networks for accurate
detection and prediction of banking crises", OMEGA-The International Journal of Management Science, Vol.
38. 2010, pp. 333-344.
12. C. García-Alonso, M. Torres-Jiménez y C. Hervás-Martínez. "Income prediction in the agrarian sector using
product unit neural networks", European Journal of Operational Research, Vol. 204. 2010, pp. 355-365.
13. J. C. Fenández, F. J. Martínez-Estudillo, C. Hervás-Martínez y P. A. Gutiérrez. "Sensitivity Versus Accuracy in
Multiclass Problems Using Memetic Pareto Evolutionary Neural Networks", IEEE Transacctions on Neural
Networks, Vol. 21. 2010, pp. 750-770.
14. C. Hervás-Martínez, P. A. Gutiérrez, J. M. Peña-Barragán, M. Jurado-Expósito y F. López-Granados. "A logistic
radial basis function regression method for discrimination of cover crops in olive orchards", Expert Systems
with Applications, Vol. 37. 2010, pp. 8432-8444.
15. F. Fernández-Navarro, A. Valero, C. Hervás-Martínez, P. A. Gutiérrez, R. M. García-Gimeno y G. Zurera-
Cosano. "Development of a multi-classification neural network model to determine the microbial growth/no
growth interface", International Journal of Food Microbiology, Vol. 141. 2010, pp. 203-212.
16. P. A. Gutiérrez, C. Hervás-Martínez y M. Lozano. "Designing Multilayer Perceptrons using a Guided Saw-
tooth Evolutionary Programming Algorithm", Soft Computing, Vol. 14. 2010, pp. 599-613.
13. Publicaciones (2005-2010)
Revistas Internacionales:
Año 2009:
17. J. Alcala-Fdez, L. Sánchez, S. García, M. J. d. Jesus, S. Ventura, J. M. Garrell, J. Otero,
C. Romero, J. Bacardit, V. M. Rivas, J. C. Fernández, and F. Herrera. "Keel: A software tool
to assess evolutionary algorithms for data mining problems", Soft Computing -, Vol. 13.
2009, pp. 307-318.
18. C. García-Alonso, J. Guardiola y C. Hervás-Martínez. "Logistic evolutionary product-unit
neural networks: Innovation capacity of poor Guatemalan households", European Journal
of Operational Research, Vol. 195. 2009, pp. 543-551.
19. M. Torres-Jiménez, C. Hervás-Martínez y C. García-Alonso. "Multinomial logistic
regression and product unit neural network models: Application of a new hybrid
methodology for solving a classification problem in the livestock sector", Expert Systems
with Applications, Vol. 36. 2009, pp. 12225-12235.
20. P. A. Gutiérrez, C. Hervás-Martínez, M. Carbonero-Ruz y J. C. Fenández. "Combined
Projection and Kernel Basis Functions for Classification in Evolutionary Neural
Networks", Neurocomputing, Vol. 72. 2009, pp. 2731-2742.
21. P. A. Gutiérrez, C. Hervás-Martínez, J. C. Fenández, M. Jurado-Expósito, J. M. Peña-
Barragán y F. López-Granados. "Structural simplification of hybrid neuro-logistic
regression models in multispectral analysis of remote sensed data", Neural Network
World, Vol. 19. 2009, pp. 3-20.
14. Revistas Internacionales:
Año 2008:
22. P. A. Gutiérrez, F. López-Granados, J. M. Peña-Barragán, M. Jurado-Expósito y C. Hervás-Martínez.
"Logistic regression product-unit neural networks for mapping Ridolfia segetum infestations in
sunflower crop using multitemporal remote sensed data", Computers and Electronics in
Agriculture, Vol. 64. 2008, pp. 293-306.
23. S. Ventura, C. Romero, A. Zafra, J. A. Delgado y C. Hervás-Martínez. "JCLEC: A Java Framework for
Evolutionary Computing", Soft Computing, Vol. 12. 2008, pp. 381-392.
24. F. J. Martínez-Estudillo, C. Hervás-Martínez, P. A. Gutiérrez y A. C. Matínez-Estudillo. "Evolutionary
Product-Unit Neural Networks Classifiers", Neurocomputing, Vol. 72. 2008, pp. 548-561.
25. C. Hervás-Martínez, M. Silva, P. A. Gutiérrez y A. Serrano. "Multilogistic regression by evolutionary
neural network as a classification tool to discriminate highly overlapping signals: Qualitative
investigation of volatile organic compounds in polluted waters", Chemometrics and Intelligent
Laboratory Systems, Vol. 92. 2008, pp. 179-185.
26. D. Ortiz-Boyer, C. Hervás-Martínez y N. García-Pedrajas. "Robust confidence intervals applied to
crossover operator for real-coded genetic algorithms", Soft Computing, Vol. 12. 2008, pp. 809-833.
27. C. Hervás-Martínez, F. J. Martínez-Estudillo y M. Carbonero-Ruz. "Multilogistic Regression by
means of Evolutionary Product-Unit Neural Networks", Neural Networks, Vol. 21. 2008, pp. 951-961.
28. P. A. Gutiérrez, F. López-Granados, J. M. Peña-Barragán, M. Jurado-Expósito, M. T. Gómez-Casero
y C. Hervás-Martínez. "Mapping sunflower yield as affected by Ridolfia segetum patches and
elevation by applying Evolutionary Product Unit Neural Networks to remote sensed data",
Computers and Electronics in Agriculture, Vol. 60. 2008, pp. 122-132.
Publicaciones (2005-2010)
15. Revistas Internacionales:
Año 2007:
29. C. Hervás-Martínez y F. J. Martínez-Estudillo. "Logistic Regression using covariates obtained by Product
Unit Neural Networks models", Pattern Recognition, Vol. 40. 2007, pp. 52-64.
30. D. Ortiz-Boyer, C. Hervás-Martínez y N. García. "Improving crossover operator for real-coded genetic
algorithms using virtual parents", Journal of Heuristics, Vol. 13. 2007, pp. 265-314.
31. C. Hervás-Martínez, R. M. Jimeno, A. C. Matínez-Estudillo, F. J. Martínez-Estudillo y G. Zurera-Cosano.
"Improving Microbial Growth Prediction by Product Unit Neural Network", Journal of Food Science, Vol.
71. 2007, pp. 31-38.
32. A. Valero, C. Hervás-Martínez, G. Zurera y R. M. García. "Product unit neural network models for
predicting the growth limits of Listeria monocytogenes", Food Microbiology, Vol. 24. 2007, pp. 452-464.
33. C. Hervás-Martínez, P. A. Gutiérrez, M. Silva y J. M. Serrano. "Combining classification and regression
approaches for the quantification of highly overlapping capillary electrophoresis peaks by using
evolutionary sigmoidal and product unit neural networks", Journal of Chemometrics, Vol. 21. 2007, pp.
567-577.
34. C. Hervás-Martínez y M. Silva. "Memetic Algorithm Based Artificial Multiplicative Neural Model Selection
for Resolving Multi-Component Mixtures Based On Dynamic Responses", Chemometics and Intelligent
Laboratory Systems, Vol. 85. 2007, pp. 232-242.
35. A. Valero, C. Hervás-Martínez, R. M. García y G. Zurera. "Searching for new mathematical growth model
approaches for Listeria monocytogenes", Journal of Food Science, Vol. 72. 2007, pp. 16-25.
Publicaciones (2005-2010)
16. Revistas Internacionales:
Año 2006:
36. P. G. Espejo, C. Hervás-Martínez, S. Ventura y C. Romero. "Elección de Operadores Lógicos para la
Inducción de Conocimiento Comprensible", Revista Iberoamericana de Inteligencia Artificial, Vol. 10.
2006, pp. 19-30.
37. G. Zurera-Cosano, R. M. Jimeno, R. Rodriguez-Pérez y C. Hervás-Martínez. "Performance of Response
Surface model for prediction of Leuconostoc mesenteroides growth parameters under different
experimental conditions", Food Control, Vol. 17. 2006, pp. 429-438.
38. A. C. Martínez-Estudillo, F. J. Martínez-Estudillo, C. Hervás-Martínez y N. García. "Evolutionary Product
Unit based Neural Networks for Regression", Neural Networks, Vol. 19. 2006, pp. 477-486.
39. A. C. Martínez-Estudillo, C. Hervás-Martínez, F. J. Martínez-Estudillo y N. García. "Hybridation of
evolutionary algorithms and local search by means of a clustering method", IEEE Transactions on
Systems, Man, and Cybernetics, Part B: Cybernetics, Vol. 36. 2006, pp. 534-546.
40. N. García, D. Ortiz-Boyer y C. Hervás-Martínez. "An alternative approach for neural network evolution
with a genetic algorithm: Crossover by combinatorial optimization", Neural Networks, Vol. 19. 2006, pp.
514-528.
41. C. Romero, S. Ventura, C. Hervas, E.L. Gibaja, F. Romero. “Web-based adaptive training simulator
system for cardiac life support.”. Artificial Intelligence in Medicine. Special Issue on Intelligent Medical
Training Systems. Vol. 38/1 pages: 67-78 (2006)
Publicaciones (2005-2010)
17. Revistas Internacionales:
Año 2005:
42. C. Hervás-Martínez, A. C. Matínez-Estudillo, M. Silva y J. M. Serrano. "Improving the
Quantification of Highly Overlapping Chromatographic Peaks by Using Product Unit Neural
Networks Modeled by an Evolutionary Algorithm", Journal of Chemical Information and Modeling,
Vol. 45. 2005, pp. 894-903.
43. N. García, C. Hervás-Martínez y D. Ortiz-Boyer. "Cooperative coevolution of artificial neural
network ensembles for pattern classification", IEEE Transactions on Evolutionary Computation,
Vol. 9. 2005, pp. 271-302.
44. C. Hervás-Martínez y D. Ortiz-Boyer. "Analyzing the statistical features of CIXL2 crossover
offspring", Soft Computing, Vol. 9. 2005, pp. 270-279.
45. D. Ortiz-Boyer, C. Hervás-Martínez y N. García. "CIXL2: a crossover operator for evolutionary
algorithms based on population features", Journal of Artificial Intelligence Research, Vol. 24.
2005, pp. 1-48.
46. M. Torres-Jiménez, C. Hervás-Martínez y F. Amador. "Approximating the sheep milk production
curve through the use of artificial neural networks and genetic algorithms", Computers and
Operations Research, Vol. 32. 2005, pp. 2653-2670.
Publicaciones (2005-2010)
19. Publicación de Resultados de Investigación
con Índice de Impacto (Continuación)
Publicación de Resultados de Investigación
con Índice de Impacto (Continuación)
1
1 21
Resumen Publicaciones (2005-2011)
1
2
1
1
11
1 1
20. “APRENDIZAJE Y REDES
NEURONALES ARTIFICIALES”
AYRNA(TIC-148)
Responsable: César Hervás Martínez
chervas@uco.es
Departamento de Informática y Análisis Numérico
Campus de Rabanales, Edificio Einstein. 3ª planta, 14071.
Córdoba. España.
Foro para el Avance y la
Transferencia de la Inteligencia Computacional
Aplicada (ATICA).
Madrid 10 y 11 de noviembre de 2010
http://www.uco.es/ayrna
MUCHAS GRACIAS
Hinweis der Redaktion
Durante el periodo en el que he desarrollado mi investigación, ha habido por supuesto distintas líneas de trabajo y colaboraciones. Pero con la idea de mostrar de una forma ordenada el proceso he simplificado la descripción centrándome en las cuatro líneas de trabajo que se recogen en la diapositiva. No obstante aparte de las cuatro líneas mencionaré más tarde brevemente algunas de estas otras colaboraciones. Antes de mostrar las aportaciones realizadas dentro de estas líneas, voy a comentar brevemente como se han ido generando estas lineas partiendo de la tesis doctoral y posteriormente a traves de los proyectos de investigación en los que he trabajado.
Durante el periodo en el que he desarrollado mi investigación, ha habido por supuesto distintas líneas de trabajo y colaboraciones. Pero con la idea de mostrar de una forma ordenada el proceso he simplificado la descripción centrándome en las cuatro líneas de trabajo que se recogen en la diapositiva. No obstante aparte de las cuatro líneas mencionaré más tarde brevemente algunas de estas otras colaboraciones. Antes de mostrar las aportaciones realizadas dentro de estas líneas, voy a comentar brevemente como se han ido generando estas lineas partiendo de la tesis doctoral y posteriormente a traves de los proyectos de investigación en los que he trabajado.