Producción científica sobre gamificación en educación: un análisis cienciométrico. Scientific production about gamification in education: A Scientometric analysis.
Este documento presenta un análisis cienciométrico de 345 publicaciones científicas sobre gamificación en educación indexadas en Web of Science desde su primera aparición hasta 2017. Los resultados muestran que la producción científica sobre este tema se encuentra en un crecimiento exponencial, aunque disminuyó ligeramente en 2017, y que la mayoría de las publicaciones están en inglés. El estudio analiza varios aspectos de esta producción científica como su distribución cronológica, tipo de documento, institución, idioma y
Rutas del aprendizaje:Fasciculo secundaria matematica vi
Ähnlich wie Producción científica sobre gamificación en educación: un análisis cienciométrico. Scientific production about gamification in education: A Scientometric analysis.
Ähnlich wie Producción científica sobre gamificación en educación: un análisis cienciométrico. Scientific production about gamification in education: A Scientometric analysis. (20)
Producción científica sobre gamificación en educación: un análisis cienciométrico. Scientific production about gamification in education: A Scientometric analysis.
1.
2. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
113
Producción científica sobre gamificación en educación:
un análisis cienciométrico
Scientific production about gamification in education:
A Scientometric analysis
DOI: 10.4438/1988-592X-RE-2019-386-429
M.ª Elena Parra-González
Adrián Segura-Robles
Universidad de Granada
Resumen
La gamificación es una metodología emergente que consiste en utilizar juegos
o mecánicas de juego en contextos no lúdicos, proporcionando en educación la
motivación de los alumnos. Este fenómeno ha provocado que no sólo se utilice
en las aulas como experiencias concretas, sino que en el campo científico estén
proliferando las investigaciones sobre gamificación educativa en los últimos
años. Este creciente interés ha provocado esta investigación, que consiste en
un análisis cienciométrico de las publicaciones indexadas en las bases de
datos de impacto Web of Science (WoS) sobre la metodología emergente de
gamificación en Educación. Se han tenido en cuenta las categorías: Education
& Educational Research, Education Scientific Disciplines, Social Sciences
Interdisciplinary y Psychology Educational. La muestra ha estado compuesta por
todas las producciones científicas (artículos y comunicaciones en congresos)
desde la primera aparición hasta 2017, con un total de 345 documentos. El
análisis cienciométrico se ha centrado en analizar la productividad cronológica,
la productividad según el tipo de documento, según la editorial, el idioma y la
distribución de producciones según las leyes de Bradford y Lotka. Los resultados
demuestran que las producciones científicas de calidad se encuentran en fase de
crecimiento exponencial, con lo que se demuestra el incremento del interés de
esta metodología en las aulas, han descendido en el último año la cantidad de
producciones, pero aumenta la calidad científica de las mismas, lo que confirma
3. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
114
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
la importancia de la gamificación en el ámbito. Destacar por último que la
mayoría de publicaciones son en inglés, como idioma científico mundial.
Palabras clave: juegos educativos, cienciometría, bibliometría, innovación
educativa, investigación educativa.
Abstract
Gamification is an emerging methodology that consists of using games
or game mechanics in non-ludic contexts, thus providing in education with
students’ motivation. This phenomenon has caused that it is not only being
used in classrooms as concrete experiences, but within the scientific field there
are more researches about educational gamification within the past years. This
growing interest has motivated this research, which consists of a scientometric
analysis of the publications indexed in the impact databases Web of Science
(WoS) on the emerging methodology of gamification in Education. The following
categories have been taken into account: Education and Educational Research,
Education Scientific Disciplines, Social Sciences Interdisciplinary and Psychology
Educational. The sample was composed of all the scientific productions (articles
and communications in congresses) from the first appearance until 2017,
with a number of 345 documents. This scientometric analysis has focused on
analyzing the chronological productivity, the productivity according to the type
of document, according to the publisher, the language and the distribution of
productions according to the laws of Bradford and Lotka. The results show that
quality scientific productions are in an exponentially growing phase, which
demonstrates the increased interest of this methodology in the classrooms, the
number of productions has decreased in the last year, but the scientific quality
of them increased, which confirms the importance of gamification in the field.
Finally, we would light to highlight that most publications are in English, as a
worldwide scientific language.
Key words: educational games, scientometrics, bibliometrics, educational
innovation, educational research.
Introducción
La gamificación representa una herramienta poderosa para ayudar a
motivar a los alumnos en clase y con ello facilitar el proceso de enseñanza-
aprendizaje. Consiste en el uso de elementos, diseños o estructuras de
4. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
115
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
juegos en contextos no-lúdicos (Attali y Arieli-Attali, 2015; Bruder, 2015;
Dale, 2014; Deterding, 2012; Deterding, Dixon, Khaled, Nacke, 2011;
Deterding, Sicart, Nacke, O’Hara y Dixon, 2011; González et al., 2016;
Hanus and Fox, 2015; Kapp, 2012a; Koivisto y Hamari, 2014; Powers et
al., 2013; Whitton y Moseley, 2010).
Hoy día se está produciendo un incremento de esta metodología en
las aulas, para motivar a los estudiantes (Banfield y Wilkerson, 2014). La
gamificación se presenta pues, como un recurso emergente e innovador,
con efectos positivos sobre el proceso de enseñanza- aprendizaje (Denny,
2013).
Piaget (1962) ya defendía el uso de elementos del juego en educación,
destacando que el uso de juegos ayuda a crear mundos de imaginación.
Unos años más tarde, trabajos como los de Malone (1980) y Malone
y Lepper (1987) comienzan a resaltar el uso de juegos como una
herramienta poderosa para el aprendizaje.
La revisión de la literatura nos dice que el uso de juegos o elementos
de los mismos en el aula se puede producir a todos los niveles, desde
educación primaria (Su y Cheng, 2015) pasando por secundaria
(Giannakos, 2013) hasta llegar a la educación superior (Dib y Adamo-
Villani, 2014).
Foncubierta y Rodríguez (2016) señalan que un juego es un producto
acabado y que es algo concreto, mientras que la gamificación parte de
un contenido didáctico, definiéndola como una actividad aderezada
con elementos y espíritu de juego (Seaborn y Fels, 2015). Simões, Díaz
y Fernández (2013) afirman que, con una actividad gamificada, los
estudiantes aprenden como si estuvieran jugando a un juego, no jugando
a juegos específicos. Así, los alumnos estarían aprendiendo sin hacer un
esfuerzo aparente.
A través de la gamificación, se valora y premia con insignias el esfuerzo,
no sólo el logro, como en la metodología de enseñanza tradicional.
Brewer et al. (2013) estudiaron el uso de la gamificación en niños de 5 a
7 años, concluyendo que la gamificación implica un aumento significativo
de tareas acabadas. También Wang (2015) afirma que el uso de los juegos
implica al alumnado en porcentajes altamente elevados. Mekler et al.
(2013, 2017) detectaron también que asignar puntos, niveles y tableros
de puntuaciones aumentan el rendimiento por parte del usuario, pero no
tienen efecto en la competencia, autonomía o motivación intrínseca del
mismo.
5. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
116
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Muchos docentes usan juegos en clase, pero recientemente algunos de
estos profesionales han convertido su clase en un juego (Kapp, 2012b).
Avanzando un poco más, los juegos normalmente permiten volver a jugar,
con lo que los alumnos tienen la libertad de experimentar una y otra vez
y aprender de los errores sin ningún miedo (Lee y Hammer, 2011).
No faltan los autores que aseguran que esta metodología es innovadora
y atrayente para motivar a los alumnos y facilitar su aprendizaje, aunque
Martí-Parreño, Seguí-Mas y Seguí-Mas (2016) también aseguran que,
aunque en los últimos años ha habido un aumento del interés académico
por la gamificación, la actitud de los docentes y el uso real de la misma no
ha sido un área muy investigada. Por ello hacen un estudio exploratorio
del uso de la gamificación en Educación Superior, donde ven que sólo
el 11,3% de docentes utilizan esta metodología en sus clases, aunque el
resto lo vean altamente positivo.
Las últimas tendencias señalan el uso de juegos digitales y videojuegos
como otra forma de adquirir conocimientos (Asensio et al. 2014;
Contreras-Espinosa, 2016; Gallego, Villagrá, Satorre, Compañ, Molina y
Lorens, 2014). Incluso hoy día, existen empresas que implementaron la
gamificación para mejorar las experiencias de sus empleados (Schacht
y Schacht, 2012). Así que, como vemos, esta metodología ha sido
implementada en un amplio abanico de áreas, como por ejemplo el
marketing o la educación, para mejorar la experiencia del usuario y su
compromiso (Deterding, Sicart, Nacke, O’Hara y Dixon, 2011).
Siguiendo en esta línea, Trujillo (2014) afirma que, a través de las
TIC, en las aulas podemos crear artefactos digitales en los procesos
de enseñanza-aprendizaje, para contextualizar los mismos. Con lo que
la gamificación y en sí, el juego, cobraría otro sentido dentro de las
aulas, pudiendo crear aprendizajes más significativos ganado espacio e
importancia en educación.
Como decíamos, el papel que pueden jugar los videojuegos y las TIC
es muy importante, ya que los alumnos podrán volver a jugar después a
los juegos, incluso a veces desde casa, podrán ver los rankings, etc. Pero
también hay que tener muy en cuenta el componente social de los juegos.
Los alumnos a través de los mismos socializarán, otras veces tendrán que
ser más competitivos, pero también trabajarán de forma cooperativa y
resolverán problemas juntos. Los docentes deben tener cuidado ya que
el factor de competitividad o a veces los papeles que se toman dentro
de esta dinámica podría acarrear efectos negativos (Christy y Fox, 2014).
6. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
117
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Por otro lado, hay que cuidar la forma en que se invita o motiva a los
alumnos a participar, ya que la “diversión obligatoria” tampoco les gusta
a los alumnos (Mollick y Rothbard, 2014).
Con todo esto, lo que sí está claro y se deriva de la amplia literatura
revisada es que la introducción de la mecánica de los juegos con un
objetivo concreto en las aulas proporciona aprendizajes significativos y
que el uso de los mismos ha demostrado proporcionar un incremento del
aprendizaje (De-Marcos, Domínguez, Saenz-de-Navarrete y Pagés, 2014;
Gee, 2007).
Aunque muchas veces se hayan utilizado actividades con carácter
lúdico en algunas clases, el sentido y la estructura de gamificación, va
más allá y proporciona mayores beneficios, y, como se ha visto en el
repaso de la literatura, es reciente el incremento de esta herramienta tan
poderosa en las aulas en los últimos años.
Lo que no hace mucho eran experiencias concretas de profesores
con esta metodología de innovación educativa solamente en aulas, está
dando paso a un aumento del interés de los investigadores y trabajos
científicos. Es por ello que tras detectar que no hay un estudio que
investigue, analice y organice la investigación sobre gamificación, hemos
realizado este estudio para analizar el trabajo científico y la proliferación
de trabajos sobre esta temática que tanto interés está despertando en
los últimos años. Así, se presenta un análisis cienciométrico de artículos
y aportaciones científicas sobre Gamificación en el ámbito educativo
indexadas en las bases de datos de impacto de Web of Science (WoS).
Objetivos
El objetivo principal de este estudio es analizar cienciométricamente la
producción sobre Gamificación en educación desde su primera aparición
hasta 2017. Los objetivos específicos se detallan a continuación:
■ Analizar la productividad cronológica sobre la Gamificación en
categorías educativas.
■ Analizar la productividad según el tipo de documento sobre la
Gamificación en categorías educativas.
■ Analizar la productividad institucional sobre la Gamificación en
categorías educativas.
7. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
118
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
■ Analizar la productividad editorial sobre la Gamificación en
categorías educativas.
■ Analizar la productividad sobre la Gamificación en categorías
educativas según el idioma de publicación.
■ Analizar el ajuste de la producción según la ley zonal de
productividad científica.
■ Analizar la productividad personal sobre la Gamificación en
categorías educativas.
Método
El método cienciométrico es una disciplina científica, que a través de este
análisis ofrece unos indicadores facilitadores para analizar el progreso
y estado actual científico de un tema (Fernández-Cano y Bueno, 1999).
Ha sido utilizado por otros autores en sus investigaciones educativas
con reconocimiento dentro del área (Gutiérrez-Braojos, Martín-Romera,
Casasempere y Fernández-Cano, 2015).
El método utilizado para hacer este análisis cienciométrico es una
adaptación del utilizado por Michán y Muñoz-Velasco (2013), que
consiste en cinco pasos: recuperación, migración, análisis, visualización e
interpretación. En esta adaptación, los dos primeros pasos los realizamos
sólo una vez (tal y como hacen los autores), mientras que los tres últimos:
análisis, visualización e interpretación, se repiten para cada objetivo.
El trabajo que ha conformado cada paso ha sido el siguiente:
■ Recuperación: elección de fuentes y recursos, búsqueda y selección.
■ Migración: extracción, carga, limpieza y tratamiento de datos.
■ Análisis: análisis cienciométrico, consultas, tratamiento cuantitativo
(indicadores cienciométricos y bibliométricos).
■ Visualización: parámetros, identificación.
■ Interpretación: descripción, comparación y contextualización.
Muestra
La muestra de estudio está compuesta por las producciones científicas
(artículos y comunicaciones en congresos) sobre Gamificación en
8. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
119
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
educación indexados en Web of Science (WoS) en áreas de educación
(desde la primera producción en 2011 hasta 2017), que estén incluidas
en las categorías: Education and Educational Research, Education
Scientific Disciplines, Social Sciences Interdisciplinary and Psychology
Educational. Por lo tanto, la muestra está compuesta por un total de
345 producciones científicas (artículos y comunicaciones en congresos)
sobre Gamificación educativa. Recuperada de las bases de datos SCI-
EXPANDED, SSCI, CPCI-S, CPCI-SSH, ESCI.
Procedimiento
Los indicadores para las variables de estudio han estado centrados:
producción cronológica, producción según el tipo de documento,
producción institucional, producción editorial, producción por idioma
y la distribución de las mismas según las leyes de producción científica
más utilizadas.
La búsqueda de información comenzó con una primera búsqueda para
ver la cantidad de producciones científicas sobre Gamificación educativa
en WoS en las categorías de ámbito educativo, antes mencionadas.
El siguiente paso fue decidir los objetivos específicos y categorías para
la búsqueda de información. Después se extrajeron y organizaron todas
las producciones en una matriz de datos utilizando el programa SPSS
en su versión 25. Se atendió a los datos bibliográficos fundamentales
de WoS, como son: tipo de documento, año, autores, institución, título
de la revista, editorial, idioma y citas recibidas. Y a partir de ahí se
analizaron los datos (tanto en SPSS como en EXCEL) y se interpretaron
para presentar los resultados.
Resultados
Para dar respuesta tanto al objetivo general como a los objetivos
específicos, se presentan los resultados a continuación. Con el objetivo
de facilitar la lectura de los datos se exponen los análisis junto con la
interpretación de los mismos.
9. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
120
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Productividad cronológica
Como se observa, para el periodo 2011-2017 encontramos un total
de 345 documentos indexados, entre los que se incluyen artículos y
comunicaciones. La primera publicación que encontramos corresponde
a 2011. La media para el periodo se sitúa en 49.28 con una desviación de
43.94. Para la cobertura temporal analizada se observa que existen tres
periodos importantes (Figura I).
El primero de ellos (2011-2013) se caracteriza por una producción
limitada que supone sólo el 5.2% de la producción total de documentos. En
una segunda etapa (2014-2016), la producción se dispara representando
el 72.1% de la producción total. Por último, se observa el inicio de un
tercer periodo (2017-en adelante) en el que se advierte una disminución
importante respecto al número de publicaciones suponiendo un 22.6%.
FIGURA I. Productividad cronológica periodo 2011-2017
Fuente: elaboración propia
Una de las posibles causas para este descenso brusco es el aumento
de la rigurosidad y calidad de las publicaciones que se llevan a cabo, por
10. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
121
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
lo que surge la necesidad de analizar el fenómeno desde una perspectiva
basada en el tipo de documento para contrastar dicho fenómeno.
En cuanto a la productividad cronológica según al tipo de documento,
se observa un aumento de la rigurosidad científica de las producciones,
sobre todo en 2016, donde el número de comunicaciones de congresos
comienza a descender (2016 con 91 y 2017 con 43) respecto al aumento
de artículos (2016 con 29 y 2017 con 32). Esto supone, en primer caso un
descenso del -52.75% para las comunicaciones y un aumento del 10.34%
para los artículos en el período clave 2016-2017.
FIGURA II. Productividad cronológica en función del tipo de documento
Fuente: elaboración propia
A la vista de estos resultados, y siguiendo lo expuesto en la Figura
II, no podemos afirmar que se cumpla la Ley de Price de crecimiento
exponencial debido, en gran parte, a que ésta tiene en cuenta los
periodos en forma de quinquenios o décadas y, la gamificación, al ser
un constructo relativamente reciente (sus inicios como tal datan de
2010), pero si podemos vislumbrar un descenso de comunicaciones y un
aumento de artículos lo que muestra un fin bastante claro, la mejora de
la calidad científica de las investigaciones que se publican.
11. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
122
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Productividad Institucional
Encontramos, según los datos clasificados en función de la institución de
origen del documento que la producción científica se centra en entidades
concretas, tanto para los artículos como para las comunicaciones. En
el primero de los casos, los artículos, la producción se concentra en
6 universidades productoras. Como se muestra en la Tabla I, ser una
institución altamente productora no te asegura un impacto mayor,
como en el caso de Shu-te University que, acumulando un 3.96% de
la producción total sólo posee un impacto de 14.25, mientras que la
Universidad de Alcalá con una producción menor acumula el mayor
número de citas recibidas con un impacto calculado de 44.33, el más alto
entre todas las instituciones.
TABLA I. Instituciones más relevantes en función de su productividad de artículos
Institución Docs Porcentaje Citas
Índice de
impacto*
Shu-te University 4 3.96% 57 14.25
National Yunlin university science
technology
3 2.97% 57 19
Universidad Europea Valencia 3 2.97% 18 6
Universidad de Alcalá 3 2.97% 133 44.33
Universidad de la Laguna 3 2.97% 3 1
Uoc Universitat Oberta de
Catalunya
3 2.97% 1 0.33
Fuente: elaboración propia. * = Calculada como Citas/ Docs
En el segundo caso, las comunicaciones presentadas a congresos,
encontramos 4 instituciones productoras que se sitúan a la cabeza. Como
muestra la Tabla II, la producción de comunicaciones es más alta que
la que encontramos en los artículos, destacando la Universiti teknologi
Malaysia con 6 documentos indexados, pero, al contrario de lo que
sucede con los documentos publicados en torno a un rigor científico
superior (como los artículos), las citas generadas y el impacto calculado
distan mucho de considerarse relevantes para la comunidad académica
actual.
12. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
123
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
TABLA II. Instituciones más relevantes en función de su productividad de comunicaciones
Institución Docs Porcentaje Citas Índice de impacto*
Universiti teknologi Malaysia 6 2.41% 1 0.16
Lublin University of technology 5 2% 8 1.5
Universidad Europea Valencia 5 2% 2 0.4
University West London 5 2% 2 0.4
Fuente: elaboración propia. * = Calculada como Citas/ Docs
Productividad editorial
Durante este análisis encontramos un total de 65 editoriales que
aglutinan todas las publicaciones sobre gamificación durante el periodo
analizado (Tabla III). Resaltan entre ellas 8 editoriales que acumulan
un total de 249 documentos, es decir, un 72.12% de la producción total
sobre gamificación. Igualmente se observa que no existe una relación
directa entre el número de publicaciones y las citas recibas. Es la Editorial
ELSEVIER con 13 documentos la que acumula un mayor número de citas
en comparación con IATED que, a pesar de poseer 106 documentos
sobre gamificación, sólo ha recibido un total de 30 citas.
TABLA III. Editoriales más relevantes en función de su productividad
Editorial Docs Porcentaje Citas Índice de impacto*
IATED 106 30.72% 30 0.28
ACAD 52 15.07% 66 1.26
IEEE 47 13.62% 228 4.85
ELSEVIER 13 3.76% 371 28.53
IGI GLOBAL 10 2.89% 15 1.5
ASSOC COMPUTING
MACHINERY
10 2.89% 10 1
TEMPUS 7 2.02% 16 2.28
WILEY 4 1.15% 67 16.75
Fuente: elaboración propia. * = Calculada como Citas/ Docs
13. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
124
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Productividad por idioma
Del total de documentos identificados se observa que existen 4 idiomas
diferentes que usan los distintos autores para publicar sus documentos
sobre gamificación: inglés, español, francés y portugués. En la Tabla IV
se observa que la lengua inglesa es la más utilizada con los artículos con
un 76.47% (65) sobre el total de las contribuciones seguida del Español
con 16.47% (14) y, finalmente del Francés y Portugués no superando
en conjunto el 10% restante. Para las comunicaciones a congresos este
porcentaje es aún más drástico y significativo, copando el Inglés, como
lengua principal, el 99.59% (246) sobre el total de contribuciones.
TABLA IV. Artículos y comunicaciones publicados según los idiomas encontrados
Lengua Artículos % total Comunicaciones % total
Inglés 65 76.47% 246 99.59%
Francés 2 2.35% - -
Portugués 4 4.70% - -
Español 14 16.47% 1 0.40%
Fuente: elaboración propia.
Reparto zonal según la ley de Bradford
Como se ha venido realizando hasta ahora y, con el fin de hacer una
diferenciación clara, los resultados se muestran en los dos grandes
grupos analizados hasta ahora.
En este caso, para encontrar las revistas y comunicaciones en
congresos más productores de la actividad científica relacionada con la
gamificación se recurre al reparto Bradforiano o división por zonas de
Bradfod. Para este autor, si los productores analizados son ordenados
de forma decreciente se puede apreciar un número de revistas o
comunicaciones en congresos “núcleo” que acumulan el mayor número
de información y, varias zonas que contienen un número similar de
documentos producidos y que siguen, aproximadamente, una progresión
matemática aproximada a la forma 1:n:n2
… (Bradford, 1934, 1948). Hoy
14. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
125
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
en día, y como muestran investigaciones recientes (Mangas-Vega, Gómez-
Díaz y Cordón-García, 2016), sigue siendo un método reconocido de
clasificación de revistas o comunicaciones en congresos tanto en ciencias
sociales (Palomo, Figueroa-Domecq y Laguna, 2017) como en ciencias de
la salud (Thompson y Walker, 2015).
En nuestro caso para ver el reparto de revistas productoras recurrimos
a la clasificación clásica zonal de Bradford optando por un total de 3
zonas, la zona 1 o núcleo y dos zonas más. En la Tabla V se observa que
un 38% (32) de los artículos producidos pertenecen a un núcleo muy
delimitado compuesto en este caso de 7 revistas. Encontramos además
una segunda zona, que acumula el 29% (25) de los mismos en torno a 12
revistas y una tercera zona con el 32% (27) conformada por 27 revistas.
En este caso, la progresión obtenida, n = 1.98 se acerca bastante a la
propuesta en el modelo original de Bradford. Es decir, podemos concluir
que, aunque no se siga una progresión geométrica cuadrática (n=2)
como la propuesta por Bradford si está muy cerca de la misma. Entre
las revistas que forman parte del núcleo se encuentran: Bulletin of the
technical committee on learning technology, Computers Education y
Eurasia journal of mathematics science and technology education, todas
ellas centradas más en el ámbito tecnológico que puramente educativo.
De la misma manera, se dividen los congresos más productivos para
el sistema diacrónico elegido. En la tabla VI se observa 33% (74) de las
comunicaciones presentadas sobre gamificación se concentran en dos
congresos principales. Seguida por una segunda zona, compuesta por
7 congresos que acumulan un 32% (71) de las comunicaciones y una
tercera zona que concentra a 50 congresos distintos con un 35% (78)
de productividad. Al contrario de lo que sucedía con los artículos de
revistas, la distribución calculada no sigue una progresión matemática
cuadrática. En este aspecto, destacan dos congresos productores, el
ICERI (International conference of education, research and innovation)
y EDULEARN (International conference on education and new learning
technologies), ambos centrados en el ámbito educativo.
15. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
126
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
TABLA V. Reparto de revistas productoras según las zonas de Bradford
Zonas
Re-
vistas
% re-
vistas
Artícu-
los
%
artí-
culos
Multiplica-
dor de
Bradford
Zona 1 (Núcleo) 7 15% 32 38% --
Zona 2 12 26% 25 29% 1.71
Zona 3 27 59% 27 32% 2.25
TOTAL 46 100% 85 100% n =1.98
Revistas que forman parte del núcleo
Revista Nº de artículos
Bulletin of the technical committee on learning technology 5
Computers Education 5
Eurasia journal of mathematics science and technology education 5
Journal of e-learning and knowledge society 5
Electronic journal of e-learning 4
International journal of emerging technologies in learning 4
International journal of game-based learning 4
Fuente: elaboración propia.
TABLA VI. Reparto de congresos productores según las zonas de Bradford
Zonas Congreso
% acu-
mulado
Comunicacio-
nes
% acu-
mula-
do
Multipli-
cador de
Bradford
Zona 1 (Núcleo) 2 3% 74 33% --
Zona 2 7 12% 71 32% 3.5
Zona 3 50 85% 78 35% 7.14
TOTAL 59 100% 223 100% n=5.32
Congresos que forman parte del núcleo
Congreso
Nº de comunica-
ciones
International conference of education, research and innovation (ICERI). 40
EDULEARN: international conference on education and new learn-
ing technologies.
34
Fuente: elaboración propia.
16. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
127
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Distribución de productores según la ley de Lotka
Con respecto a los autores, comprobamos si la distribución de los mismos
en función de su productividad se ajusta al modelo original An =
A1
/
n2
propuesto originalmente por Lotka (1926) o se ajusta a un modelo
distinto An =
A1
/ nm
. Donde An
es el número de autores con n firmas, A1
el
número de autores con 1 firma y nm
es el número de firmas al cuadrado.
Para Lotka, existen muy pocos autores que publican la mayoría de los
trabajos, es decir, para una productividad alta (n), el número de autores
(An
), es bajo, ya que ambas variables son inversamente proporcionales.
Según sus estimaciones, la literatura científica tiende a establecerse
en una progresión de m=2 en la mayoría de los casos. En el resto de
situaciones, en las que no se cumple esta distribución, nos propone la
función logarítmica en la que la intersección de la recta equivaldría al
valor de m adaptado al caso estudiado.
Se muestran los cálculos observados y esperados siguiendo la teoría
tradicional de Lotka (n2
) además del modelo teórico adaptado a los
resultados obtenidos específicamente en esta investigación (Tabla VII).
Además, se calcula, siguiendo la propuesta de Lotka, la élite de autores
haciendo uso de la raíz cuadrada del total de los mismos.
TABLA VII. Resultados observados y esperados para la versión tradicional de Lotka y la versión
calculada (artículos)
Trabajos Autores AI
* AII
**
1 188 188 188
2 8 47 13
3 2 21 3
4 1 12 1
Total 199
Autores más productivos*
Autor Trabajos
Su, Chung-Ho 4
Marti-Parreno, José 3
De-Marcos, Luis 3
Fuente: elaboración propia *AI
= Autores esperados según la Ley de Lotka (m=2), **AII
= Autores esperados según el modelo
adaptado (m=3.8)
17. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
128
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Como se observa, no podemos afirmar que los resultados presentan
una distribución tradicional como la planteada por el autor, sino que,
en nuestro caso, la distribución que siguen los datos equivale a m=3.8
o lo que es lo mismo n3.8
. Siguiendo los autores más productivos puede
considerarse “Élites” a aquellos que han publicado 3 o más artículos
relacionados con la gamificación.
Para las comunicaciones, se sigue el mismo procedimiento que el
realizado anteriormente, los resultados se muestran en la Tabla VIII.
Como se observa, la distribución de las comunicaciones presentadas no
sigue la originalmente por Lotka, siguiendo la representación logarítmica
anterior obtenemos un valor de m=3.6 para la muestra analizada. Entre
los autores más productivos se encuentran aquellos 6 o más trabajos.
TABLA VIII. Resultados observados y esperados para la versión tradicional de Lotka y la versión
calculada (comunicaciones)
Trabajos Autores AI
* AII
**
1 549 549 549
2 48 137.25 45.27
3 7 61 10.51
5 2 21.96 1.67
6 4 15.25 0.86
Total 610
Autores más productivos*
Autor Trabajos
Abdullah, Zaleha 6
Zaid, Norasykin Mohd 6
Marti-Parreno, Jose 6
Sanmugam, Mageswaran 6
Fuente: elaboración propia *AI
= Autores esperados según la Ley de Lotka (m=2), **AII
= Autores esperados según el modelo
adaptado (m=3.6)
18. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
129
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Discusión y Conclusiones
El principal objetivo de este estudio era llevar a cabo el primer estudio
sobre la producción y consumo de la Gamificación en el ámbito educativo,
desde su indexación en las bases de datos SCI-EXPANDED, SSCI, CPCI-S,
CPCI-SSH, ESCI desde la primera publicación indexada sobre la temática
en cuestión (2011) hasta el año 2017, para analizar el estado y evolución
de un tema que está en auge en las aulas. Otros estudios como el de
Seaborn y Fels (2015) utilizan un enfoque de meta-síntesis para presentar
una comprensión integral y un consenso sobre la conceptualización de
un objeto de estudio, describiendo, comparando y contrastando una
matriz de fuentes sobre el tema que pueden ser cualitativas, cuantitativas
o de naturaleza mixta (Jensen y Allen, 1996; Heyvaert, M., Maes, B. y
Onghena, 2013).
Podemos ver que las producciones con más rigurosidad científica
han ido aumentando, con lo que se confirma como dicen Martí-Parreño,
Seguí-Mas y Seguí-Mas (2016) que en los últimos años ha habido un
aumento del interés académico en la gamificación. Este interés está
apoyado por el Informe de 2018 sobre el estado del sistema educativo del
curso 2016/2017 del Ministerio de Educación y Formación Profesional,
donde se indica que el segundo curso más solicitado por el profesorado
es el de Gamificación en el aula, lo que sustenta el creciente interés del
profesorado por esta metodología.
El análisis cienciométrico se ha centrado en analizar la productividad
cronológica, la productividad según el tipo de documento, según la
editorial, el idioma y la distribución de producciones según Bradford
y Lotka. Y principalmente podemos extraer las siguientes conclusiones:
■ Se ha detectado en el último año un descenso del número de
publicaciones porque aumenta la calidad de las mismas. Es decir,
se produce un crecimiento exponencial y de rigurosidad científica
de las mismas, al bajar el número de comunicaciones en congresos
y aumentar el número de artículos. Esta diferenciación en cuanto
a rigurosidad ya la encontrábamos en Miguel (2012) que hacía
distinción entre una comunicación en un congreso y la publicación
de artículos en revistas especializadas, donde hay un proceso de
evaluación de la calidad de los trabajos que serán publicados, sin
manifestar que las ponencias presentadas en congresos no tuvieran
19. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
130
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
rigor académico, ya que ahí se produce una actualización, formación
e intercambio de información entre profesionales y científicos y en
ocasiones, estas comunicaciones presentadas a congresos suelen
publicarse como Actas, pudiendo o no tener un proceso de revisión
que garantice la calidad de los trabajos. Aunque se considera que
esta distinción no se puede hacer a la ligera, ya que depende de
otras variables como pueden ser el área o tipo de congreso.
■ En torno a la producción científica se observa una diferencia notable
en torno a la calidad de las mismas, es decir, a mayor rigurosidad
científica menor cantidad de contribuciones y mayor impacto de las
mismas (medido como citas recibidas e impacto), efecto observado
en el presente estudio.
■ Existen institucionesque acumulanun mayor número de documentos
científicos generados, tanto artículos como comunicaciones, que,
además, también aúnan un mayor número de citas e impacto.
Destacan las universidades extranjeras sobre las nacionales.
■ En cuanto a la producción por idioma, podemos decir que no es
de extrañar que la mayoría de contribuciones sea en inglés, ya que
como indica Price (1971, 1986) más de la mitad de la literatura
científica y filosófica publica en este idioma. Este hecho se observa
tanto en la producción de comunicaciones como en la de artículos.
■ Con respecto a la producción distribuida por zonas de Bradford
en comunicaciones en congresos y que no siga una progresión
matemática cuadrática, puede deberse a que por las dinámicas
de los congresos, los mismos suelen girar en torno a temáticas
concretas, por lo que puede ocasionar esa distorsión de resultados.
■ Entre los autores, también se han mostrado una clara diferenciación
entre los que se centran en investigaciones más rigurosas (artículos)
y aquellos cuyas aportaciones son publicadas en congresos.
Este artículo representa el primer estudio cienciométrico en cuanto a
la gamificación educativa. Dado el interés de la temática en educación, se
plantea la posibilidad de volver a llevar a cabo un estudio de características
similares en un plazo de tiempo no inferior a cinco años, para analizar el
interés y la producción de la temática en este plazo.
Con respecto a un planteamiento para futuros trabajos, se podría
proponer analizar la gamificación por niveles educativos, pudiendo
analizarse por separado la gamificación en Educación Primaria,
Secundaria o Superior y ver la influencia que tiene la misma por niveles;
20. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
131
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
esperando que la literatura siga el crecimiento que se espera analizado
en esta investigación.
Referencias bibliográficas
Asensio, J. J.; Mora, A. M.; Fernández, A. J.; García-Sánchez, P.; Merelo, J.
J. y Castillo, P. A. (2014). Programar: aprendiendo a programar usando
videojuegos como metáfora para visualización de código. ReVisión.
Revista de Investigación en Docencia Universitaria de la Informática,
7(2), 93–103.
Attali, Y. y Arieli-Attali, A. (2015). Gamification in assessment: do points
affect test performance? Computers and Education, 83(1), 57-63.
Recuperado de http://doi.org/10.1016/j.compedu.2014.12.012.
Banfield, J., y Wilkerson, B. (2014). Increasing student intrinsic motivation
and self-efficacy through gamification pedagogy. Contemporary Issues
in Education Research, 7(4), 291-298.
Bradford, S. C. (1934). Sources of information on specific subjects.
Engineering, 137, 85-86.
Bradford, S. C. (1948). Documentation. Londres: Crosby Lockwood.
Brewer, R., Anthony, L., Brown, Q., Irwin, G., Nias, J. y Tate, B. (2013).
Using gamification to motivate children to complete empirical studies
in lab environments. 12th International Conference on Interaction
Design and Children, New York, NY, pp. 388-391.
Bruder, P. (2015). Game on: gamification in the classroom. Education
Digest, 80(7), 50-56.
Christy, K. R. y Fox, J. (2014). Leaderboards in academic contexts: A test
of stereotype threat and social comparison explanations for women’s
math performance. Computers Education, 78, 66-77. Recuperado
de: http://dx.doi.ogr/10.106/j.compedu.2014.05.005.
Contreras-Espinosa, R. S. (2016). Juegos digitales y gamificación aplicados
en el ámbito de la educación. RIED. Revista Iberoamericana de
Educación a Distancia, 19(2), 27–33. Recuperado de: http://dx.doi.
org /10.5944/ried.19.2.16143.
Dale, S. (2014). Gamification: making work fun, or making fun of work?
Business Information Review, 31(2), 82-90. Recuperado de: http://doi.
org/10.1177/0266382114538350.
21. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
132
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
De-Marcos, L., Domínguez, A., Saenz-de-Navarrete, J. y Pagés, C. (2014).
An empirical study comparing gamification and Social networking on
e-learning. Computers Education, 75, 82-91. Recuperado de: http://
dx.doi.ogr/10.1016/j.compedu.2012.12.020.
Denny, P. (2013). The effect of virtual achievements on student
engagement. En Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems. CHI13’. ACM, París: Francia, pp. 763–
772.
Deterding, S. (2012). Gamification: designing for motivation. Interactions,
19(4), 14-17.
Deterding, S., Dixon, D., Khaled, R., Nacke, L. (2011). From game design
elements to gamefulness: defining gamification. In Proceedings of the
15th International Academic MindTrek Conference, pp. 9–15.
Deterding, S., Sicart, M., Nacke, L., O’Hara, K. y Dixon, D. (2011).
Gamification: using game-design elements in non-gaming contexts.
In Proceedings of the 2011 Annual Conference of Human Factors in
Computing Systems, pp. 2425-2428. Recuperado de: http://dx.doi.
org/10.1145/1979742.1979575.
Dib, H., y Adamo-Villani, N. (2014). Serious Sustainability Challenge
Game to Promote Teaching and Learning of Building Sustainability.
Journal of Computing in Civil Engineering, 28, A40140071-
A401400711.
Fernández-Cano, A. y Bueno, A. (1999). Synthesizing scientometric
patterns in Spanish educational research. Scientometrics, 46(2), 349-
367.
Foncubierta, J. M., Rodríguez, C. (2016). Didáctica de la gamificación en
la clase de español. Editorial Edinumen. Recuperado de: https://www.
edinumen.es/spanish_challenge/gamificacion_didactica.pdf.
Gallego, F. J.; Villagrá, C. J.; Satorre, R.; Compañ, P; Molina, R. y Lorens,
F. (2014). Panorámica: serious games, gamificación y mucho más.
Re Visión. Revista de Investigación en Docencia Universitaria de la
Informática, 7(2), 13–23.
Gee, J. P. (2007). What video games have to teach us about learning and
literacy: Revised and updated edition. New York, NY: Macmillan.
Giannakos,M.N.(2013).Enjoyandlearnwitheducationalgames:Examining
factors affecting learning performance. Computers Education,
68, 429–439.
22. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
133
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
González, C.S., Gómez, N., Navarro, V., Cairós, M., Quirce, C., Toledo,
P. y Marrero-Gordillo, N. (2016). Learning healthy lifestyles through
active videogames, motor games and the gamification of educational
activities. Computers in Human Behavior, 55(A), 529-551. Recuperado
de: http://doi.org/10.1016/j.chb.2015.08.052.
Gutiérrez-Braojos, C., Martín-Romera, A., Casasempere, A. y Fernández-
Cano, A. (2015). Análisis cientimétrico de la Grounded Theory en
Educación. Revista de Educación, 370, 121-148.
Hanus, M.D. y Fox, J. (2015). Assessing the effects of gamification in
the classroom: a longitudinal study on intrinsic motivation, social
comparison, satisfaction, effort, and academic performance. Computers
Education, 80(1), 152-161. Recuperado de: http://doi.org/10.1016/j.
compedu.2014.08.019.
Heyvaert, M., Maes, B. y Onghena, P. (2013). Mixed methods research
synthesis: definition, framework, and potential. Quality Quantity,
47, 659–676.
Jensen, L. y Allen, M. (1996). Meta-synthesis of qualitative findings.
Qualitative Health Research, 6, 553–560.
Kapp, K.M. (2012a). Games, gamification, and the quest for learner
engagement. Training and Development, 66(6), 64-68.
Kapp, K. M. (2012b). The gamification of learning and instruction: Game-
based methods and strategies for training and education. San Franciso,
CA: Pfieffer.
Koivisto, J. y Hamari (2014). Demographic differences in perceived
benefits from gamification. Computers in Human Behavior, 35, 179-
188. Recuperado de: http://doi.org/10.1016/j.chb.2014.03.007.
Lee, J. J. y Hammer, J. (2011). Gamification in education: what, how, why
bother? Academic Exchange Quarterly, 15(2), 146.
Lotka, A. (1926). The frequency distribution of scientific productivity.
Journal of the Washington Academy of Sciences, 16(12), 317-323.
Retrieved from http://www.jstor.org/stable/24529203.
Malone, T.W. (1980). What makes things fun to learn? Heuristics for
designing instructional computer games. In Proceedings of the 3rd
ACM SIGSMALL symposium and the first SIGPC symposium on Small
systems, pp. 162-169.
Malone, T. W., y Lepper, M. R. (1987). Making learning fun: A taxonomy of
intrinsic motivations for learning. Aptitude, learning, and instruction,
3, 223–253.
23. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
134
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
Mangas-Vega, A., Gómez-Díaz, R., y Cordón-García, J. A. (2016). Approach
to self-publishing with a combination of bibliometric study and social
network analysis techniques. The electronic library, 34(6), 902-914.
Martí-Parreño, J.; Seguí-Mas, D. y Seguí-Mas, E. (2016). Teachers’ Attitude
towards and Actual Use of Gamification. Procedia - Social and
Behavioral Sciences 228, 682 – 688.
Mekler, E.D., Bruhlmann, F., Opwis, K., Tuch, A.N. (2013). Do points,
levels and leaderboards harm intrinsic motivation? An empirical
analysis of common gamification elements. In Proceedings of the
First International Conference on Gameful Design, Research, and
Applications, 66–73.
Mekler, E.D., Bruhlmann, F., Tuch, A.N., Opwis, K. (2017). Towards
understanding the effects of individual gamification elements on
intrinsic motivation and performance. Computers in Human Behavior.
71, 525–534.
Michán, L. y Muñoz-Velasco, I. (2013). Scientometrics for the medical
sciences: Definitions, applications and perspectives. Revista de
Investigación En Educación Médica, 2(6), 100-106. Recuperado de
https://doi.org/10.1016/S2007-5057(13)72694-2.
Miguel, S. (2012) Ponencias o artículos: ¿una tensión en la comunicación
científica? Anuario ThinkEPI, 6, 127-129.
Ministerio de Educación y Formación Profesional (2018) Informe sobre
el estado del sistema educativo del curso 2016/2017.
Mollick, E. R. y Rothbard, N. (2014). Mandatory fun: Consent, gamification,
and the impact of games at work, The Wharton School Research Paper
Series. Recuperado de: http://dx.doi.ogr/10.2139/sssm.2277103.
Palomo, J., Figueroa-Domecq, C. y Laguna, P. (2017). Women, peace and
security state-of-art: a bibliometric analysis in social sciences based
on SCOPUS database. Scientometrics, 113(1), 123-148. https://doi.
org/10.1007/s11192-017-2484-x.
Piaget, J. (1962). Play, dreams and imitation in childhood. New York:
W.W. Norton Co.
Price, D. J. S. (1986). Little Science, big science…and beyond. New York:
Columbia University Press.
Price, D. (1971). The expansion of scientific knowledge. Annals Of The
New York Academy Of Sciences, 184, 257-259.
Powers, K.L., Brooks, P.J., Aldrich, N.J., Palladino, M.A. y Alfieri, L. (2013).
Effects of video-game play on information processing: a meta-analytic
24. Revista de Educación, 386. Octubre-Diciembre 2019, pp. 113-135
Recibido: 11-10-2018 Aceptado: 17-05-2019
135
Parra-González, M.E., Segura-Robles, A. Producción científica sobre gamificación en educación: un análisis cienciométrico
investigation. Psychonomic Bulletin Review, 20(6), 1055-1079.
Recuperado de: http://doi.org/10.3758.
Schacht, M., y Schacht, S. (2012). Start the Game: Increasing User
Experience of Enterprise Systems Following a Gamification Mechanism.
En A. Maedche, A. Botzenhardt y L. Neer (Eds.), Software for People:
Fundamentals, Trends and Best Practices (pp. 181–199). Berlin,
Heidelberg: Springer Berlin Heidelberg. https://doi.org/10.1007/978-
3-642-31371-4_11.
Seaborn, K. y Fels, D. (2015). Gamification in theory and action: a survey.
International Journal of Human-Computer Studies, 74(1), 14-31.
Recuperado de: http://doi.org/10.1016/j.ijhcs.2014.09.006.
Simões, J., Díaz, R. y Fernández,A. (2013).A social gamification framework
for a K-6 learning platform. Computers in Human Behavior, Elsevier,
29(2), 345–353.
Su, C.H., y Cheng, C.H. (2015). A mobile gamification learning system
for improving the learning motivation and achievements. Journal of
Computer Assisted Learning, 31(3), 268–286.
Thompson, D. F. y Walker, C. K. (2015). A descriptive and historical
review of bibliometrics with applications to medical sciences.
Pharmacotherapy: The Journal of Human Pharmacology and Drug
Therapy, 35(6), 551-559.
Trujillo, F. (2014) Nuevos aprendizajes. Nuevos artefactos para nuevos
aprendices. En F. Trujillo Sáez y Conecta13. Artefactos digitales: Una
escuela digital para la educación de hoy. Barcelona: Graó.
Wang, A. I. (2015). The wear out effect of a game-based student response
system. Computers Education, 82, 217-227. Recuperado de: http://
dx.doi.org/10.1016/j.compedu.2014.11.004.
Whitton, N. y Moseley, A. (2010). Using Games to Enhance Learning and
Teaching: A Beginner’s Guide. London: Taylor and Francis.
Contact address: Elena Parra González. Universidad de Granada, Facultad
de Educación, Economía y Tecnología de Ceuta, Métodos de Investigación y
Diagnóstico en Educación. C/. Cortadura del Valle s.n. CP: 51001 Ceuta. España.
E-mail: elenaparra@ugr.es.
25.
26. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
109
Scientific production on gamification in education:
a scientometric analysis
Producción científica sobre gamificación en educación:
un análisis cienciométrico
DOI: 10.4438/1988-592X-RE-2019-386-429
M.ª Elena Parra-González
Adrián Segura-Robles
Universidad de Granada
Abstract
Gamification is an emerging methodology that consists of using games or
game mechanics in non-ludic contexts, providing motivation for students in
an educational context. This phenomenon has caused it not only to be used
in classrooms as concrete experiences but also in the field of science, where
there has been a proliferation of research on educational gamification in
recent years. This growing interest has led to this study, which consists of a
scientometric analysis of the publications indexed in the Web of Science (WoS)
impact databases on the emerging methodology of gamification in education.
The following categories were surveyed: Education Educational Research,
Education Scientific Disciplines, Social Sciences Interdisciplinary and Psychology
Educational. The sample comprised all scientific productions (articles and
conference communications) from their first appearance until 2017, for a total
of 345 documents. Scientometric analysis focused on analyzing chronological
productivity, productivity according to the type of document and according to
the publisher, the language and the distribution of productions according to
Bradford’s and Lotka’s laws. The results show that quality scientific production
has entered an exponential growth phase, which evinces an increased interest of
this methodology in the classroom. The number of productions has declined in
the last year, but the scientific quality of these results confirms the importance of
gamification in the field. Last, it should be noted that the majority of publications
are in English, as it is a global scientific language.
27. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
110
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Key words: educational games, scientometrics, bibliometry, educational
innovation, educational research.
Resumen
La gamificación es una metodología emergente que consiste en utilizar juegos
o mecánicas de juego en contextos no lúdicos, proporcionando en educación la
motivación de los alumnos. Este fenómeno ha provocado que no sólo se utilice
en las aulas como experiencias concretas, sino que en el campo científico estén
proliferando las investigaciones sobre gamificación educativa en los últimos
años. Este creciente interés ha provocado esta investigación, que consiste en
un análisis cienciométrico de las publicaciones indexadas en las bases de
datos de impacto Web of Science (WoS) sobre la metodología emergente de
gamificación en Educación. Se han tenido en cuenta las categorías: Education
Educational Research, Education Scientific Disciplines, Social Sciences
Interdisciplinary y Psychology Educational. La muestra ha estado compuesta por
todas las producciones científicas (artículos y comunicaciones en congresos)
desde la primera aparición hasta 2017, con un total de 345 documentos. El
análisis cienciométrico se ha centrado en analizar la productividad cronológica,
la productividad según el tipo de documento, según la editorial, el idioma y la
distribución de producciones según las leyes de Bradford y Lotka. Los resultados
demuestran que las producciones científicas de calidad se encuentran en fase de
crecimiento exponencial, con lo que se demuestra el incremento del interés de
esta metodología en las aulas, han descendido en el último año la cantidad de
producciones, pero aumenta la calidad científica de las mismas, lo que confirma
la importancia de la gamificación en el ámbito. Destacar por último que la
mayoría de publicaciones son en inglés, como idioma científico mundial.
Palabras clave: juegos educativos, cienciometría, bibliometría, innovación
educativa, investigación educativa
Introduction
Gamification represents a powerful tool to help motivate students in
class and thus facilitate the process of teaching and learning. It consists
of using elements, designs or game structures in non-ludic contexts
(Attali and Arieli-Attali, 2015; Bruder, 2015; Dale, 2014; Deterding, 2012;
Deterding, Dixon, Khaled, Nacke, 2011; Deterding, Sicart, Nacke, O’Hara
and Dixon, 2011; González et al., 2016; Hanus and Fox, 2015; Kapp,
28. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
111
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
2012a; Koivisto and Hamari, 2014; Powers et al., 2013; Whitton and
Moseley, 2010).
There has been a recent increase in this methodology in the classroom
to motivate students (Banfield and Wilkerson, 2014). Gamification is thus
presented as an emerging and innovative resource, with positive effects
on the teaching-learning process (Denny, 2013).
Piaget (1962), early on, defended the use of game elements in
education, emphasizing that the use of games helps to create worlds of
imagination. Some years later, studies by Malone (1980) and Malone and
Lepper (1987) began to highlight the use of games as powerful learning
tools.
A review of the literature tells us that the use of games or their elements
in the classroom can occur at all levels, from elementary school education
(Su and Cheng, 2015) though high school education (Giannakos, 2013)
to higher education (Dib and Adamo-Villani, 2014).
Foncubierta and Rodríguez (2016) note that a game is a finished
product and that it is something concrete, while gamification is based on
didactic content; they define it as an activity seasoned with the elements
and spirit of play (Seaborn and Fels, 2015). According to Simões, Díaz
and Fernández (2013), with gamified activity, students learn as if they
were playing a game, not playing specific games. Thus, it would appear
that students would learn effortlessly.
Through gamification, effort is valued and rewarded with badges, not
only by achievement, as in the traditional teaching methodology. Brewer
et al. (2013) studied the use of gamification in children aged 5 to 7 years,
concluding that gamification implies a significant increase in finished
tasks. Wang (2015) also states that the use of games involves students
in highly elevated percentages. Mekler et al. (2013, 2017) also found
that assigning points, levels and scoreboards increases the performance
by the user but has no effect on the user’s competence, autonomy or
intrinsic motivation.
Many teachers use games in the classroom, but some of these
professionals have recently turned their classroom into a game (Kapp,
2012b). Furthermore, the games usually allow students to play repeatedly,
so that they have the freedom to experiment again and again, learning
from their mistakes without fear (Lee and Hammer, 2011).
Although numerous authors consider this methodology innovative
and attractive in motivating students and facilitating their learning,
29. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
112
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Martí-Parreño, Seguí-Mas and Seguí-Mas (2016) state that although in
recent years there has been increased academic interest in gamification,
teachers’ attitudes and the actual use of gamification is not a well-
researched field. Therefore, they conducted an exploratory study of the
use of gamification in higher education and found that only 11.3% of
teachers use this methodology in their classes, although the remainder
sees it as highly positive.
The latest trends point to the use of digital games and video games as
another means of acquiring knowledge (Asensio et al. 2014; Contreras-
Espinosa, 2016; Gallego, Villagrá, Satorre, Compañ, Molina and Lorens,
2014). Even today, companies have implemented gamification to improve
the experiences of their employees (Schacht and Schacht, 2012). As
we see, this methodology has been implemented in a wide range of
fields, such as marketing and education, to improve the experience and
commitment of users (Deterding, Sicart, Nacke, O’Hara and Dixon, 2011).
Following this line of thought, Trujillo (2014) states that through
ICT in the classroom, we can create digital artifacts in teaching-learning
processes to contextualize them. Thus, gamification and the game itself
would take on a new importance in the classroom by creating more
significant learning, gains in space and importance in education.
As mentioned earlier, the role of video games and ICT is very important
because students will be able to play games later, sometimes even from
home, and will be able to see the rankings, etc. However, we must also
take into account the social component of games. Students will socialize
through games; at other times, they will have to be more competitive but
will also work cooperatively and solve problems together. Teachers should
be careful, as the competitiveness factor, or sometimes the roles taken on
within these dynamics, could have negative effects (Christy and Fox, 2014).
On the other hand, one must be cautious as to how students are invited
or encouraged to participate because students do not like “compulsory
fun” either (Mollick and Rothbard, 2014).
The extensive literature reviewed, therefore, clearly shows that
the introduction of game mechanics with a concrete objective in the
classroom provides significant learning and that their use has been
shown to increase learning (De-Marcos, Domínguez, Saenz-de-Navarrete
and Pagés, 2014; Gee, 2007).
Although ludic activities have often been used in some classes,the meaning
and structure of gamification goes further and provides greater benefits; in
30. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
113
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
addition, as seen in the literature review, there has been an increase in the
use of this powerful tool in the classrooms over the past few years.
While the concrete experiences of teachers with this educational
innovation methodology were limited to classrooms, there is now
increased interest by researchers and scientific studies. This is why, after
detecting that there is no study investigating, analyzing and researching
gamification, we have conducted this study to analyze the scientific work
and numerous studies on this topic that have been of such great interest
in recent years. Thus, we present a scientometric analysis of articles and
scientific contributions on gamification in the educational field indexed
in the Web of Science (WoS) impact databases.
Objectives
The main objective of this study is to scientometrically analyze production
on gamification in education from its first appearance until 2017. The
specific objectives are as follows:
■ To analyze the chronological productivity of gamification in
educational categories;
■ To analyze productivity according to the type of document on
gamification in educational categories;
■ To analyze the institutional productivity of gamification in
educational categories;
■ To analyze the editorial productivity of gamification in educational
categories;
■ To analyze the productivity of gamification in educational categories
according to the language of publication;
■ To analyze the adjustment of production according to the scientific
productivity zonal law; and
■ To analyze personal productivity on gamification in educational
categories.
Method
The scientometric method is a scientific discipline that, through analysis,
offers some indicators to analyze the progress and current scientific status
31. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
114
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
of a topic (Fernández-Cano and Bueno, 1999). It has been used by other
authors in their educational research and has been recognized in the
field (Gutiérrez-Braojos, Martín-Romera, Casasempere and Fernández-
Cano, 2015).
The method used to perform this scientometric analysis is adapted
from the one used by Michán and Muñoz-Velasco (2013), which
consists of five steps: recovery, migration, analysis, visualization and
interpretation. In this adaptation, the first two steps are performed only
once (as in the original), while the last three steps, analysis, visualization
and interpretation, are repeated for each objective.
The work shaping each step is as follows:
■ Recovery: selection of sources and resources, search and selection;
■ Migration: extraction, loading, cleaning and data processing;
■ Analysis: scientometric analysis, consultations, quantitative
treatment (scientometric and bibliometric indicators);
■ Visualization: parameters, identification; and
■ Interpretation: description, comparison and contextualization.
Samples
The study sample comprises scientific productions (articles and conference
papers) on gamification in education indexed in the Web of Science
(WoS) in education fields (from the first production in 2011 to 2017)
included under these categories: Education and Educational Research,
Education Scientific Disciplines, Social Sciences Interdisciplinary and
Psychology Educational. Therefore, the sample includes a total of 345
scientific productions (articles and conference papers) on educational
gamification recovered from the databases SCI-EXPANDED, SSCI, CPCI-S,
CPCI-SSH, ESCI.
Procedure
The indicators for the study variables focus on chronological production,
production according to the type of document, institutional production,
editorial production, production by language and distribution according
to the most used scientific production laws.
32. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
115
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
The information search began with a first search to determine the
number of scientific productions on educational gamification in the WoS
in the educational area categories mentioned above.
The next step was to decide the specific objectives and categories for the
information search. All productions were then extracted and organized in
a data matrix using SPSS version 25. The fundamental bibliographic data
of the WoS were examined, such as the type of document, year, authors,
institution, journal title, publisher, language and citations received. The
data were analyzed (both in SPSS and EXCEL) and interpreted to present
the results.
Results
To respond to both the general objective and the specific objectives, the
results are presented below. To facilitate reading the data, the analyses
are presented together with the interpretation of the data.
Chronological productivity
As seen, for the 2011-2017 period, we found a total of 345 indexed
documents, including articles and conference papers.The first publication
we found is dated 2011. The average for the period stands at 49.28 with a
deviation of 43.94. For the temporary coverage analyzed, we found three
important periods (Figure I).
The first (2011-2013) is characterized by limited production that
accounts for only 5.2% of the total production of documents. In the second
(2014-2016), production increases, representing 72.1% of total production.
Last, we observe the beginning of a third period (2017-onwards) in which
we notice a significant 22.6% decrease in the number of publications.
33. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
116
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
FIGURE I. Chronological productivity during 2011-2017
Source: the authors
One possible cause for this sharp decrease is the increase in the
rigor and quality of the publications; therefore, one must analyze the
phenomenon from a perspective based on the type of document in order
to understand the observation.
In terms of chronological productivity according to the type of
document, there is an increase in the scientific rigor of productions,
especially in 2016, when the number of conference papers begins to
decrease (91 in 2016 and 43 in 2017) compared to an increase in articles
(29 in 2016 and 32 in 2017). This implies, in the first case, a decrease of
-52.75% for papers and an increase of 10.34% for articles during the key
period 2016-2017.
34. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
117
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
FIGURE II. Chronological productivity according to type of document
Source: the authors
In view of these results and given the results in Figure II, Price’s
Law of exponential growth is not fulfilled due in large part to the fact
that it takes into account time spans in the form of five-year periods or
decades and that gamification is a relatively recent construct (dating only
to 2010). However, we can see a decrease in papers and an increase in
articles, which shows a fairly clear goal: improving the scientific quality
of published research.
Institutional Productivity
According to the data classified according to the document’s institution
of origin, we find that scientific production is focused on specific entities,
both for articles and for papers. For articles, production is concentrated at
6 producing universities. As shown in Table I, being a highly productive
institution does not ensure a greater impact, as in the case of Shu-te
University, which has 3.96% of the total production but an impact of only
14.25, while the University of Alcalá, with a lower production, has the
35. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
118
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
largest number of citations received with a calculated impact of 44.33,
the highest among all institutions.
TABLE I. Most relevant institutions based on article productivity
Institution Docs Percentage
Cita-
tions
Impact
index *
Shu-te University 4 3.96% 57 14.25
National Yunlin University of
Science Technology
3 2.97% 57 19
Universidad Europea Valencia 3 2.97% 18 6
University of Alcalá 3 2.97% 133 44.33
University of la Laguna 3 2.97% 3 1
UOC Open University of Catalonia 3 2.97% 1 0.33
Source: the authors. * = Calculated as Appointments/Docs
For conference papers, we found 4 leading production institutions.
As shown in Table II, the production of papers exceeds that of articles,
with the Universiti Teknologi Malaysia showing 6 indexed documents;
however, contrary to what happens with documents published with a
higher scientific rigor (such as articles), the citations generated and the
calculated impact are far from being considered relevant to the current
academic community.
TABLE II. Most relevant institutions based on conference paper productivity
Institution Docs Percentage Citations
Impact
index *
Universiti Teknologi Malaysia 6 2.41% 1 0.16
Lublin University of Technology 5 2% 8 1.5
European University of Valencia 5 2% 2 0.4
University West London 5 2% 2 0.4
Source: the authors. * = Calculated as Appointments/Docs
36. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
119
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Editorial productivity
Our analysis revealed a total of 65 publishers that brought together all
publications on gamification during the period analyzed (Table III). Of
these, 8 publishers stand out, with a total of 249 documents, that is,
72.12% of the total production on gamification. Likewise, we observed no
direct relationship between the number of publications and the citations
received. ELSEVIER, with 13 documents, lacks the greatest number of
citations compared to IATED, which, despite having 106 documents on
gamification, received a total of only 30 citations.
TABLE III. Most relevant publishers according to productivity
Publisher Docs Percentage Citations Impact index *
IATED 106 30.72% 30 0.28
ACAD 52 15.07% 66 1.26
IEEE 47 13.62% 228 4.85
ELSEVIER 13 3.76% 371 28.53
IGI GLOBAL 10 2.89% 15 1.5
ASSOC COMPUTING
MACHINERY
10 2.89% 10 1
TEMPUS 7 2.02% 16 2.28
WILEY 4 1.15% 67 16.75
Source: the authors. * = Calculated as Citations/Docs
Productivity by language
From the total of all documents identified, we note that documents on
gamification are published in 4 languages: English, Spanish, French
and Portuguese. Table IV shows that English is the language most
commonly used, with 76.47% (65) of the total contributions, followed
by Spanish, with 16.47% (14), and French and Portuguese, combined,
below 10%. For conference papers, this percentage is even more drastic
and significant, with English as the main language in 99.59% (246) of the
total contributions.
37. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
120
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
TABLE IV. Articles and conference papers published according to language
Language Articles Total% Communications Total%
English 65 76.47% 246 99.59%
French 2 2.35% - -
Portuguese 4 4.70% - -
Spanish 14 16.47% 1 0.40%
Source: the authors.
Zonal distribution according to Bradford’s law
As has been done thus far and to make a clear differentiation, the results
are shown in the two large groups analyzed.
In this case, to find the journals and conference papers with the greatest
producers of scientific activity related to gamification, the Bradfordian
distribution or division by Bradford zones is used. For Bradford, if the
analyzed producers are sorted in decreasing order, we can see a number
of journals or communications in “nucleus” conferences that accumulate
the largest amount of information and several zones that contain a
similar number of documents produced that follow, approximately, a
mathematical progression approximated to the form 1:n:n2
... (Bradford,
1934, 1948). Today, as recent research shows (Mangas-Vega, Gómez-Díaz
and Cordón-García, 2016), this continues to be a renowned method of
journal article or conference paper classification in the social sciences
(Palomo, Figueroa-Domecq and Laguna, 2017) and health sciences
(Thompson and Walker, 2015).
In our case, to observe the distribution of producing journals, we use
Bradford’s classic zonal classification, opting for a total of 3 zones: zone
1 or the nucleus and two other zones. Table V shows that 38% (32) of the
articles produced belong to a very delimited nucleus comprising, in this
case, 7 journals. We also found a second zone, amounting to 29% (25)
of them in approximately 12 journals, and a third zone with 32% (27)
comprising 27 journals. In this case, the progression obtained, n = 1.98,
is quite close to the one proposed in Bradford’s original model. That is,
we can conclude that even if we do not follow a quadratic geometric
progression (n = 2) such as the one proposed by Bradford, it is very close
38. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
121
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
to it. The journals that are part of the nucleus include the Bulletin of the
Technical Committee on Learning Technology, Computers Education
and Eurasia Journal of Mathematics Science and Technology Education,
all of them focused more on the technological field than purely on
education.
TABLE V. Distribution of production journals according to Bradford’s zones
Zones Journals
%
jour-
nals
Ar-
ticles
% ar-
ticles
Bradford
Multiplier
Zone 1 (Nucleus) 7 15% 32 38% -
Zone 2 12 26% 25 29% 1.71
Zone 3 27 59% 27 32% 2.25
TOTAL 46 100% 85 100% n =1.98
Magazines that are part of the nucleus
Journals Nº of articles
Bulletin of the Technical Committee on Learning Technology 5
Computers Education 5
Eurasia Journal of Mathematics Science and Technology Education 5
Journal of e-learning and Knowledge Society 5
Electronic Journal of e-learning 4
International Journal of Emerging Technologies in Learning 4
International Journal of Game-based Learning 4
Source: the authors.
In the same way, the most productive conferences are divided by
the chosen diachronic system. Table VI shows that 33% (74) of papers
presented on gamification are found in two main conferences. This is
followed by a second zone, comprising 7 conferences totaling 32% (71)
of papers and a third zone that includes 50 different conferences with
35% (78) productivity. Contrary to what occurs with journal articles,
the calculated distribution does not follow a quadratic mathematical
progression. In this regard, two producing conferences stand out: ICERI
39. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
122
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
(International Conference of Education, Research and Innovation) and
EDULEARN (International Conference on Education and New Learning
Technologies), both focused on the field of education.
TABLE VI. Distribution of producing conferences according to Bradford’s zones
Zones Conference
Accu-
mula-
ted%
Communi-
cations
Accu-
mula-
ted%
Brad-
ford
Multi-
plier
Zone 1 (Nucleus) 2 3% 74 33% -
Zone 2 7 12% 71 32% 3.5
Zone 3 50 85% 78 35% 7.14
TOTAL 59 100% 223 100% n=5.32
Conferences that are part of the nucleus
Conference
Nº of communi-
cations
International conference of education, research and innovation (ICERI). 40
EDULEARN: international conference on education and new learning
technologies.
34
Source: the authors.
Distribution of producers according to Lotka’s law
With respect to the authors, we verified if their distribution according to
their productivity conforms to the original model An=
A1
/ n2
proposed by
Lotka (1926) or fits a different model An=
A1
/ nm
, where An
is the number
of authors with n signatures, A1
is the number of authors with 1 signature
and nm
is the number of signatures squared. For Lotka, there are very few
authors who publish the majority of the studies, i.e., for high productivity
(n), the number of authors (An
) is low because both variables are inversely
proportional. According to their estimates, the scientific literature tends
to establish a progression of m = 2 in the majority of cases. In the rest
of the situations in which this distribution is not met, it proposes the
logarithmic function , where the intersection of the line equals the value
of m adapted to the case studied.
40. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
123
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
The observed and expected calculations are shown following Lotka’s
traditional theory (n2
) in addition to the theoretical model adapted to
the results obtained specifically in this study (Table VII). In addition,
following what Lotka proposes, the number of elite authors is calculated
using the square root of the total number of authors.
TABLE VII. Observed and expected results for Lotka’s traditional version and the calculated
version (articles)
Studies Authors AI
* AII
**
1 188 188 188
2 8 47 13
3 2 21 3
4 1 12 1
Total 199
Most productive authors *
Author Studies
Su, Chung-Ho 4
Marti-Parreno, José 3
De-Marcos, Luis 3
Source: authors’ own elaboration * AI
= Authors expected according to Lotka’s Law (m = 2), ** AII
= Authors expected
according to the adapted model (m = 3.8)
As observed, we cannot state that the results present a traditional
distribution as proposed by the author, but in our case, the distribution
followed by the data are equivalent to m=3.8 or, the equivalent, n3.8
. The
most productive authors, or “elites,” are those with 3 or more published
articles related to gamification.
For conference papers, the same procedure as previously performed
is followed, and the results are shown in Table VIII. As observed, the
distribution of the papers presented does not follow Lotka’s original
distribution; following the previous logarithmic representation, we obtain
a value of m = 3.6 for the sample analyzed. The most productive authors
are those with 6 or more studies.
41. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
124
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
TABLE VIII. Observed and expected results for Lotka’s traditional version and the calculated
version (papers)
Studies Authors AI
* AII
**
1 549 549 549
2 48 137.25 45.27
3 7 61 10.51
5 2 21.96 1.67
6 4 15.25 0.86
Total 610
Most productive authors *
Author Studies
Abdullah, Zaleha 6
Zaid, Norasykin Mohd 6
Marti-Parreno, Jose 6
Sanmugam, Mageswaran 6
Source: authors’ own elaboration * AI
= Authors expected according to Lotka’s Law (m = 2), ** AII
= Authors expected
according to the adapted model (m = 3.6)
Discussion and Conclusions
Our primary aim was to carry out the first study on the production and
consumption of gamification in the education field using its indexing
occurrences in the SCI-EXPANDED, SSCI, CPCI-S, CPCI-SSH, ESCI, and
SECT databases, from the first indexed publication on the topic (2011)
to 2017, to analyze the state and evolution of a topic that is booming in
classrooms. Other studies, such as those of Seaborn and Fels (2015), use
a meta-synthesis approach to present a comprehensive understanding
and consensus on the conceptualization of a study object, describing,
comparing and contrasting a matrix of sources on the topic that can
be qualitative, quantitative or of mixed nature (Jensen and Allen, 1996;
Heyvaert, M., Maes, B. and Onghena, 2013).
We observe that productions with more scientific rigor are increasing,
which confirms findings by Martí-Parreño, Seguí-Mas and Seguí-Mas
(2016) that recent years have seen an increase in academic interest in
42. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
125
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
gamification. This interest is supported by the 2018 Report on the state of
the educational system for the 2016/2017 academic year by the Ministry
of Education and Vocational Training, which indicates that the second
most requested course by teachers is gamification in the classroom,
which supports the growing interest of teachers in this methodology.
Our scientometric analysis has focused on analyzing chronological
productivity, productivity according to the type of document, according
to the publisher, the language and distribution of productions according
to Bradford and Lotka. We can mainly draw the following conclusions:
■ A decrease in the number of publications has been detected in
the last year because their quality increases. That is, there is an
exponential growth in their quantity and scientific rigor, thus
reducing the number of conference papers and increasing the
number of articles. This differentiation in terms of rigorousness is
found in Miguel (2012), who distinguished between a conference
paper and the publication of articles in specialized journals, where
there is an evaluation process of the quality of the articles to be
published, while conference papers have less academic rigor
because although there is an update, training and exchange of
information between professionals and scientists, sometimes these
papers are published as conference proceedings, which may or
may not undergo a review process that guarantees their quality.
Although this distinction cannot be made lightly, it depends on
other variables, such as the field or type of conference.
■ Regarding scientific production, one notable difference can be
observed in terms of quality, that is, the greater is the scientific rigor,
the lower the quantity of contributions and the greater their impact
(measured as citations received and impact), an effect observed in
this study.
■ There are institutions that accumulate a greater number of generated
scientific documents, both articles and papers, which, in addition,
bring together a larger number of citations and impact. Foreign
universities stand out over national ones in this respect.
■ As for production by language, we can say that it is not surprising
that the majority of contributions are in English because, as
indicated by Price (1971, 1986), more than half of the scientific
and philosophical literature is published in this language. This is
observed for both papers and articles.
43. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
126
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
■ With respect to the production distributed by Bradford’s zones in
conference papers and that does not follow a mathematical quadratic
progression, this may be due to the dynamics of conferences, which
tend to revolve around specific themes, and this may cause this type
of distortion of results.
■ Among authors, there is also a clear differentiation between those
who focus on more rigorous research (articles) and those whose
contributions are published in conference proceedings.
This article represents the first scientometric study of educational
gamification. Given the interest in the subject in education, the possibility
of carrying out another study of similar characteristics over a time period
of no less than five years to analyze the interest in and the production of
the topic during this period is considered.
With respect to an approach for future studies, we propose analyzing
gamification by education level, separately analyzing gamification in
elementary schools, high schools or in higher education, to determine its
influence by level and hoping that the literature will follow the expected
growth analyzed in this research.
References
Asensio, J. J.; Mora, A. M.; Fernández, A. J.; García-Sánchez, P.; Merelo, J.
J. y Castillo, P. A. (2014). Programar: aprendiendo a programar usando
videojuegos como metáfora para visualización de código. ReVisión.
Revista de Investigación en Docencia Universitaria de la Informática,
7(2), 93–103.
Attali, Y. y Arieli-Attali, A. (2015). Gamification in assessment: do points
affect test performance? Computers and Education, 83(1), 57-63.
Recuperado de http://doi.org/10.1016/j.compedu.2014.12.012.
Banfield, J., y Wilkerson, B. (2014). Increasing student intrinsic motivation
and self-efficacy through gamification pedagogy. Contemporary Issues
in Education Research, 7(4), 291-298.
Bradford, S. C. (1934). Sources of information on specific subjects.
Engineering, 137, 85-86.
44. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
127
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Bradford, S. C. (1948). Documentation. Londres: Crosby Lockwood.
Brewer, R., Anthony, L., Brown, Q., Irwin, G., Nias, J. y Tate, B. (2013).
Using gamification to motivate children to complete empirical studies
in lab environments. 12th International Conference on Interaction
Design and Children, New York, NY, pp. 388-391.
Bruder, P. (2015). Game on: gamification in the classroom. Education
Digest, 80(7), 50-56.
Christy, K. R. y Fox, J. (2014). Leaderboards in academic contexts: A test
of stereotype threat and social comparison explanations for women’s
math performance. Computers Education, 78, 66-77. Recuperado
de: http://dx.doi.ogr/10.106/j.compedu.2014.05.005.
Contreras-Espinosa, R. S. (2016). Juegos digitales y gamificación aplicados
en el ámbito de la educación. RIED. Revista Iberoamericana de
Educación a Distancia, 19(2), 27–33. Recuperado de: http://dx.doi.
org /10.5944/ried.19.2.16143.
Dale, S. (2014). Gamification: making work fun, or making fun of work?
Business Information Review, 31(2), 82-90. Recuperado de: http://doi.
org/10.1177/0266382114538350.
De-Marcos, L., Domínguez, A., Saenz-de-Navarrete, J. y Pagés, C. (2014).
An empirical study comparing gamification and Social networking on
e-learning. Computers Education, 75, 82-91. Recuperado de: http://
dx.doi.ogr/10.1016/j.compedu.2012.12.020.
Denny, P. (2013). The effect of virtual achievements on student
engagement. En Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems. CHI13’. ACM, París: Francia, pp. 763–
772.
Deterding, S. (2012). Gamification: designing for motivation. Interactions,
19(4), 14-17.
Deterding, S., Dixon, D., Khaled, R., Nacke, L. (2011). From game design
elements to gamefulness: defining gamification. In Proceedings of the
15th International Academic MindTrek Conference, pp. 9–15.
Deterding, S., Sicart, M., Nacke, L., O’Hara, K. y Dixon, D. (2011).
Gamification: using game-design elements in non-gaming contexts.
In Proceedings of the 2011 Annual Conference of Human Factors in
Computing Systems, pp. 2425-2428. Recuperado de: http://dx.doi.
org/10.1145/1979742.1979575.
Dib, H., y Adamo-Villani, N. (2014). Serious Sustainability Challenge
Game to Promote Teaching and Learning of Building Sustainability.
45. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
128
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Journal of Computing in Civil Engineering, 28, A40140071-
A401400711.
Fernández-Cano, A. y Bueno, A. (1999). Synthesizing scientometric
patterns in Spanish educational research. Scientometrics, 46(2), 349-
367.
Foncubierta, J. M., Rodríguez, C. (2016). Didáctica de la gamificación en
la clase de español. Editorial Edinumen. Recuperado de: https://www.
edinumen.es/spanish_challenge/gamificacion_didactica.pdf.
Gallego, F. J.; Villagrá, C. J.; Satorre, R.; Compañ, P; Molina, R. y Lorens,
F. (2014). Panorámica: serious games, gamificación y mucho más.
Re Visión. Revista de Investigación en Docencia Universitaria de la
Informática, 7(2), 13–23.
Gee, J. P. (2007). What video games have to teach us about learning and
literacy: Revised and updated edition. New York, NY: Macmillan.
Giannakos,M.N.(2013).Enjoyandlearnwitheducationalgames:Examining
factors affecting learning performance. Computers Education,
68, 429–439.
González, C.S., Gómez, N., Navarro, V., Cairós, M., Quirce, C., Toledo,
P. y Marrero-Gordillo, N. (2016). Learning healthy lifestyles through
active videogames, motor games and the gamification of educational
activities. Computers in Human Behavior, 55(A), 529-551. Recuperado
de: http://doi.org/10.1016/j.chb.2015.08.052.
Gutiérrez-Braojos, C., Martín-Romera, A., Casasempere, A. y Fernández-
Cano, A. (2015). Análisis cientimétrico de la Grounded Theory en
Educación. Revista de Educación, 370, 121-148.
Hanus, M.D. y Fox, J. (2015). Assessing the effects of gamification in
the classroom: a longitudinal study on intrinsic motivation, social
comparison, satisfaction, effort, and academic performance. Computers
Education, 80(1), 152-161. Recuperado de: http://doi.org/10.1016/j.
compedu.2014.08.019.
Heyvaert, M., Maes, B. y Onghena, P. (2013). Mixed methods research
synthesis: definition, framework, and potential. Quality Quantity,
47, 659–676.
Jensen, L. y Allen, M. (1996). Meta-synthesis of qualitative findings.
Qualitative Health Research, 6, 553–560.
Kapp, K.M. (2012a). Games, gamification, and the quest for learner
engagement. Training and Development, 66(6), 64-68.
46. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
129
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Kapp, K. M. (2012b). The gamification of learning and instruction: Game-
based methods and strategies for training and education. San Franciso,
CA: Pfieffer.
Koivisto, J. y Hamari (2014). Demographic differences in perceived
benefits from gamification. Computers in Human Behavior, 35, 179-
188. Recuperado de: http://doi.org/10.1016/j.chb.2014.03.007.
Lee, J. J. y Hammer, J. (2011). Gamification in education: what, how, why
bother? Academic Exchange Quarterly, 15(2), 146.
Lotka, A. (1926). The frequency distribution of scientific productivity.
Journal of the Washington Academy of Sciences, 16(12), 317-323.
Retrieved from http://www.jstor.org/stable/24529203.
Malone, T.W. (1980). What makes things fun to learn? Heuristics for
designing instructional computer games. In Proceedings of the 3rd
ACM SIGSMALL symposium and the first SIGPC symposium on Small
systems, pp. 162-169.
Malone, T. W., y Lepper, M. R. (1987). Making learning fun: A taxonomy of
intrinsic motivations for learning. Aptitude, learning, and instruction,
3, 223–253.
Mangas-Vega, A., Gómez-Díaz, R., y Cordón-García, J. A. (2016). Approach
to self-publishing with a combination of bibliometric study and social
network analysis techniques. The electronic library, 34(6), 902-914.
Martí-Parreño, J.; Seguí-Mas, D. y Seguí-Mas, E. (2016). Teachers’ Attitude
towards and Actual Use of Gamification. Procedia - Social and
Behavioral Sciences 228, 682 – 688.
Mekler, E.D., Bruhlmann, F., Opwis, K., Tuch, A.N. (2013). Do points,
levels and leaderboards harm intrinsic motivation? An empirical
analysis of common gamification elements. In Proceedings of the
First International Conference on Gameful Design, Research, and
Applications, 66–73.
Mekler, E.D., Bruhlmann, F., Tuch, A.N., Opwis, K. (2017). Towards
understanding the effects of individual gamification elements on
intrinsic motivation and performance. Computers in Human Behavior.
71, 525–534.
Michán, L. y Muñoz-Velasco, I. (2013). Scientometrics for the medical
sciences: Definitions, applications and perspectives. Revista de
Investigación En Educación Médica, 2(6), 100-106. Recuperado de
https://doi.org/10.1016/S2007-5057(13)72694-2.
47. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
130
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Miguel, S. (2012) Ponencias o artículos: ¿una tensión en la comunicación
científica? Anuario ThinkEPI, 6, 127-129.
Ministerio de Educación y Formación Profesional (2018) Informe sobre
el estado del sistema educativo del curso 2016/2017.
Mollick, E. R. y Rothbard, N. (2014). Mandatory fun: Consent, gamification,
and the impact of games at work, The Wharton School Research Paper
Series. Recuperado de: http://dx.doi.ogr/10.2139/sssm.2277103.
Palomo, J., Figueroa-Domecq, C. y Laguna, P. (2017). Women, peace and
security state-of-art: a bibliometric analysis in social sciences based
on SCOPUS database. Scientometrics, 113(1), 123-148. https://doi.
org/10.1007/s11192-017-2484-x.
Piaget, J. (1962). Play, dreams and imitation in childhood. New York:
W.W. Norton Co.
Price, D. J. S. (1986). Little Science, big science…and beyond. New York:
Columbia University Press.
Price, D. (1971). The expansion of scientific knowledge. Annals Of The
New York Academy Of Sciences, 184, 257-259.
Powers, K.L., Brooks, P.J., Aldrich, N.J., Palladino, M.A. y Alfieri, L. (2013).
Effects of video-game play on information processing: a meta-analytic
investigation. Psychonomic Bulletin Review, 20(6), 1055-1079.
Recuperado de: http://doi.org/10.3758.
Schacht, M., y Schacht, S. (2012). Start the Game: Increasing User
Experience of Enterprise Systems Following a Gamification Mechanism.
En A. Maedche, A. Botzenhardt, y L. Neer (Eds.), Software for People:
Fundamentals, Trends and Best Practices (pp. 181–199). Berlin,
Heidelberg: Springer Berlin Heidelberg. https://doi.org/10.1007/978-
3-642-31371-4_11.
Seaborn, K. y Fels, D. (2015). Gamification in theory and action: a survey.
International Journal of Human-Computer Studies, 74(1), 14-31.
Recuperado de: http://doi.org/10.1016/j.ijhcs.2014.09.006.
Simões, J., Díaz, R. y Fernández,A. (2013).A social gamification framework
for a K-6 learning platform. Computers in Human Behavior, Elsevier,
29(2), 345–353.
Su, C.H., y Cheng, C.H. (2015). A mobile gamification learning system
for improving the learning motivation and achievements. Journal of
Computer Assisted Learning, 31(3), 268–286.
Thompson, D. F., y Walker, C. K. (2015). A descriptive and historical
review of bibliometrics with applications to medical sciences.
48. Revista de Educación, 386. October-December 2019, pp. 109-131
Received: 11-10-2018 Accepted: 17-05-2019
131
Parra-González, M.E., Segura-Robles, A. Scientific production on gamification in education: a scientometric analysis
Pharmacotherapy: The Journal of Human Pharmacology and Drug
Therapy, 35(6), 551-559.
Trujillo, F. (2014) Nuevos aprendizajes. Nuevos artefactos para nuevos
aprendices. En F. Trujillo Sáez y Conecta13. Artefactos digitales: Una
escuela digital para la educación de hoy. Barcelona: Graó.
Wang, A. I. (2015). The wear out effect of a game-based student response
system. Computers Education, 82, 217-227. Recuperado de: http://
dx.doi.org/10.1016/j.compedu.2014.11.004.
Whitton, N. y Moseley, A. (2010). Using Games to Enhance Learning and
Teaching: A Beginner’s Guide. London: Taylor and Francis.
Contact address: Elena Parra González. Universidad de Granada, Facultad
de Educación, Economía y Tecnología de Ceuta, Métodos de Investigación y
Diagnóstico en Educación. C/. Cortadura del Valle s.n. CP: 51001 Ceuta. España.
E-mail: elenaparra@ugr.es