{rfName}
Ex

Indexado en

Licencia y uso

Citaciones

4

Altmetrics

Grant support

Open Access funding provided thanks to the CRUE-CSIC agreement with Springer Nature. This work is part of the preliminary tasks related to the Harvesting Visual Data (HVD) project (PID2021125051OB-I00) funded by the Ministerio de Ciencia e Innovacin of the Spanish Government.

Análisis de autorías institucional

Montalvo, JAutor (correspondencia)Garcia-Martin, AAutor o CoautorBescos, JAutor o Coautor

Compartir

3 de octubre de 2022
Publicaciones
>
Artículo
Hybrid Gold

Exploiting semantic segmentation to boost reinforcement learning in video game environments

Publicado en:MULTIMEDIA TOOLS AND APPLICATIONS. 82 (7): 10961-10979 - 2023-03-01 82(7), DOI: 10.1007/s11042-022-13695-1

Autores: Montalvo, Javier; Garcia-Martin, Alvaro; Bescos, Jesus

Afiliaciones

Univ Autonoma Madrid, VPULab, Ciudad Univ Cantoblanco, E-28049 Madrid, Spain - Autor o Coautor

Resumen

In this work we explore enhancing performance of reinforcement learning algorithms in video game environments by feeding it better, more relevant data. For this purpose, we use semantic segmentation to transform the images that would be used as input for the reinforcement learning algorithm from their original domain to a simplified semantic domain with just silhouettes and class labels instead of textures and colors, and then we train the reinforcement learning algorithm with these simplified images. We have conducted different experiments to study multiple aspects: feasibility of our proposal, and potential benefits to model generalization and transfer learning. Experiments have been performed with the Super Mario Bros video game as the testing environment. Our results show multiple advantages for this method. First, it proves that using semantic segmentation enables reaching higher performance than the baseline reinforcement learning algorithm without modifying the actual algorithm, and in fewer episodes; second, it shows noticeable performance improvements when training on multiple levels at the same time; and finally, it allows to apply transfer learning for models trained on visually different environments. We conclude that using semantic segmentation can certainly help reinforcement learning algorithms that work with visual data, by refining it. Our results also suggest that other computer vision techniques may also be beneficial for data prepossessing. Models and code will be available on github upon acceptance.

Palabras clave

Domain adaptationReinforcement learningSemantic segmentationSynthetic data

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista MULTIMEDIA TOOLS AND APPLICATIONS debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2023, se encontraba en la posición , consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Media Technology.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir del Field Citation Ratio (FCR) de la fuente Dimensions, arroja un valor de: 1.15, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: Dimensions Aug 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-08-07, el siguiente número de citas:

  • WoS: 1
  • Scopus: 3

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-08-07:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 14.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 14 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 0.25.
  • El número de menciones en la red social X (antes Twitter): 1 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://repositorio.uam.es/handle/10486/704109

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (MONTALVO RODRIGO, JAVIER) y Último Autor (BESCOS CANO, JESUS).

el autor responsable de establecer las labores de correspondencia ha sido MONTALVO RODRIGO, JAVIER.