{rfName}
Au

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

15

Altmetrics

Análisis de autorías institucional

Martínez-Huertas JAutor o CoautorOlmos RAutor o CoautorLeón JAutor o Coautor

Compartir

29 de marzo de 2019
Publicaciones
>
Artículo
Sí

Automated summary evaluation with inbuilt rubric method: An alternative to constructed responses and multiple-choice tests assessments

Publicado en:Assessment & Evaluation in Higher Education. 44 (7): 1029-1041 - 2019-10-03 44(7), DOI: 10.1080/02602938.2019.1570079

Autores: Martínez-Huertas J; Jastrzebska O; Olmos R; León J

Afiliaciones

Universidad Autónoma de Madrid - Autor o Coautor

Resumen

© 2019, © 2019 Informa UK Limited, trading as Taylor & Francis Group. Automated summary evaluation is proposed as an alternative to rubrics and multiple-choice tests in knowledge assessment. Inbuilt rubric is a recent Latent Semantic Analysis (LSA) method that implements rubrics in an artificially-generated semantic space. It was compared with classical LSA’s cosine-based methods assessing knowledge in a within-subjects design regarding two validation sources: a comparison with the results of rubric scores and multiple-choice tests, and the sensitivity of predicting the academic level of the test-taker. Results showed a higher reliability for inbuilt rubric (from Pearson correlation coefficient.81 to.49) over the classical LSA method (from.61 to.34), and a higher sensitivity using binary logistic regressions and effect sizes to predict academic level. It is concluded that inbuilt rubric has a qualitatively higher reliability and validity than classical LSA methods in a way that is complementary to models based on semantic networks. Thus, it is concluded that new automated summary evaluation approaches such as the inbuilt rubric method can be practical in terms of reliability and efficiency, and, thus, they can offer an affordable and valuable form of knowledge assessment in different educational levels.

Palabras clave

Automated summary evalutionDimensionsInbuilt rubricLatent semantic analysisMultiple-choice testsRubricsSummaries

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Assessment & Evaluation in Higher Education debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2019, se encontraba en la posición 56/263, consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Education & Educational Research.

2025-07-18:

  • Google Scholar: 5
  • WoS: 4
  • Scopus: 6

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-07-18:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 40.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 40 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 1.25.
  • El número de menciones en la red social X (antes Twitter): 1 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (MARTINEZ HUERTAS, JOSE ANGEL) y Último Autor (LEON CASCON, JOSE ANTONIO).