Evaluación de resúmenes de textos narrativos y expositivos utilizando Análisis Semántico Latente

Abstract

El objetivo de este trabajo es identificar un método de evaluación automática de resúmenes realizados a partir de textos de tipo narrativo y expositivo en español. Para llevar a cabo esta tarea se correlaciona la evaluación realizada por tres docentes a 373 resúmenes con los resultados entregados por el análisis semántico latente. Los puntajes asignados por el análisis semántico latente se obtienen utilizando tres métodos 1) Comparación de los resúmenes con el texto fuente, 2) Comparación de los resúmenes con un resumen consensuado 3) Comparación de los resúmenes con tres resúmenes construidos por tres evaluadores. Entre los resultados más relevantes se destacan: a) una alta correlación entre la evaluación realizada por los evaluadores ( 0,63); b) una alta correlación entre los métodos computacionales utilizados ( 0,62) y c) una correlación promedio positiva media-alta entre las evaluaciones realizadas por los docentes y el análisis semántico latente en el segundo y tercer método ( 0,53 en ambos casos y tipos de textos). Ambos métodos presentaron mayor correlación promedio con los evaluadores cuando los textos evaluados eran predominantemente narrativos ( 0,59 y 0,45 respectivamente).

The objective of this study is to identify a method for the automatic evaluation of the summaries developed from narrative and expository Spanish texts. In order to fulfill this task evaluation of 373 summaries carried out by three teachers is correlated with the results delivered by latent semantic analysis. Scores assigned by the latent semantic analysis are obtained through three methods: 1) Comparison of the summaries with the source text, 2) Comparison of the summaries with a consensuated one, 3) Comparison of the summaries with three summaries developed by three evaluators. The most relevant results include: a) a high correlation between assessments by the evaluators (:0.63), b) a high correlation between the computational methods used (:0.62) and c) a positive medium-high average correlation between assessments undertaken by the teachers and the latent semantic analysis in the second and third method (;0.53 in both cases and types of texts). Both methods presented greater average correlation with testers when the texts evaluated were predominantly narratives (;0.59 and 0.45 respectively).