Smoothing methods for the treatment of digital texts

Abstract

ONTARE. REVISTA DE INVESTIGACIÓN DE LA FACULTAD DE INGENIERÍA This article describes the exploration task known as smoothing for statistical language representation. It also reviews some of the state- of-the-art methods that improve the representation of language in a statistical way. Specifically, these reported methods improve statistical models known as N-gram models. This paper also shows a method to measure models in order to compare them.

ONTARE. REVISTA DE INVESTIGACIÓN DE LA FACULTAD DE INGENIERÍA En este artículo, se describe la tarea de exploración conocida como el suavizado de la representación en lenguaje estadístico. Se hace un estado del arte sobre algunos de los métodos de última generación, que mejoran la representación del lenguaje de una manera estadística. En concreto, estos métodos reportados, mejoran los modelos estadísticos conocidos como modelos de N-gram. Este trabajo también muestra un método para medir los modelos, con el fin de hacer una comparación entre ellos.