Recurrent Neural Network Based Language Model

[luis.negrete.g]

En el siguiente artículo, se presenta un nuevo modelo de lenguaje basado en red neuronal recurrente (RNN LM) con aplicaciones para reconocimiento de voz. Los resultados indican que es posible obtener alrededor del 50% de reducción de la perplejidad mediante el uso de la mezcla de varios RNN LM, en comparación con un modelo de lenguaje de respaldo del estado de la técnica. Los experimentos de reconocimiento de voz muestran una reducción del 18% de la tasa de errores en la tarea del Wall Street Journal al comparar modelos entrenados en la misma cantidad de datos, y alrededor del 5% en la tarea NIST RT05 mucho más difícil, incluso cuando el modelo de retroceso está entrenado con muchos más datos que el RNN LM. Se proporciona una amplia evidencia empírica para sugerir que los modelos de lenguaje conexionista son superiores a las técnicas de n-grama estándar, excepto por su alta complejidad computacional (de entrenamiento).