En el ejemplo de la izquierda, S1 corresponde a tres traslaciones diferentes, (S1, T1) (S1, T2) (S1, T3 T4), y su entropía es relativamente grande. Reemplazamos todas las traducciones correspondientes con una palabra especial "stokens 4s 1" para reducir la entropía de las traducciones de palabras. A la derecha, proponemos tres métodos para mejorar el rendimiento de la traducción, incluido el entrenamiento previo, el aprendizaje multitarea y la decodificación de dos pasos. Si estás interesado, puedes leer el periódico.
A juzgar por los resultados experimentales, en comparación con Transformer, la calidad de la traducción chino-inglés ha mejorado significativamente y la proporción de traducciones faltantes de palabras de alta entropía ha disminuido significativamente.
Datos dispersos
El segundo desafío es la escasez de datos. Este problema es más grave para la traducción de redes neuronales que para la traducción automática estadística. Los experimentos muestran que las redes neuronales son más sensibles a la cantidad de datos.
Apuntando al problema de la escasez de datos, se propone un modelo de traducción multilingüe de aprendizaje multitarea. En la traducción multilingüe, el idioma de origen * * disfruta de un codificador y, en el lado de la decodificación, se utilizan diferentes decodificadores para diferentes idiomas. De esta manera, la información del codificador se compartirá en el idioma de origen, aliviando así el problema de la escasez de datos. Posteriormente, la Universidad de Montreal, Google, etc. Se han realizado algunos trabajos en esta dirección.
Los experimentos muestran que este método converge más rápido y la calidad de la traducción mejora significativamente. Por favor lea el periódico para más detalles.
Este artículo es el mejor artículo sobre EMNLP en 2018 y propone un marco unificado. a) Los puntos azules y los puntos rojos representan dos oraciones en idiomas diferentes, respectivamente. ¿Cómo construir un sistema de traducción a partir de datos monolingües en dos idiomas?
Primero necesito hacer una inicialización, b) es la inicialización. Primero, cree un diccionario que alinee las palabras entre los dos idiomas. c) es un modelo de lenguaje. A partir de datos monolingües, se pueden entrenar modelos lingüísticos para medir la fluidez en este idioma. Entonces, ¿qué es d)? d) es una técnica llamada retrotraducción, que es un método comúnmente utilizado para mejorar los datos.
El diccionario construido después de la inicialización en b) se puede traducir de un idioma a otro, incluso si se basa en palabras en primer lugar. Luego, la traducción se compara con un modelo de idioma en otro idioma. Luego seleccione las oraciones con puntuaciones más altas y tradúzcalas. Este proceso se llama retrotraducción y luego se utiliza el modelo de lenguaje del idioma original para medir si la oración es buena o no. A través de esta ronda de iteraciones, los datos mejorarán cada vez más y la calidad de traducción del sistema también mejorará cada vez más.
Introducir el conocimiento
El tercer desafío es introducir el conocimiento. Cómo introducir conocimientos más ricos en los modelos de traducción es un desafío a largo plazo al que se enfrenta la traducción automática. En este ejemplo, la frase china "Crossflow" correspondiente al idioma de destino no está traducida, está marcada con una etiqueta especial llamada UNK (palabra desconocida).
Entonces, ¿qué hacemos? Introducimos varios tipos de conocimiento. El primero se llama lista de frases o lista de palabras. Si encontramos que la palabra "corriente cruzada" no ha sido traducida, la buscaremos en este diccionario y la introduciremos como un conocimiento externo. Al mismo tiempo, también presentamos un modelo de lenguaje para medir si la oración en el idioma de destino es fluida. Al mismo tiempo, presentamos la función de bonificación por extensión para recompensar las oraciones largas. Porque cuanto más larga sea la frase, menos información es probable que se pierda. Este trabajo introduce por primera vez las características de la traducción automática estadística en la traducción de redes neuronales y puede utilizarse como marco para introducir conocimientos.
Pero la introducción actual al conocimiento es todavía muy superficial. La introducción del conocimiento requiere un trabajo mayor y más profundo. Por ejemplo, esta frase es ambigua. Cuando no se da el contexto de "China y Pakistán", es imposible decir a qué país se refiere "Pakistán".
Pero la siguiente frase tiene una salvedad: "marco BRIC". En este momento la gente sabrá traducir. ¿Pero puede saberlo una máquina? Puedes ir al motor de traducción para verificarlo. Porque la gente conoce China y qué países son BRICS, pero las máquinas no tienen este conocimiento. Cómo impartir este conocimiento a las máquinas es un problema muy desafiante.
Otro desafío es la interpretabilidad: ¿la traducción de redes neuronales es Dios o nervios? Aunque las personas pueden optimizar el sistema y mejorar la calidad diseñando y ajustando la estructura de la red. Sin embargo, existe una falta de comprensión profunda de este método.
También hay mucho trabajo intentando estudiar el funcionamiento interno de la red. La Universidad de Tsinghua tiene un artículo que lo estudia desde la perspectiva de la atención.
Por ejemplo, en el ejemplo de la izquierda, hay un UNK. ¿Cómo se formó la UNK? Aunque no hay traducción, aparece en el lugar correcto y ocupa una posición. A través de la correspondencia de atención podemos ver que este UNK corresponde al país deudor. El ejemplo de la derecha es un fenómeno de traducción repetida. Además de las traducciones que a menudo faltan, la traducción automática de redes neuronales también suele repetir las traducciones. Por ejemplo, hay dos "historias". Luego, a través de esta correspondencia, podemos ver que la "historia" de la sexta posición se repite. Su aparición no solo está relacionada con la primera posición "americana" y la segunda posición "historia", sino también con la ubicación de la quinta. está relacionado con "el". Debido al artículo definido "el", la modelo cree que este lugar debería tener "historia". Este artículo realiza una gran cantidad de análisis sobre tales casos y brinda algunos resultados de análisis y soluciones. Para obtener más información, lea el artículo original. El quinto desafío al que se enfrenta la traducción automática desde hace mucho tiempo es la traducción de textos. La mayoría de los sistemas de traducción utilizan ahora métodos de traducción basados en oraciones, que traducen oración por oración. La traducción de estas tres frases por sí sola es aceptable. Pero cuando se ven juntos, se sienten rígidos e incoherentes.
Traducción de textos
El quinto desafío al que se enfrenta la traducción automática desde hace mucho tiempo es la traducción de textos. La mayoría de los sistemas de traducción utilizan ahora métodos de traducción basados en oraciones, que traducen oración por oración. La traducción de estas tres frases por sí sola es aceptable. Pero cuando se ven juntos, se sienten rígidos e incoherentes.
La salida de nuestro método. Se puede observar que la adición de artículos definidos y pronombres mejora la coherencia entre oraciones.
Proponemos un método de decodificación en dos pasos. En la primera ronda de decodificación, los resultados de traducción preliminares de cada oración se generan por separado. En la segunda ronda de decodificación, los resultados de la primera ronda de traducción se utilizan para pulir el contenido de la traducción y se propone un modelo de aprendizaje mejorado para recompensar los modelos. que producen traducciones más fluidas. Esta es la salida de nuestro sistema. En general, la fluidez ha mejorado.
Enlace original: /q4TY autor | Wu Yijun, fuente de Xia Yingce | Titulares de IA de Microsoft Research (ID: MSRAsia) Nota del editor: en la actualidad, los datos monolingües sin etiquetar en el idioma de destino se han utilizado ampliamente en la traducción automática. tarea en curso. Sin embargo, una vez que los datos sin etiquetar en el idioma de destino se utilizan de manera inapropiada, pueden tener un impacto negativo en los resultados del modelo. Para utilizar eficazmente datos monolingües a gran escala en los idiomas de origen y de destino, Microsoft Research Asia hizo recomendaciones en un artículo publicado en EMNLP 2019. ...
Continuar visitando
Tencent AI Lab Tu Zhaopeng: Cómo mejorar la fidelidad de la traducción de redes neuronales + PPT + vídeo adjunto
Este artículo es Un investigador principal de Tencent AI Lab Tu compartió la grabación en vivo de la 22ª charla de doctorado el 4 de junio de 65438. La traducción automática es una de las tareas clásicas del procesamiento del lenguaje natural. Implica dos cuestiones básicas del procesamiento del lenguaje natural: la comprensión del lenguaje y la generación del lenguaje. La modelización de estas dos cuestiones se corresponde directamente con los dos indicadores de evaluación de la traducción: fidelidad (si el texto original se expresa íntegramente) y fluidez (si la traducción es fluida). En los últimos años, la traducción automática de redes neuronales ha logrado grandes avances y se ha convertido en un modelo convencional. Porque las redes neuronales pueden aliviar la escasez y la captura de datos
Continuar visitando
Información seca|Para traducción automática, leer este artículo es suficiente.
Acerca del autor Yu Qian es ingeniero de algoritmos en el Departamento de I+D de Big Data de Ctrip. Es el principal responsable de la investigación y aplicación de la traducción automática. Actualmente se centra en soluciones maduras para el procesamiento del lenguaje natural en campos verticales. . El desarrollo de la tecnología de traducción automática siempre ha estado estrechamente relacionado con la tecnología informática, la teoría de la información, el lenguaje...
Continuar visitando
El principio del algoritmo de red neuronal artificial, un ejemplo de algoritmo de red neuronal artificial
4.2 Ventajas y desventajas de las redes neuronales artificiales Las redes neuronales artificiales simulan la organización de las neuronas cerebrales y tienen algunas características básicas de las funciones del cerebro humano, lo que abre nuevas vías para la investigación de la inteligencia artificial. Las ventajas de las redes neuronales son: (1) Procesamiento distribuido en paralelo.
Dado que la disposición de las neuronas en las redes neuronales artificiales no es caótica, sino que a menudo es jerárquica o está dispuesta en un orden regular, las señales pueden llegar a los terminales de entrada de un grupo de neuronas al mismo tiempo. Esta estructura es muy adecuada para la computación paralela. (3) Robustez y tolerancia a fallas. Debido al uso de una gran cantidad de neuronas y sus interconexiones, tiene la capacidad de memoria asociativa y mapeo asociativo, lo que puede mejorar la tolerancia a fallas del sistema experto. La falla o error de una pequeña cantidad de neuronas en la red neuronal artificial no afectará seriamente el funcionamiento general del sistema. ..
Continuar visitando
Extensión Neural Translation Notes 5 b. Técnicas de traducción automática de uso común
Directorio de artículos neuro Translation Notes 5 Extensión b. combinaciones de técnicas Decodificación de datos monolingües aplicación reordenación dominio adaptación referencia neuro Notas de traducción 5 Extensión Técnicas comunes de traducción automática Esta sección presenta métodos comunes para mejorar el efecto de los sistemas de traducción automática. Algunos de estos métodos son en realidad técnicas comunes en el aprendizaje profundo, algunos se propusieron poco después del surgimiento de la traducción neuronal y todavía se utilizan hoy en día después de varios desarrollos, y algunos incluso aparecieron en la era de la traducción estadística. En cualquier caso, estos métodos existen independientemente de la arquitectura del modelo, lo que no solo puede mejorar el efecto del modelo, sino que también muestra una vitalidad tenaz y una buena versatilidad. Esta sección se refiere a las tres secciones del "Comentario NMT" de Cohen: 13.6.1, 13.6.3, 13.6.7, y se elabora según preferencias personales.
Continuar visitando
Desde la Guerra Fría hasta el aprendizaje profundo, puede comprender la historia del desarrollo de la traducción automática en un solo texto.
Haga clic en "CSDN" arriba, seleccione "Fijar cuenta oficial de WeChat" para el momento crítico y recíbalo lo antes posible. Recordatorio amistoso del editor de CSDN: le llevará al menos una semana leer este artículo. Recopile ~~~ imágenes de Internet con anticipación. En general, abro Google Translate el doble que Facebook. Para mí, la traducción en tiempo real ya no es una trama exclusiva del "cyberpunk", sino que se ha convertido en parte de nuestra vida real. Cuesta imaginar que después de un siglo de duro trabajo se hayan implementado los algoritmos de traducción automática y que la mitad de ese tiempo ni siquiera éramos conscientes del desarrollo de esta tecnología. Congsou
Continuar visitando
Limitaciones de la traducción automática
1. Dificultad para identificar la polisemia. La polisemia se refiere a la información que las personas envían en comunicación en diferentes contextos. puede tener muchos significados diferentes. Este es el problema más básico y difícil de la traducción automática. Por ejemplo, decirle a su marido que hoy es sábado puede ser para recordarle a sus hijos que se lo digan a sus padres, o puede ser porque sus hijos quieren relajarse y salir a jugar. El jefe les dijo a los trabajadores migrantes que hoy podría estar trabajando horas extras. Viniendo de la boca de un estudiante con exceso de trabajo, podría ser una referencia a dormir hasta tarde hoy. Puede que haya más ejemplos en el juego anterior, pero eso es todo.
Continuar visitando
Tecnología de traducción automática de redes neuronales y sus aplicaciones (1)
He Zhongjun, jefe de tecnología de traducción automática de Baidu. Este artículo está compilado en base al informe especial del autor en la Cumbre Global de Arquitectos en febrero de 2018. Este informe se divide en las siguientes cinco partes: los principios básicos de la traducción automática, la introducción de los principios, los principales desafíos, el proceso de desarrollo y los métodos de evaluación de la traducción automática, y la introducción de los desafíos técnicos de la traducción automática basada en redes neuronales que han surgido rápidamente en últimos años. Aunque la traducción automática basada en redes neuronales ha logrado una serie de avances significativos, todavía enfrenta muchos desafíos en aplicaciones típicas, traducción automática en producción,...
Continuar visitando
Discusión La superficialidad de la traducción automática
Traducción | editor shawn | Introducción al campo base de tecnología de inteligencia artificial de Bobo y Qifei Aunque la traducción automática obviamente no puede reproducir el contenido tan esperado, tenemos que admitir que ayuda a las personas a conocer rápidamente el significado de las palabras. cierta comodidad. Curiosamente, tanto los informes de los medios como la industria parecen estar creando una atmósfera en la que la traducción automática está a punto de reemplazar a la traducción humana, dando a la gente la ilusión de que esto está a punto de serlo. Algunos quieren levantar el velo del optimismo ciego. El académico estadounidense Hofstadter, ganador del premio Pulitzer por su libro "Gödel, Escher y Bach", es uno de ellos. Besó su cuerpo consigo mismo.
Continuar visitando
Revisión y perspectivas de la tecnología de traducción automática | Observación de la industria
¿Te encanta hoy? Concéntrese en: inteligencia para la toma de decisiones y aprendizaje automático, aprenda algunas cosas sobre IA todos los días* * *: 2497 palabras, 7 imágenes, tiempo estimado de lectura: 7 minutos.