¿Cuál es el nivel de papel ACL?
Durante los últimos tres años, DAMO Academy ha estado avanzando en la investigación académica y la aplicación de la inteligencia artificial. Ya sea en cumbres académicas internacionales y diversos concursos, o en la promoción de la comercialización de resultados académicos, ha obtenido resultados sobresalientes, atrayendo así a los mejores investigadores científicos en el campo de la inteligencia artificial para que se reúnan aquí.
¡Creo que todo el mundo está lleno de curiosidad sobre el trabajo de investigación que actualmente llevan a cabo estos destacados investigadores!
El 9 de julio (por la tarde) de 19:30 a 21:00, "AI Technology Review" unirá fuerzas con Alibaba DAMO Academy, junto con la presencia igualmente "firme" del Grupo Alibaba en la investigación académica, Alibaba Security. ¡Presentando una transmisión en vivo de "Interpretación en papel de la serie ACL 2020 y especial de Alibaba"!
Para entonces, seis expertos senior en algoritmos, ingenieros de algoritmos y pasantes de investigación del equipo de tecnología de inteligencia artificial de Alibaba DAMO Academy y el equipo de inteligencia de seguridad de Alibaba se centrarán en el aprendizaje multitarea, la clasificación de texto de pocas muestras y la clasificación basada en tareas. Diálogo, traducción automática neuronal, extracción de conocimientos, segmentación y anotación de palabras entre dominios y otras subdivisiones de PNL, ¡lo que le ofrece un festín de interpretación en papel!
¿Con quién comparte el invitado esta vez? Anunciado uno por uno a continuación: * * * *Tema compartido: SpanMlt: un marco de aprendizaje multitarea basado en la extracción por pares de palabras de atributos y palabras de opinión basadas en intervalos* * * *Invitado compartido: Huang.
Contenido compartido:
La extracción de palabras de atributos y palabras de opinión son dos cuestiones clave en el análisis de sentimiento basado en atributos (ABSA) detallado. Los pares de aspectos y opiniones pueden proporcionar a los consumidores y a los sistemas de extracción de opiniones perfiles globales de productos o servicios relacionados. Sin embargo, sin palabras de atributo y palabras de punto de vista determinadas, los métodos tradicionales no pueden generar directamente pares atributo-palabra vista. Aunque los investigadores han propuesto recientemente algunos * * * métodos de extracción para extraer conjuntamente palabras de atributos y palabras de opinión, no pueden extraer ambas en pares. Por lo tanto, este artículo propone un método de un extremo a otro para resolver la extracción por pares de palabras de atributo y palabras de opinión. Además, este artículo aborda este problema desde la perspectiva de la extracción conjunta de palabras y relaciones, en lugar del enfoque de etiquetado de secuencias implementado en la mayoría de los trabajos anteriores. Proponemos un marco de aprendizaje multitarea basado en tramos compartidos para extraer palabras bajo la supervisión de límites de tramo. Al mismo tiempo, la representación de tramo se utiliza para identificar conjuntamente relaciones de emparejamiento. Amplios experimentos muestran que nuestro modelo siempre supera a los métodos SOTA.
Contenido compartido:
El trabajo existente a menudo utiliza métodos de metaaprendizaje para obtener la capacidad de aprendizaje en pocas oportunidades al cambiar entre una serie de metatareas, pero las diferencias entre tareas. Causará problemas de olvido, por lo que consideramos utilizar un mecanismo de memoria para ayudar al entrenamiento de metaaprendizaje. En este trabajo, utilizamos los parámetros de clasificación obtenidos mediante el aprendizaje supervisado como la memoria global del metaaprendizaje y proponemos un algoritmo de enrutamiento de memoria dinámica para integrar la información de la memoria global en las etapas de entrenamiento y predicción de metatareas basadas en el enrutamiento dinámico. Además, el algoritmo de enrutamiento de memoria dinámica también puede utilizar información de consulta para mejorar la capacidad de representación de categorías inductivas y tiene un mejor rendimiento de generalización para la expresión de diversidad lingüística en escenas habladas. Los resultados de STOA se obtuvieron en una pequeña muestra de un conjunto de datos de tareas de clasificación de escenas en chino e inglés.
Tema para compartir: las acciones y respuestas de diálogo multidominio se generan conjuntamente* * * *Invitado para compartir: Tian Junfeng.
Compartir contenido:
En las conversaciones basadas en tareas, es importante dar una respuesta fluida e informativa. Los métodos de canalización existentes generalmente primero predicen múltiples acciones de diálogo y luego usan sus representaciones globales para ayudar a la generación de respuestas. Este método tiene dos defectos: primero, ignora la estructura intrínseca de múltiples dominios al predecir acciones de diálogo; segundo, no considera la conexión semántica entre las acciones de diálogo y las respuestas al generar respuestas. Para abordar estos problemas, proponemos un modelo de generación de articulaciones neuronales que puede generar acciones y respuestas conversacionales simultáneamente. A diferencia de los métodos anteriores, nuestro módulo de generación de acciones de diálogo puede mantener la estructura jerárquica de acciones de diálogo multidominio, y nuestro módulo de generación de respuestas puede centrarse dinámicamente en acciones de diálogo relacionadas. Durante el entrenamiento, utilizamos una función de pérdida de incertidumbre para ajustar de forma adaptativa los pesos de las dos tareas. Los resultados experimentales en el conjunto de datos MultiWOZ a gran escala muestran que este modelo es superior al modelo SOTA tanto en la evaluación automática como en la evaluación manual.
* * * *Tema compartido: Modelo profundo colaborativo a múltiples escalas de traducción automática neuronal* * * * *Invitado compartido: Wei··* *
En los últimos años, el método de traducción automática neuronal (NMT) ha se caracteriza por su excelente rendimiento de traducción y ha reemplazado a los métodos de traducción automática estadística en una gran cantidad de escenarios de aplicación. En la actualidad, los factores que restringen el rendimiento de los modelos NMT incluyen principalmente la capacidad de expresión de características y la escala de datos del modelo. Por lo tanto, proponemos un modelo de traducción automática neuronal profunda basado en el mecanismo de cooperación de múltiples escalas (MSC) para mejorar la capacidad de modelado del modelo de características de bajo nivel (concretas) y alto nivel (abstractas).
Los experimentos muestran que (1) el mecanismo de cooperación a múltiples escalas ayuda a construir modelos NMT profundos y mejorar su rendimiento. (2) El modelo NMT profundo basado en el mecanismo MSC puede traducir mejor oraciones en lenguaje natural con estructuras semánticas complejas.
* * * *Tema para compartir: Extracción de conocimientos a nivel estructural para el etiquetado de secuencias multilingües* * * * *Invitado para compartir: Wang Xinyu* *
El etiquetado de secuencias multilingües es un proyecto que utiliza un único modelo unificado para la tarea de predecir secuencias de etiquetas multilingües. En comparación con depender de múltiples modelos monolingües, el uso de modelos multilingües tiene las ventajas de un tamaño de modelo pequeño, servicio en línea sencillo y generalización a idiomas de bajos recursos. Sin embargo, debido a las limitaciones en la capacidad del modelo, los modelos multilingües actuales siguen siendo muy inferiores a los modelos monolingües. Este artículo propone extraer el conocimiento estructurado de múltiples profesores en un estudiante multilingüe unificado, reduciendo así la brecha entre los modelos monolingües y los modelos multilingües unificados. Propusimos dos métodos de extracción de conocimiento basados en información jerárquica estructural:
* * * *Tema para compartir: anotación remota y entrenamiento de acoplamiento adversario para la segmentación de palabras chinas entre dominios* * * * *Invitado para compartir: Ding Ning* *
Los métodos neuronales totalmente supervisados han logrado grandes avances en las tareas de segmentación de palabras chinas. Sin embargo, si la migración de dominios se debe a diferencias de distribución entre dominios y problemas de OOV (palabras fuera de conjunto), entonces el rendimiento del modelo supervisado se reduce considerablemente. Para aliviar este problema en tiempo real, este artículo combina intuitivamente la anotación remota de la segmentación de palabras chinas entre dominios con el entrenamiento adversario.
¡El 9 de julio, seis invitados de Alibaba estarán contigo!
ACL 2020 estaba originalmente programada para celebrarse en Seattle, Washington, EE. UU., del 5 al 10 de julio de 2020, pero se cambió a una conferencia en línea debido a la epidemia de COVID-19. Para promover los intercambios académicos y facilitar que los profesores y estudiantes nacionales comprendan de antemano la investigación de vanguardia en el procesamiento del lenguaje natural (PNL), "AI Technology Review" lanzará el contenido "ACL Lab Series Paper Interpretation" Más laboratorios son bienvenidos. participa compartiendo, ¡así que estad atentos!