Modelo de intereses múltiples de la etapa de recuerdo: mente
El trabajo de este artículo se encuentra en la etapa de recuperación para satisfacer la recuperación efectiva de elementos de interés de los usuarios. Es muy importante construir un modelo de interés del usuario y encontrar expresiones de interés del usuario, pero debido a la diversidad de intereses de los usuarios, esto no es fácil.
Algunos métodos existentes para expresar los intereses de los usuarios:
1. Los métodos basados en el filtrado colaborativo expresan los intereses de los usuarios a través de elementos interactivos históricos o factores ocultos: encontrarán problemas dispersos y computacionales.
2. Los métodos basados en el aprendizaje profundo utilizan vectores de incrustación de baja dimensión para representar los intereses del usuario;
El autor cree que esto es un cuello de botella para la expresión de múltiples intereses porque toda la información relacionada con Los intereses múltiples del usuario deben comprimirse en un vector de representación, de modo que toda la información sobre los intereses múltiples del usuario se mezcle, lo que resulta en una detección de elementos inexacta en la etapa de recuperación.
3.DIN agrega ingenio de atención basado en la incrustación: sin embargo, el mecanismo de atención necesita recalcular la representación del usuario para cada elemento de destino, por lo que no se puede utilizar en la etapa de recuperación.
Acerca de la red de cápsulas:
Algoritmo de enrutamiento dinámico entre cápsulas El núcleo del algoritmo de cápsula de enrutamiento dinámico radica en el método de actualización del parámetro B: al actualizar parámetros, funciones de bajo nivel y. La salida se considera al mismo tiempo que las características de la cápsula, porque son vectores. Cuando están en la misma dirección, es decir, su similitud es alta, las características actuales de bajo nivel pueden reflejar mejor las características de la imagen y el producto es positivo. y el peso de B aumenta, lo que indica que las cápsulas de bajo nivel actuales son más "aceptadas" por las cápsulas de alto nivel. Por el contrario, cuando las dos se invierten, el grado de coincidencia entre la característica de bajo nivel actual y la salida; La cápsula no es alta, el producto es negativo y el peso B disminuye, lo que indica que la cápsula de alto nivel "rechaza" la cápsula de bajo nivel actual. Esto establece la relación entre las características de bajo nivel y las características de alto nivel, lo que permite que el modelo "comprenda" mejor la imagen.
Una "cápsula" es un grupo de pequeñas neuronas que se unen para generar el vector completo. El enrutamiento dinámico se utiliza para conocer los pesos de conexión entre cápsulas y el algoritmo de maximización de expectativas se utiliza para mejorarlo, lo que supera algunas deficiencias y obtiene una mayor precisión.
Principales contribuciones:
Apuntando al problema de múltiples intereses de los usuarios en la etapa de recuperación, se propone una red de múltiples intereses que utiliza enrutamiento dinámico para aprender las representaciones de los usuarios.
La principal "innovación" es utilizar el algoritmo de enrutamiento dinámico de la red cápsula para obtener la representación de intereses múltiples del usuario, agregar el comportamiento histórico del usuario en múltiples grupos de contenido y utilizar aún más cada grupo de contenido histórico. comportamientos para inferir un vector de representación de usuario de correspondencia de interés específico. De esta manera, para un usuario específico, MIND genera múltiples vectores de representación, que representan los diferentes intereses del usuario respectivamente. Los vectores de representación del usuario se calculan solo una vez y se pueden usar durante la fase de comparación para recuperar elementos relevantes de elementos de mil millones de escala.
Objetivo de la tarea
El objetivo de la tarea de recuperación es recuperar miles de conjuntos de elementos relacionados con los intereses de los usuarios de una biblioteca de elementos de mil millones de niveles para cada usuario.
Entrada del modelo
Para el modelo, la entrada de cada muestra se puede expresar como un triplete, que representa el conjunto de elementos que han interactuado con el usuario, es decir, el usuario. comportamiento histórico; Representa atributos del usuario, como género, edad, etc. Representado como algunas características del artículo de destino, como la identificación del artículo y la identificación de la categoría.
Tareas principales
La función de aprendizaje puede asignar instancias de elementos del usuario (características sin procesar) a los intereses del usuario. El conjunto de expresiones incrustadas es una representación vectorial del usuario, y la dimensión incrustada representa la cantidad de vectores, es decir, la cantidad de intereses.
Si = 1, es decir, la expresión de incrustación de otros modelos (como Youtube DNN), la función de incrustación del elemento es: donde representa un piso compartido
Final; resultados
Recuperar los N mejores candidatos según la función de puntuación:
Buscar según la función de puntuación: es decir, según el valor máximo del producto interno del artículo objetivo y el vector de representación del usuario como base para la similitud, la parte de atención de DIN. Así es también como se mide la similitud entre los dos.
La entrada a la capa de incrustación consta de tres partes: atributos del usuario, comportamiento del usuario y etiquetas de elementos de destino. Cada parte consta de múltiples características de identificación, que son datos dispersos de alta dimensión y requieren tecnología de incorporación para mapearlos en vectores densos de baja dimensión.
En lugar de utilizar un único vector para expresar los intereses del usuario, el autor utiliza múltiples vectores de expresión para expresar los diferentes intereses del usuario. De esta manera, durante la etapa de recuperación, los múltiples intereses del usuario pueden considerarse por separado y cada aspecto de interés puede buscarse con mayor precisión.
Para aprender representaciones de múltiples intereses, los autores utilizan el enrutamiento dinámico aprendido mediante la representación de la red cápsula para agrupar los comportamientos históricos de los usuarios en múltiples grupos. Los elementos de un grupo deben estar estrechamente relacionados y representar un aspecto específico de interés del usuario.
Enrutamiento dinámico
La cápsula es un nuevo tipo de neurona, representada por un vector en lugar del escalar utilizado en las redes neuronales ordinarias. Se espera que las cápsulas basadas en vectores representen diferentes atributos de entidades, donde la dirección de la cápsula representa el atributo y la longitud de la cápsula se utiliza para representar la probabilidad de existencia del atributo.
El enrutamiento dinámico es un algoritmo de aprendizaje iterativo en redes de cápsulas, que se utiliza para aprender el logaritmo de enrutamiento entre cápsulas de bajo nivel y cápsulas de alto nivel para obtener la representación de cápsulas de alto nivel.
Suponemos que la red de cápsulas tiene dos capas, a saber, cápsulas de bajo nivel y cápsulas de alto nivel. El número de cápsulas representa el número de neuronas (longitud del vector) en cada cápsula. El logaritmo de enrutamiento se calcula y actualiza mediante el siguiente cálculo: donde representa la matriz de mapeo bilineal que se va a aprender (el texto original de la red de cápsulas se llama matriz de transformación).
Al calcular el logaritmo de enrutamiento, el vector candidato de la cápsula de orden superior se calcula como la suma ponderada de todas las cápsulas de orden inferior:
Utilice múltiples vectores para expresar los diferentes intereses del usuario, y El proceso de agrupar los comportamientos históricos de los usuarios en múltiples cápsulas de interés. La lógica de implementación es la siguiente:
Entrada:
Salida:
Definición:
(1) Número de interés dinámico
(2) Expresión de incrustación de vector de comportamiento de orden bajo: representa el vector de comportamiento del usuario (igual que arriba)
(3) Expresión de incrustación de vector de interés de orden alto: representa el vector de interés del usuario (igual como arriba)
(4) Lógica de ruta entre el vector de comportamiento y el vector de interés:
(5) Matriz de mapeo bilineal:
Pasos:
( 1) Calcule el número de incorporaciones de intereses.
(2) Inicialización (inicialización usando distribución normal)
(3) Número de iteraciones transversales
(3.1) Para todas las rutas de comportamiento, calcule
(3.2) Para todas las rutas de interés, calcule y
(3.3) actualice iterativamente la * * matriz de disfrute.
Cree múltiples cápsulas de intereses a partir de incorporaciones del comportamiento del usuario a través de múltiples capas de extracción de intereses. Durante la capacitación, diseñamos una capa de atención consciente de las etiquetas: permita que los elementos de etiqueta (objetivo) seleccionen cápsulas de interés usadas. Específicamente, para cada elemento de etiqueta, se calcula la similitud entre la cápsula de interés y la incrustación del elemento de etiqueta, y se calcula el peso de la cápsula de interés y el vector de representación del usuario como elemento objetivo, y el peso de la cápsula de interés se determina mediante la compatibilidad correspondiente.
Entrenar
Después de obtener el vector de usuario y la incrustación del elemento de etiqueta, calcule la probabilidad de interacción entre el usuario y el elemento de etiqueta: