Las palabras son los componentes lingüísticos significativos más pequeños que pueden moverse de forma independiente. Las palabras en inglés usan espacios como separadores naturales, mientras que en chino usan palabras como unidad básica de escritura y no existe una distinción obvia entre palabras. Por lo tanto, la segmentación de palabras chinas es la base y la clave de la segmentación de palabras chinas. Tanto el chino como el inglés necesitan segmentación de palabras, pero en comparación, las palabras en inglés tienen espacios para la segmentación de palabras, lo cual es relativamente conveniente de procesar. Pero como el chino no tiene delimitadores, el problema de la segmentación de palabras es más importante. La coincidencia de cadenas más largas basada en diccionarios se usa a menudo para la segmentación de palabras. Se dice que puede resolver el problema 85, pero la segmentación de palabras ambiguas es más difícil. Por ejemplo, “Estados Unidos aprobará un proyecto de ley sobre ventas de armas a Taiwán” se puede dividir en “Proyecto de ley sobre ventas de armas de Estados Unidos/Congreso/Taiwán” y “Proyecto de ley sobre ventas de armas de Estados Unidos/Congreso/Taiwán”.
La tecnología de segmentación de palabras china se puede dividir en tres categorías:
En los métodos basados en el aprendizaje automático, a menudo es necesario marcar la parte del discurso de las palabras. Las partes del discurso generalmente se refieren a verbos, sustantivos, adjetivos, etc. El propósito de la anotación es representar el estado oculto de una palabra, y la transición del estado oculto constituye una secuencia de transición de estado. Por ejemplo: I/r love/v Beijing/ns Tiananmen/ns. Donde ns representa un sustantivo, v representa un verbo, ns y v son etiquetas, y así sucesivamente.
Como resumen de palabras, la parte del discurso juega un papel importante en tareas como el reconocimiento del lenguaje, el análisis sintáctico y la extracción de información.
/s/qjpozo 8 mt 17 mtnc 7 eft 8 NQ