{"id":15956,"date":"2020-10-20T18:16:03","date_gmt":"2020-10-20T16:16:03","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=15956"},"modified":"2024-03-06T11:29:26","modified_gmt":"2024-03-06T10:29:26","slug":"caso-de-exito-sistema-de-reconocimiento-de-entidades-en-un-repositorio-de-noticias","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/caso-de-exito-sistema-de-reconocimiento-de-entidades-en-un-repositorio-de-noticias\/","title":{"rendered":"Caso de \u00e9xito: sistema de reconocimiento de entidades en un repositorio de noticias"},"content":{"rendered":"

Junto al Grupo Henneo, dentro de su departamento de TI y en colaboraci\u00f3n con Departamento de Inform\u00e1tica e Ingenier\u00eda de Sistemas de la Universidad de Zaragoza, hemos desarrollado un novedoso sistema de reconocimiento y desambiguaci\u00f3n de entidades. \u00a0<\/strong><\/p>\n

Qu\u00e9 es una entidad<\/h2>\n

Entendemos por \u201centidad\u201d<\/strong> todas aquellas personas, lugares, organizaciones o temas que tienen identidad propia y \u00fanica. A todas las palabras que pueden ser usadas para referirnos a estar entidades, las llamamos \u201cnamed entity\u201d<\/em>. Por ejemplo, la entidad \u201cSan Sebasti\u00e1n\u201d, puede aparecer en los textos referenciada con las siguientes \u201cnamed entites<\/em>\u201d: San Sebasti\u00e1n, Donostia, Donosti, La Bella Easo, Irutxulo…<\/p>\n

Este sistema de desambiguaci\u00f3n se ha integrado dentro de EMMA, Entorno MultiMedia de Archivo, Plataforma de gesti\u00f3n documental<\/strong> desarrollada en el Departamento de Inform\u00e1tica del Grupo Heraldo junto al equipo de soporte de Hiberus.<\/p>\n

Su principal misi\u00f3n es facilitar a documentalistas y periodistas el acceso a todas las noticias publicadas en el medio de comunicaci\u00f3n de manera \u00e1gil y flexible<\/strong>. EMMA almacena todos las fotograf\u00edas y las noticias publicadas y todas las p\u00e1ginas de la edici\u00f3n impresa, tanto de Heraldo de Arag\u00f3n como de otros medios de comunicaci\u00f3n del Grupo Heraldo. Permite desde la sencilla navegaci\u00f3n entre las p\u00e1ginas de un peri\u00f3dico hasta realizar b\u00fasquedas profesionales. Este buscador web es una de las principales herramientas de trabajo para el Departamento de Documentaci\u00f3n.<\/p>\n

Funcionamiento del sistema de desambiguaci\u00f3n de entidades<\/h2>\n

Este sistema de desambiguaci\u00f3n de entidades contribuye a obtener y mantener un cat\u00e1logo de entidades completo y actualizado. Otros procesos de la plataforma se han beneficiado de toda la informaci\u00f3n recopilada en este cat\u00e1logo, en especial, se han mejorado los procesos de extracci\u00f3n de informaci\u00f3n desde el archivo local<\/strong>, se ha realizado la categorizaci\u00f3n autom\u00e1tica de las noticias<\/strong>, enlazando cada texto publicado con las entidades que aparecen en \u00e9l y se ha mejorado el sistema de generaci\u00f3n de infoboxes con informaci\u00f3n relevante sobre cada entidad, ya que utiliza como soporte este cat\u00e1logo de entidades generado.<\/p>\n

Esto permite, por ejemplo, realizar b\u00fasquedas sobre las entidades que aparecen referenciadas en las noticias.<\/p>\n

Funcionamiento del sistema<\/strong><\/h2>\n

El flujo completo de trabajo del sistema se puede ver en la siguiente imagen:<\/p>\n

\"sistema<\/p>\n

 <\/p>\n

Procesos previos<\/strong><\/h3>\n

El sistema tiene algunos procesos auxiliares que extraen y calculan informaci\u00f3n importante del archivo local de noticias para su posterior utilizaci\u00f3n:<\/p>\n

    \n
  1. \n
      \n
    1. Servicio lematizador<\/u>: para cada texto del archivo de noticias, calcula la forma can\u00f3nica o lema de cada palabra. Este proceso es muy \u00fatil para lenguajes como el castellano, con declinaciones y gran cantidad de formas verbales.<\/li>\n
    2. Servicio TDF<\/u>: recorre todos los textos lematizados por el anterior servicio y calcula, el n\u00famero de apariciones de cada palabra. Esto es necesario para que el siguiente servicio de extracci\u00f3n de palabras clave pueda obtener la _puntuaci\u00f3n_ de cada palabra clave seg\u00fan los algoritmos TF-WP, Term Frequence Word Position y TF-IDF, Term Frequency, Inverse Document Frequency.<\/li>\n
    3. Servicio de extracci\u00f3n de palabras clave<\/u>: Escoge las palabras m\u00e1s relevantes de cada texto y extrae adem\u00e1s todas las \u201cnamed entities\u201d<\/em>,<\/em> referencias a entidades, que hay en cada noticia y guarda tambi\u00e9n la estad\u00edstica de apariciones de cada \u201c<\/em>named entity\u201d<\/em>.<\/em><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n

       <\/p>\n

      Datos de entrada<\/strong><\/h3>\n

      El sistema de desambiguaci\u00f3n recibe como datos de entrada una \u201cnamed entity<\/em>\u201d y su contexto, es decir, todo el texto de la noticia en la que ha aparecido. Con ese texto, se construye un vector de contexto. Para cada \u201cnamed entity\u201d, <\/em>se busca toda la informaci\u00f3n relacionada en las bases de conocimiento locales y globales, tesauro y DBpedia respectivamente. En cada una de estas fuentes de informaci\u00f3n, el sistema intenta localizar todos los posibles candidatos que coincidan con la entidad mencionada, y se crea una lista de candidatos. Cada uno de los candidatos se identifica seg\u00fan su origen: descriptores del tesauro en el caso local y URLs globales en el caso de DBpedia.<\/p>\n

      B\u00fasqueda en el cat\u00e1logo de entidades<\/strong><\/h3>\n

      Se obtienen todas las entidades que tienen a la \u201cnamed entity\u201d<\/em> asociada en el cat\u00e1logo de entidades. Para cada una de estas entidades, genera un vector de contexto seg\u00fan las palabras clave que tiene asociadas cada entidad. Despu\u00e9s, se compara mediante la f\u00f3rmula de similitud del coseno cada uno de esos vectores de contexto de las entidades candidatas con el que se ha generado para el texto de la noticia. La entidad con la mayor similitud ser\u00e1 seleccionada, siempre que su similitud supere el umbral establecido.<\/em> En caso de que ninguna supere el umbral, el proceso continuar\u00e1 en el paso siguiente.<\/p>\n

      B\u00fasqueda en el tesauro<\/strong><\/h3>\n

      Igual que en el paso anterior, para cada descriptor de tesauro recopilado como posible candidato en el momento de almacenar esa \u201c<\/em>named entity\u201d<\/em>,<\/em> busca en el archivo de noticias los textos m\u00e1s relevantes y genera un vector de contexto con esos textos. De manera an\u00e1loga al paso anterior, si se ha seleccionado un descriptor, se busca si hay alguna entidad en el cat\u00e1logo de entidades con ese descriptor asociado. Si la hay, devuelve esa entidad y actualiza su lista de palabras clave, si no la hay, contin\u00faa en el siguiente paso, guardando el descriptor de tesauro para asignarlo a la entidad en caso de que se localice en el siguiente paso.<\/p>\n

      B\u00fasqueda en DBpedia<\/strong><\/h3>\n

      A la lista de candidatos de DBpedia se le a\u00f1ade las URLs asociadas a esa \u201c<\/em>named entity\u201d<\/em> en la colecci\u00f3n \u201cpairCounts\u201d<\/em> extra\u00edda de DBpedia Spotlight. Adem\u00e1s, el sistema se beneficia de la informaci\u00f3n contenida en las p\u00e1ginas de desambiguaci\u00f3n de DBpedia: si el sistema detecta que alguna de las URLs candidatas es una p\u00e1gina de desambiguaci\u00f3n4, el sistema recoge todas las URLs contenidos en esa p\u00e1gina, y las a\u00f1ade al conjunto de candidatas. Para cada URL candidata, se obtiene el cuerpo de la p\u00e1gina de DBpedia, extrae la informaci\u00f3n, genera un vector de contexto y elige la de mayor similitud si supera el umbral establecido. Si se ha seccionado una URL, el sistema de desambiguaci\u00f3n comprueba si alguna entidad del cat\u00e1logo tiene esa URL asociada, si es as\u00ed, devuelve esa entidad y actualiza su lista de palabras clave.<\/p>\n

      Reconocimiento de Entidades<\/strong><\/h3>\n

      En este punto, hay dos escenarios posibles:<\/p>\n