Esta clasificaci\u00f3n del problema puede permitir definir condiciones l\u00f3gicas sobre los registros a comparar, de tal manera que se reduzca el espacio de b\u00fasqueda<\/strong> del problema. Por ejemplo, en el caso de la deduplicaci\u00f3n de datos se puede usar la condici\u00f3n de transitividad. Es decir si dos registros son catalogados como duplicados y un tercer registro resulta ser duplicado del segundo, entonces tambi\u00e9n ha de ser duplicado del primero.<\/p>\n En el caso de la vinculaci\u00f3n de registros<\/strong> resulta importante la exclusividad. Es decir si dos registros de dos bases de datos son duplicados, entonces no puede haber m\u00e1s duplicados si cada base de datos respeta la unicidad de sus registros.<\/p>\n En general se pueden aprovechar diversas condiciones sobre los datos m\u00e1s all\u00e1 de la clasificaci\u00f3n del problema. Estas condiciones muchas veces van a depender de la naturaleza de los datos<\/strong>. Por ejemplo:<\/p>\n Luego de haber generado las condiciones para delimitar el espacio de b\u00fasqueda, generalmente estos algoritmos se valen de reglas de similitud entre los registros para poder clasificar todos los pares<\/strong>\u00a0de manera probabil\u00edstica, en inciertos, duplicados y distintos.<\/p>\n Ejemplo de vinculaci\u00f3n de pacientes.<\/p><\/div>\n Para poder aplicar exitosamente estos procedimientos t\u00edpicamente estos algoritmos tienen que enfrentarse a problemas comunes en la IA y la miner\u00eda de datos:<\/p>\n Para poder enfrentar estos problemas resulta de suma importancia dise\u00f1ar e implementar una pol\u00edtica de preprocesamiento de datos que no induzca falsos positivos<\/strong>.<\/p>\n Adicionalmente, si bien el conjunto original de datos puede no ser grande, el conjunto de pares de registros implica un espacio del orden de O(N2)<\/strong> que s\u00ed puede ser desafiante. Esto ocurre porque la deduplicaci\u00f3n de datos es como m\u00ednimo un cruce de una tabla consigo misma. Por ello, se tienen los siguientes desaf\u00edos:<\/p>\n En este caso para poder enfrentar estos problemas resulta fundamental la elecci\u00f3n de las herramientas de trabajo. Adicionalmente, el dise\u00f1o de las condiciones l\u00f3gicas de filtro es probablemente el aspecto m\u00e1s importante del proceso, pues esto contribuye a reducir el n\u00famero de pares de registros que se comparan<\/strong>. A este proceso se le conoce como blocking<\/strong>.<\/p>\n Cantidad de pares a considerar antes de las reglas de filtro y despu\u00e9s de aplicarlas<\/p><\/div>\n <\/p>\n Son t\u00e9cnicas aplicadas directamente sobre el conjunto de registros para poder delimitar los pares de estos que pueden ser comparados<\/strong>. Generalmente estas t\u00e9cnicas se valen de identificadores parciales, sin embargo es posible aplicar diversos tipos de algoritmos de IA o incluso m\u00e9tricas como TF-IDF.<\/p>\n La mayor\u00eda de los paquetes usados para la deduplicaci\u00f3n de datos resulta experimental. Adicionalmente, de los paquetes que son suficientemente maduros como para poder ser usados en producci\u00f3n<\/strong>, no todos son escalables o implementan algoritmos de aprendizaje poderosos.<\/p>\n A continuaci\u00f3n se mencionar\u00e1n algunos ejemplos.<\/p>\n Este es un paquete implementado para Apache Spark<\/strong><\/a> que implementa una versi\u00f3n del modelo Fellegi-Sunter<\/strong> y usa el algoritmo Expectation Maximization<\/strong> para aprender de manera no supervisada sus par\u00e1metros.<\/p>\n La principal ventaja de este paquete es su escalabilidad y lo simple que resulta su uso<\/strong> debido a que es no supervisado. Adicionalmente, fue implementado para el Gobierno brit\u00e1nico, lo cual permite asegurar que el proyecto seguir\u00e1 siendo mantenido. Por otro lado su principal desventaja es que este modelo asume la independencia estad\u00edstica de sus atributos<\/strong>.<\/p>\n Es un paquete implementado para Python que se vale de datos etiquetados y aprendizaje activo para poder entrenar sus modelos. A diferencia de Splink, este paquete no cuenta con una plataforma de Big Data<\/a> para distribuir sus tareas<\/strong>. Sin embargo, es posible usar esta herramienta con cursores conectados a bases de datos para evitar sobrecargar la memoria durante sus c\u00e1lculos .<\/p>\n Su principal ventaja radica en sus algoritmos de aprendizaje para los bloques y las reglas de comparaci\u00f3n<\/strong>. Presenta una desventaja\u00a0 que radica en la complejidad con la que se pueden sortear sus problemas de escalabilidad.<\/p>\n Es una plataforma implementada en Java<\/strong> que se vale de conectores a bases de datos y motores de indexaci\u00f3n para deduplicar registros. Entre sus ventajas est\u00e1 su eficiencia debida al uso de Lucene y su principal desventaja es, al igual que Splink, su dependencia a las hip\u00f3tesis estad\u00edsticas .<\/p>\n Arquitectura de Duke<\/p><\/div>\n Es una plataforma gr\u00e1fica implementada en Java y que puede ser usada con Spark<\/a> y Docker<\/strong>. Entre sus principales ventajas est\u00e1 la disponibilidad de varios algoritmos basados en el Estado del Arte, su interfaz de usuario y su capacidad de trabajar con datos no estructurados.<\/p>\n Su principal desventaja es que requiere de un \u201cGolden Standard<\/strong>\u201d, adem\u00e1s de los datos a deduplicar.<\/p>\n Arquitectura de JedAI<\/p><\/div>\n Se cuenta con cantidades ingentes de datos provenientes de varios portales de anuncios inmobiliarios en GCP<\/strong>. Un mismo inmueble puede ser ofertado varias veces en:<\/p>\n Identificar cu\u00e1les registros corresponden a la misma propiedad para poder, as\u00ed, contar con datos fiables que puedan ser usados en procesos anal\u00edticos partiendo de BigQuery y GCS<\/strong>.<\/p>\n Se puede implementar un Workflow Template en Dataproc con una tarea de PySpark<\/strong>. Esta tarea contar\u00eda con un paquete de vinculaci\u00f3n de registros no supervisado llamado Splink. Entre las razones por las que se podr\u00eda usar Splink, tenemos:<\/p>\n Al igual que cualquier proyecto similar, uno de los mayores desaf\u00edos podr\u00eda consistir en la baja granularidad de los datos en cuanto a pisos construidos en una misma planta o en un mismo edificio<\/strong>. En estos casos un mismo usuario de los portales inmobiliarios podr\u00eda repetir la informaci\u00f3n de estos.<\/p>\n Adicionalmente si no se cuentan con campos para distinguir sus puertas, entonces resultar\u00eda imposible no detectarlos como distintos.<\/p>\n En Hiberus contamos con un \u00e1rea de especializada en el an\u00e1lisis y tratamiento de datos, Data & Analytics<\/a>. Somos expertos en inteligencia artificial, machine learning y deep learning.<\/p>\n \u00bfQuieres m\u00e1s informaci\u00f3n sobre nuestros servicios de Data & Analytics?<\/p>\n Contacta con nuestro equipo de expertos en Data & Analytics<\/p>\n <\/div>\n <\/p> \n
![\"duplicaci\u00f3n](\"https:\/\/www.hiberus.com\/crecemos-contigo\/wp-content\/uploads\/2021\/09\/duplicados-ejemplo-pacientes.png\")
Desaf\u00edos espec\u00edficos a la miner\u00eda de datos en el reconocimiento de duplicados<\/h2>\n
\n
Desaf\u00edos espec\u00edficos a la ingenier\u00eda de datos en la deduplicaci\u00f3n<\/h2>\n
\n
![\"\"](\"https:\/\/www.hiberus.com\/crecemos-contigo\/wp-content\/uploads\/2021\/09\/blocking-duplicados.png\")
Herramientas, algoritmos y t\u00e9cnicas para la duplicaci\u00f3n de datos<\/h2>\n
Blocking<\/h3>\n
Paquetes<\/h3>\n
Splink<\/h4>\n
Dedupe<\/h4>\n
Duke<\/h4>\n
![\"\"](\"https:\/\/www.hiberus.com\/crecemos-contigo\/wp-content\/uploads\/2021\/09\/duke-300x173.png\")
JedAI<\/h4>\n
![\"\"](\"https:\/\/www.hiberus.com\/crecemos-contigo\/wp-content\/uploads\/2021\/09\/Jedai-286x300.png\")
Ejemplo: deduplicaci\u00f3n de inmuebles entre portales inmobiliarios<\/h2>\n
\n
Problema:<\/h3>\n
Soluci\u00f3n:<\/h3>\n
\n
Desaf\u00edos:<\/h3>\n
<\/ul><\/div>\n