API de similitud de registros preprocesados es una API de coincidencia difusa y deduplicación de alta velocidad construida para datos desordenados del mundo real. Te ayuda a identificar registros casi duplicados y reconciliar entidades incluso cuando los valores no coinciden exactamente—errores tipográficos, diferencias en mayúsculas, puntuación faltante, problemas de espacio, abreviaciones, y cambios menores en el orden de las palabras.
En lugar de construir y ajustar tu propia tubería de coincidencia difusa, envías tus cadenas (o registros) a la API y recibes coincidencias puntuadas por similitud en las que puedes confiar. Las salidas típicas incluyen pares coincidentes (por ejemplo, “Apple” ↔ “apple inc.”), puntuaciones de similitud, y resultados estructurados que son fáciles de integrar en flujos de trabajo de limpieza de datos, CRM, trabajos de ETL, y tuberías de análisis.
Casos de uso comunes:
Deduplicar listas: encuentra duplicados dentro de un conjunto de datos (coincidencias de todos a todos) y devuelve pares probablemente duplicados.
Reconciliar contra una lista maestra: empareja una lista entrante con un conjunto canónico (lista a maestra).
Higiene de datos de CRM y clientes: limpia clientes/cuentas/empresas donde los duplicados rompen los informes y el contacto.
Resolución de entidades y enlace de registros: conecta referencias a la misma entidad del mundo real a través de fuentes.
Por qué los equipos lo utilizan:
Funciona con texto desordenado sin configuración previa (sin reglas manuales para cada caso especial)
Puntuaciones de similitud para clasificación y umbrales (tú decides cuán estricto ser)
Construido para escalabilidad y automatización (diseñado para ejecutarse en tuberías, no solo en scripts puntuales)
Dedupe es un punto final de coincidencia difusa de todos a todos para encontrar duplicados dentro de una sola lista de cadenas. En lugar de comparar solo dos entradas por llamada API, envías un conjunto de datos y devuelve pares similares y/o grupos deduplicados en todo el conjunto.
Por qué lo usarías
Aceleración masiva: típicamente ~300× a 1,000× más rápido que los enfoques "regulares" que la gente intenta primero (comparaciones por pares, bucles de puntuaciones difusas, etc.) una vez que superas listas pequeñas.
Limpieza opcional integrada: puedes habilitar la limpieza de texto común (minúsculas, eliminación de puntuación, ordenación de tokens). Esto ahorra horas (o días) de desarrollo + mantenimiento continuo.
Los sufijos de empresa se manejan automáticamente: se eliminan finales comunes como “Inc”, “LLC”, “Ltd”, etc. para que coincidas con el nombre real.
Referencias: similarity-api/blog/speed-benchmarks (1M de registros en ~7 minutos; más rápido que las bibliotecas comunes de coincidencia difusa de Python).
Límites estrictos en Zyla
Máx 1,000 cadenas por solicitud (aplicado).
¿Necesitas más grande / ilimitado?
Parámetros (solicitud POST)
data (requerido)
Una cadena que contiene un arreglo JSON de cadenas.
Valor de ejemplo para data:
["Acme Inc","ACME LLC","Globex GmbH"]
Mayor = coincidencia más estricta (menos pares). Típico: 0.80–0.90 para deduplicación de empresas.
Elimina las diferencias de puntuación (por ejemplo, “A.C.M.E.” vs “ACME”).
Hace que la coincidencia no distinga entre mayúsculas y minúsculas.
use_token_sort (opcional, verdadero/falso, predeterminado falso)
Ayuda cuando cambia el orden de las palabras (por ejemplo, “Banco de América” vs “América Banco de”).
output_format (opcional, predeterminado string_pairs)
Este punto final puede devolver datos en múltiples formatos. Por favor selecciona uno de los siguientes:
string_pairs:
[string_A, string_B, similarity]index_pairs:
string_pairs, pero devuelve las posiciones en tu lista de entrada en lugar de las cadenas.[index_A, index_B, similarity]deduped_strings:
deduped_indices:
deduped_strings, pero devuelve los índices de los elementos mantenidos.membership_map:
[0,0,0,3,3] significa que las filas 0/1/2 son un grupo (rep=0) y las filas 3/4 son otro (rep=3).row_annotations:
Devuelve un objeto por fila de entrada con una explicación de a qué pertenece (fila rep + similitud).
Usa cuando: quieras un resultado legible por humanos, por fila para depuración o visualización de la interfaz de usuario.
top_k (opcional, entero o "todos", predeterminado "todos")
todos = encontrar todas las coincidencias por encima del umbral.
O un entero (por ejemplo, 50) para limitar las coincidencias por fila (más rápido, menos resultados).
Ejemplo de solicitud en python
import requests, json
API_KEY = "YOUR_ZYLA_KEY"
URL = "API_URL/dedupe"
data_list = ["Microsoft","Micsrosoft","Apple Inc","Apple","Google LLC","9oogle"]
params = {
"data": json.dumps(data_list),
"similarity_threshold": "0.75",
"remove_punctuation": "true",
"to_lowercase": "true",
"use_token_sort": "false",
"output_format": "string_pairs",
"top_k": "all"
}
headers = {"Authorization": f"Bearer {API_KEY}"}
r = requests.post(URL, headers=headers, params=params, timeout=60)
print(r.status_code)
print(r.json())
Dedupe - Características del Endpoint
| Objeto | Descripción |
|---|---|
data |
[Requerido] JSON array of strings to deduplicate (max 1000). Example: ["a","b","c"] |
similarity_threshold |
Opcional Similarity cutoff from 0 to 1. Higher values are stricter (fewer matches). Default is 0.75. |
remove_punctuation |
Opcional If true, punctuation is removed before matching. Default is true. |
to_lowercase |
Opcional If true, strings are lowercased before matching. Default is true. |
use_token_sort |
Opcional If true, tokens in each string are sorted before matching. Useful when word order varies. Default is false. |
output_format |
Opcional Default: string_pairs Allowed values (and what each means): index_pairs List of matches as [i, j, score] where i and j are indices in the input list. string_pairs List of matches as [string_i, string_j, score] using original strings. deduped_strings List of strings with duplicates removed (one representative per group). deduped_indices List of indices representing the deduplicated set (one representative per group). membership_map Array of length N where entry i is the representative index for the group of data[i]. row_annotations Array of objects (one per input row) with fields: index, original_string, rep_index, rep_string, similarity_to_rep. |
top_k |
Opcional Limits how many neighbors are returned per input string. Use all for full dedupe, or a positive integer for top matches per row. |
{"status":"success","response_data":[["Apple","appl!e",1.0]]}
curl --location --request POST 'https://zylalabs.com/api/11916/preprocessed+record+similarity+api/22653/dedupe?data=["Apple", "appl!e"]' --header 'Authorization: Bearer YOUR_API_KEY'
| Encabezado | Descripción |
|---|---|
Autorización
|
[Requerido] Debería ser Bearer access_key. Consulta "Tu Clave de Acceso a la API" arriba cuando estés suscrito. |
Sin compromiso a largo plazo. Mejora, reduce o cancela en cualquier momento.
El endpoint Dedupe retorna un objeto JSON que contiene pares de cadenas coincidentes, puntajes de similitud y resultados deduplicados opcionales La salida se puede formatear como pares de cadenas, pares de índices o cadenas deduplicadas dependiendo de la configuración especificada
Los campos clave en los datos de respuesta incluyen "estado" (indicando éxito o error) y "datos_de_respuesta," que contienen los resultados formateados de acuerdo con la solicitud del usuario, como pares coincidentes o cadenas deduplicadas
Los usuarios pueden personalizar las solicitudes ajustando los parámetros en el objeto "config" como "similarity_threshold" para la precisión de coincidencias "remove_punctuation" para el preprocesamiento y "output_format" para elegir la estructura de resultado deseada
Los datos de respuesta están organizados como un arreglo de resultados donde cada entrada corresponde a una coincidencia o cadena desduplicada Dependiendo del formato de salida las entradas pueden incluir cadenas originales índices y puntajes de similitud facilitando la integración en flujos de trabajo
Los casos de uso típicos incluyen la desduplicación de listas de clientes, la conciliación de registros contra una lista maestra, la limpieza de datos de CRM y la resolución de entidades a través de diferentes fuentes de datos para asegurar la integridad y precisión de los datos
La precisión de los datos se mantiene a través de avanzados algoritmos de coincidencia difusa que tienen en cuenta problemas comunes de los datos como errores tipográficos y diferencias de mayúsculas y minúsculas La API está diseñada para manejar datos desordenados de manera efectiva asegurando resultados de coincidencia confiables
Los valores de parámetros aceptados incluyen "similarity_threshold" (0 a 1), "remove_punctuation" (booleano), "to_lowercase" (booleano), "use_token_sort" (booleano) y "top_k" (entero o "todos") Estos parámetros permiten a los usuarios adaptar el proceso de coincidencia a sus necesidades específicas
Si el punto final de Dedupe devuelve resultados parciales o vacíos, los usuarios deben revisar los datos de entrada en busca de problemas de calidad, como duplicados excesivos o umbrales de similitud muy bajos. Ajustar el "similarity_threshold" o revisar la lista de entrada puede ayudar a mejorar los resultados
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.937ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.073ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.296ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
10.069ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
717ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
704ms
Nivel de Servicio:
50%
Tiempo de Respuesta:
4.908ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
831ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
986ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.126ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
2.078ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
2.351ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
4.065ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.070ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
2.843ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
309ms