Eliminar líneas duplicadas

Elimina líneas duplicadas de un bloque de texto. Se mantiene la primera ocurrencia de cada línea y se elimina cada duplicado subsiguiente, por lo que se conserva el orden original. La comparación es exacta y se tiene en cuenta caso: "Aplicar" y "aplicar" se tratan como líneas diferentes.

Útil para limpiar listas de palabras, archivos de registro, CSV exportados, salida desechada, donde usted tenga la oportunidad de contenido repetido. Corre completamente en su navegador — su texto nunca sale de la página.

Donde aparecen líneas duplicadas

Limpiar listas de correo electrónico

Las exportaciones de correo electrónico pegadas suelen contener duplicados de errores de relleno de forma o fusionar artefactos. Eliminar duplicados antes de importar en un CRM o enviar una campaña.

Deduplicar listas de palabras

¿Compilar una lista de vocabulario, una crema de marca o un conjunto de palabras clave? Esta herramienta le da una lista única limpia en una sola pasta.

Filtrar archivos de registro

Las líneas de registro índivas de un servicio ruidoso pueden ahogar la señal real. La tira duplica para ver los eventos únicos.

Limpieza de columnas CSV

Pruebe una sola columna CSV y recuperar los valores únicos. Más rápido que abrir una hoja de cálculo para una tarea única.

Revisión de salida de revisión de código

La salida de intermitentes o compiladores a veces repite la misma advertencia a través de las construcciones. Dedupe a centrarse en los problemas únicos.

Cómo se detectan los duplicados y qué copia se guarda

La herramienta divide el texto de entrada en líneas usando el carácter de la nueva línea (\n). Normaliza los finales de línea de CRLF (\r\n) a LF para asegurar la división constante en plataformas. Cada línea se procesa secuencialmente: un conjunto de hash interno registra el exacto contenido de cada línea (cual es sensible, sensible al espacio blanco). Si una línea no está todavía en el conjunto, se adjunta a la salida y se añade al conjunto; si ya está presente, se salta. El orden de los primeros eventos se conserva estrictamente. La salida final se combina uniendo las líneas guardadas con caracteres de nueva línea, y una nueva línea de seguimiento se añade sólo si la entrada original termina con uno (para combinar el comportamiento típico editor).

Cómo eliminar líneas duplicadas de una lista

1. Pegue o escriba su texto en el cuadro de entrada.
2. Haga clic en Eliminar duplicados botón.
3. El texto deduplicado aparece instantáneamente en la zona de salida.
4. Copie el resultado a su portapapeles con un solo clic.

Sensibilidad de caso, espacios de seguimiento, y cerca de duplicados

Nueva línea final

Una nueva línea de seguimiento se conserva en la salida sólo si la entrada original termina con una, por lo que no se añade línea accidental en blanco.

Líneas vacías

Las líneas vacías se tratan como líneas distintas; múltiples líneas vacías consecutivas se convierten en una sola línea vacía si son duplicados.

Líneas de solo espacios en blanco

Las líneas que contienen sólo espacios o pestañas se consideran diferentes de líneas verdaderamente vacías y se deduplican en contenido exacto.

Sensibilidad entre mayúsculas y minúsculas

'Aplicar' y 'aplicar' se tratan como líneas diferentes porque la comparación es exacta y sensible a casos.

Eliminación de duplicados de listas de correo electrónico y palabras clave de forma segura

• Trim rastreando el espacio blanco antes de la deduplicación si quieres tratar la aplicación y la aplicación como idéntica.
• Use la naturaleza sensible a la causa para mantener las distintas variantes de capitalización intencionalmente.
• Para conjuntos de datos grandes, pega en pedazos; la herramienta funciona completamente en el navegador sin límites del servidor.
• Combina con el Ordenar líneas herramienta para ordenar primero y luego deduplicar para un resultado diferente.

Esto frente a Eliminar duplicados y `sort -u` de Excel

Comparado con alternativas comunes, esta herramienta conserva el orden original y no requiere ningún conocimiento de línea de comando.

Deduplicación de `uniq` a menús de hojas de cálculo

La eliminación de líneas duplicadas es una tarea fundamental de procesamiento de textos que se originó en herramientas tempranas de Unix. uniq comando (V7 Unix, 1979) sólo puede eliminar duplicados consecutivos, requiriendo un anterior sort. Más tarde, sort -u clasificación y deduplicación combinadas. La necesidad de preservar el orden original condujo a scripts de awk como awk '!seen[$0]++', un patrón que se convirtió en idiomático. Esta herramienta implementa esa misma lógica cliente lado para el uso instantáneo, no-instalación.