Duplicate Line Remover
Remove duplicate lines from text with case-insensitive matching and keep-first/last options.
Tekst wejściowy (jeden element na wiersz)
Zachowaj wystąpienie
Opcje
O tym narzędziu
Usuwacz duplikatów skanuje każdy wiersz i usuwa te, które już wystąpiły, tworząc zestaw unikalnych wierszy. Możesz wybrać zachowanie pierwszego lub ostatniego wystąpienia każdego duplikatu.
Tryb bez uwzględniania wielkości liter traktuje "Apple" i "apple" jako identyczne. Przycinanie spacji normalizuje wiersze przed porównaniem. Całe przetwarzanie odbywa się lokalnie.
Jak używać
- Wklej wiersze tekstu lub kliknij Przykład, aby załadować przykład.
- Wybierz, czy zachować pierwsze czy ostatnie wystąpienie duplikatów.
- Włącz opcje według potrzeb.
- Kliknij Usuń duplikaty i skopiuj wynik.
Przypadki użycia
Programiści deduplikują listy identyfikatorów, e-maili lub domen eksportowanych z bazy danych. Analitycy danych czyszczą odpowiedzi ankiet lub powtarzające się wartości w kolumnach CSV.
Często zadawane pytania
- Czy kolejność jest zachowana? — Tak. W trybie "zachowaj pierwsze" oryginalna kolejność jest zachowana. W trybie "zachowaj ostatnie" zachowywane jest ostatnie wystąpienie.
- Co liczy się jako duplikat? — Domyślnie dwa wiersze są duplikatami, jeśli ich znormalizowana zawartość jest identyczna. Włącz tryb uwzględniania wielkości liter, aby wymagać dokładnego dopasowania.
- Czy jest limit rozmiaru? — Nie. Duże dane wejściowe z tysiącami wierszy są obsługiwane wydajnie przy użyciu zestawu skrótów.