Duplicate Line Remover
Remove duplicate lines from text with case-insensitive matching and keep-first/last options.
Входной текст (один элемент на строку)
Сохранять вхождение
Параметры
Об этом инструменте
Инструмент удаления дубликатов просматривает каждую строку и удаляет уже встречавшиеся, возвращая набор уникальных строк. Можно сохранить первое или последнее вхождение каждого дубликата.
В режиме без учёта регистра «Apple» и «apple» считаются одинаковыми. Обрезка пробелов нормализует строки перед сравнением. Вся обработка происходит локально в браузере.
Как использовать
- Вставьте строки текста или нажмите Пример для загрузки образца.
- Выберите сохранение первого или последнего вхождения дубликатов.
- Включите нужные параметры.
- Нажмите Удалить дубликаты и скопируйте результат.
Случаи использования
Разработчики дедуплицируют списки ID, email или доменов, экспортированных из базы данных. Аналитики данных очищают ответы опросов или повторяющиеся значения в столбцах CSV.
Частые вопросы
- Сохраняется ли порядок? — Да. В режиме «сохранить первое» исходный порядок сохраняется. В режиме «сохранить последнее» — последнее вхождение.
- Что считается дубликатом? — По умолчанию две строки являются дубликатами, если их нормализованное содержимое совпадает. Включите режим с учётом регистра для точного совпадения.
- Есть ли ограничение по размеру? — Нет. Большие входные данные с тысячами строк обрабатываются эффективно с помощью хэш-множества.