Дубликаты в CSV: найти и разобраться

Дубли редко бывают точными копиями. Чаще это две записи об одном и том же, различающиеся лишним пробелом, регистром или заполненностью одного поля — и именно поэтому они переживают проверку на уникальность.

Обновлено 2026-09-30 · формат CSV

Три вида повторов

Полные дубли — совпадает вся строка. Обычно следствие повторной загрузки файла. Находятся легко.
Дубли по ключу — совпадает идентификатор, различается содержимое. Самый опасный случай: непонятно, какая запись верная.
Нечёткие дубли — различаются написанием: «ООО Ромашка» и «ООО "Ромашка"», «Иванов А.С.» и «Иванов Андрей Сергеевич». Автоматически ловятся плохо, но нормализация снимает половину случаев.

Как искать

Инструмент — группировка. Сгруппируйте по полю-кандидату и добавьте показатель «количество»: всё, где количество больше единицы, и есть повторы.

Если ключ составной — группируйте по нескольким полям сразу. Типичные сочетания: «полис + дата случая», «код позиции + склад», «ИНН + период».

Быстрая прикидка без группировки: в статистике колонки есть число уникальных значений. Если оно меньше числа строк — повторы точно есть, и сразу видно, сколько.

Короче всего — инструмент «Дубли по полям»: отметьте поля ключа, и повторы встанут в таблице рядом, с подсчётом групп и лишних копий.

Группировка по полису и дате случая с количеством: всё, где больше единицы, — повторы

Нормализация перед поиском

Прежде чем считать повторы, стоит убрать различия, которые повторами не являются:

лишние пробелы по краям — в DBF и выгрузках из старых систем они есть почти всегда;
регистр — для кодов и наименований обычно не значим;
разное написание одного значения: +7 (999) 123-45-67 и 79991234567.

Первые два случая решаются настройками разбора и сравнения. Третий — выражением: сгруппировать не по самому полю, а по приведённому значению.

Что делать дальше

Найти повторы — половина дела; дальше нужно решить, какая запись верная. Несколько подходов, которые обычно работают:

оставить более позднюю по дате изменения — если такое поле есть;
оставить более заполненную: у одной из записей часть полей пустая;
посмотреть, различаются ли суммы: если да, это не дубль, а две разные операции с одинаковым номером — и разбираться нужно в источнике.

Отфильтрованный список повторов выгружается отдельным файлом — обычно его и передают тому, кто отвечает за данные в системе.

«Данные → Дубли по полям»: 8 групп повторов по полису и дате, лишние копии можно показать или пометить на удаление

Частые вопросы

Можно ли удалить дубли прямо в просмотрщике?

Да. Инструмент «Дубли по полям» показывает повторы рядом и помечает лишние копии на удаление, оставляя самую раннюю запись; при сохранении CSV помеченные строки в файл не попадут. Подробно — в статье про дубли по полям.

Как найти строки, которых нет во втором файле?

Это уже сравнение двух таблиц по ключу — про него есть отдельная статья.

Сколько строк выдерживает группировка?

Ограничение — полмиллиона различных групп; число исходных строк значения не имеет.

Файл не покидает ваш компьютер. Разбор идёт в браузере, в фоновом потоке. Политика безопасности страницы запрещает отправлять данные на сторонние адреса — это проверяется в инструментах разработчика. После первого открытия приложение работает и без интернета.

Открыть приложение Скачать для Windows

Бесплатно для личного использования. Файл не загружается на сервер. Версия для Windows — 5,4 МБ, без установки: подробнее. Для организаций — лицензия, 2000 ₽ за рабочее место.