cleaning_services
code
Python
verified
Бесплатная загрузка
devices
Кроссплатформенный
code Предпросмотр кода
Python#!/usr/bin/env python3
"""
Email Deduplicator - Remove Duplicate Emails
Smart deduplication with case-insensitive matching
"""
def deduplicate_emails(emails):
"""Remove duplicates with case-insensitive matching"""
seen = set()
unique = []
for email in emails:
normalized = email.lower().strip()
if normalized not in seen:
seen.add(normalized)
unique.append(email.strip())
return unique
def merge_files(file_paths):
"""Merge and deduplicate multiple email files"""
all_emails = []
for filepath in file_paths:
with open(filepath, 'r') as f:
all_emails.extend(f.read().splitlines())
return deduplicate_emails(all_emails)
def process_csv(input_file, output_file, email_column=0):
"""Deduplicate CSV file preserving other columns"""
import csv
seen = set()
rows = []
with open(input_file, 'r') as f:
reader = csv.reader(f)
header = next(reader, None)
for row in reader:
email = row[email_column].lower().strip()
if email not in seen:
seen.add(email)
rows.append(row)
with open(output_file, 'w', newline='') as f:
writer = csv.writer(f)
if header:
writer.writerow(header)
writer.writerows(rows)
return len(rows)
if __name__ == '__main__':
import sys
emails = open(sys.argv[1]).read().splitlines()
unique = deduplicate_emails(emails)
print(f"Original: {len(emails)}, Unique: {len(unique)}")
info Об инструменте
Дедупликатор email удаляет дубликаты адресов электронной почты из ваших списков с помощью интеллектуального сравнения без учёта регистра. Идеально подходит для очистки объединённых списков или удаления дубликатов перед email-кампаниями.
Ключевые особенности
- Сравнение без учёта регистра - Считает User@Example.com и user@example.com дубликатами
- Объединение файлов - Объединение и дедупликация нескольких файлов одновременно
- Поддержка CSV - Сохраняет другие колонки при удалении дубликатов email
- Быстрая обработка - Эффективная обработка миллионов email
- Сохранение исходного регистра - Сохраняет исходное форматирование первого вхождения
Применение
- Очистка импортированных списков контактов
- Объединение нескольких списков email без дубликатов
- Подготовка списков для email-кампаний
- Уменьшение размера списка для импорта в ESP
Требования
- Python 3.7+
- Без внешних зависимостей для базового использования
Производительность: Обрабатывает 1 миллион email менее чем за 5 секунд с помощью set-дедупликации.
download Скачать скрипт
Нужна полная автоматизация?
Попробуйте Postigo для автоматизированных email-кампаний с AI-персонализацией
rocket_launch Start Free Trial