Что означает невалидные файлы
Валидация: что это такое, зачем нужна и как проводить гигиену базы
Email-маркетинг — это не только красивые письма, но и грамотная работа с базой подписчиков. Рассказываем, как работать с «живыми» адресами и получать высокие показатели OR и CTR и зачем вообще проверять имейлы.
Что такое валидация и с чем её едят
Валидация в email-маркетинге — это процесс проверки адресов электронной почты на пригодность для рассылок. Валидными считаются существующие и правильно написанные адреса, не замеченные в подозрительных действиях. То есть те, которые могут получать рассылки.
Невалидные — адреса, которые написаны с ошибками в домене (@mail.ru) или префиксе (name@). Невалидными также называют несуществующие адреса, дубликаты, временные и одноразовые ящики, спам-ловушки.
Условно валидные — существующие хорошие адреса, которые по той или иной причине сейчас не могут получать рассылки. Например, когда ящик получателя переполнен. После того, как адрес снова будет доступен для получения новых рассылок — он снова станет валидным.
Такие адреса в базе могут появиться, если контакты собирались в офлайне — через анкеты, опросы или, например, флаеры. Ещё одна явная причина этому — если в форме регистрации не был настроен Double Opt In (двойное подтверждение подписки).
Невалидной также может оказаться устаревшая база подписчиков: пользователи могли удалить свою почту или вовсе забыть о том, кто вы, и отписаться от рассылки.
Превалидация и стандартизация базы
Чтобы в базу попадали только корректные адреса, можно подключить проверку данных на этапе заполнения формы. Превалидация позволяет снизить количество ошибок при заполнении формы или сразу исправить их.
По сути, это скрипт, который проверяет в режиме реального времени заполнение формы подписки. Он заранее отсеивает «неликвидную» информацию: подставлен ли знак @ (явно обязательная часть имейл-адреса) и правильно ли написан домен (gmail вместо gamil).
Есть ещё такое понятие, как стандартизация базы — отдельная проверка базы на соответствие стандартам и исправление возможных ошибок.
Пример: есть список правильного написания распространённых имён, и если человек ошибся при регистрации и написал «Алксей», скрипт проверит его имя, соотнесёт с базой, исправит на «Алексей» и занесёт его в базу платформы. Это позволит отправлять хорошие письма, даже если человек ошибся при вводе.
Прогрев базы
Прогрев базы — это отправка писем частями с постепенным наращиванием количества единовременных отправок. Важно начинать отправки с активных сегментов базы, которые ранее уже получали и открывали письма. Если таких нет (email-маркетинг на стадии внедрения), то просто отправлять по проверенным адресам.
Пример прогрева базы в 100 000 подписчиков:
5 000 — 10 000 — 15 000 — 30 000 — 50 000 — 80 000 — 100 000
Прогревать базу необходимо не только на старте, но и если по ней давно не запускали рассылок. Первая отправка даст самую большую очистку и может показать высокий процент ошибок на доставки. Это нормально.
Ориентируйтесь на статистику и смотрите за доставляемостью. Если ошибок мало — можно увеличивать количество единовременных отправок. Нормальный показатель ошибок и жалоб при отправке рассылок — до 1%. Значит, проблем с базой нет. Если 2–5%, значит, часть адресов невалидна и необходимо реанимировать базу контактов.
Проверка базы на валидность
Рассылка по ненадёжной базе — это бесполезная трата денег, риск оказаться в чёрных списках почтовиков, блокировка в ESP-платформах и просто испорченная репутация отправителя. Вам же всё это не нужно?
Чтобы проверить список контактов на валидность, используют валидаторы — специальные сервисы (например, mailvalidator.ru). Они проверяют почту в три этапа:
Вот так выглядит полная проверка адреса:
А так — экспресс-проверка базы:
Конечно, проверить базу можно и вручную, но это не самая эффективная история: так вы сможете поправить лишь очевидно плохие имейлы и удалить дубликаты. Поэтому лучше проверять базу автоматически в платформе рассылок или через специальные сервисы.
Сервисы для проверки адресов
Для проверки одного почтового ящика существуют бесплатные сайты. Для массовой проверки используют как отдельные независимые сервисы проверки, так и программное обеспечение для ПК (ePochta Verifier) или инструменты, встроенные прямо в сервис рассылки. Рекомендуем несколько онлайн-валидаторов, которые помогут работать с базой.
Mailvalidator
Онлайн-платформа для контроля качества контактной базы. Список имейлов может загружаться в неё файлом, кроме того, возможно подключение непосредственно к сервису по API. В диагностику входит:
Чем хорош: двумя видами проверки. Экспресс для имейл-адресов с доступной почтовой историей и полная проверка для всех остальных. Визуализированные отчёты в виде графиков, персональные рекомендации по улучшению качества контактной базы, русскоязычный интерфейс.
Mailvalidator как встроенный инструмент используют и сами ESP-платформы. Например, Mailganer.
Цена за одну проверку зависит от количества имейлов. Чем их больше — тем выгоднее.
Zero Bounce
Онлайн-верификатор, который принимает файлы в формате TXT и CSV.
Чем хорош: сервис находит недостающую информацию по имейлам (имя, фамилию, пол, город, страну, IP), круглосуточная поддержка.
Есть бесплатный тариф, если адресов немного. Дальше — уже по подписке + можно настроить кастомно в зависимости от нужд бизнеса (вплоть до Enterprise с безлимитным тестированием за 999$).
Snov.io
Предлагает безопасную очистку списков email-адресов в режиме реального времени и помогает удалить все catch-all и невалидные адреса. Можно загрузить список адресов файлом, воспользоваться веб-приложением или подключить Email Verifier к CRM по API. Помимо этого можно добавлять и верифицировать адреса посредством расширения Email Verifier для Chrome.
Чем хорош: индивидуальная проверка, импорт списков адресов для верификации и экспорт результатов проверки в удобном формате, интеграция через API с CRM-платформами, большой выбор тарифов.
Прайсинг разный: пять тарифов на выбор, а также два месяца бесплатно при оформлении годовой подписки.
Проверяйте базы контактов перед отправкой, и тогда ваши письма попадут только в папку «Входящие». Да, на выходе количество адресов сократится, зато это будут активные подписчики, которые заинтересованы в вашей рассылке.
Вам может быть интересно
Посмотрите вебинар, в котором наш технический директор Александр Каринцев сравнивает между собой ТОП‑5 платформ для рассылок.
ПОЛУЧИЛОСЬ!
Скоро вы начнете получать нашу рассылку
Что означает термин «валидный/невалидный»?
Невалидный емейл-адрес
Невалидное задание
Невалидное название
Последнее время эти понятия стали очень популярны.
Такие термины можно встретить в интернете. Я эти термины понимаю так:
Валидный.
Это значит действующий, соответствующий определённым требованиям, нормам, правилам, стандартам.
Например, для вёрстки сайтов существуют правила и нормы, разработанные Консоциумом Всемирной Паутины.
Проверить сайт на соответствие данным правилам можно здесь.
Если ошибок найдено не будет, то можно сказать, что исходный код вашего сайта является валидным.
Невалидный.
Это понятие является противоположным понятию «валидный».
Если сертификат электронной подписи является невалидным, то он может быть просрочен, или у вас не установлены необходимые корневые сертификаты.
Также добавлю, что понятия «валидный» и «невалидный» имеют иностранные корни.
Переводятся они так: «действительный», «допустимый».
Валидный и невалидный это прилагательные:
Пример использования слова: «Если параметр не указан, то создается невалидный объект, который ни на что не указывает.»
Обычной электронные почтовые сервисы сразу укажут вам на невалидность e-mail адреса, написав, что такой не может быть использован. Они имеют встроенные валидаторы, эти валидаторы-то и проверят автоматически ваш адрес, валиден он или нет.
В английском, кстати, невалидный звучит, как инвалид invalid, что и без перевода понятно. Что значит инвалид знают все.
III. Практические примеры¶
В данной главе приведены некоторые практические приемы работы с XML-файлами.
Исправление невалидных XML-файлов¶
Если по каким-то причинам между тегами оказывается символ или лбой другой управляющий символ (подробнее смотрите Таблица I.1 — Сущности ), то при синтаксическом анализе XML-файла возникнет ошибка «Невалидный XML».
Исправляется данная проблема просто — данные символы необходимо заменить на их сущности (подробнее смотрите раздел Сущности ). Сделать это можно, воспользовавшись любым нормальным текстовым редактором с функцией поиска и замены с использованием регулярных выражений.
Сообщение о невалидности XML-файла может возникать если после закрывающего родительского тега (см. раздел parrent-tag ) находится еще какой-либо текст. В данном случае достаточно удалить все, что идет после закрывающего родительского тега.
Удаление лишних блоков(абзацев) из XML по заданному условию¶
Из-за несовершенства некоторых программ, периодически возникают проблемы при передаче файлов в контролирующие органы.
Суть проблемы¶
Согласно приказу ФНС от 29 октября 2014 г. N ММВ-7-3/558@ в Книге продаж элемент (Сведения о покупателе, его ИНН/КПП) является необязательным, другими словами он может полностью отсутствовать.
Отрывок книги продаж выглядит следующим образом:
А нижеприведенный блок в Книге продаж необязателен:
Если есть сделки с иностранными контрагентами, у которых нет ИНН/КПП, следовательно, сведения о покупателе не заполняются. Но из-за логической ошибки в программе бухгалтерского учета, выгрузка сформированного отчета была невозможна, так как программа ошибочно требовала указать ИНН/КПП для всех контрагентов.
Чтобы обойти эту ошибку пришлось вместо ИНН указать регистрационный номер контрагента в стране регистрации, а вместо КПП указать девять нулей.
Проверка файла отчета программой Tester
ИНН и КПП это не произвольный набор чисел, они содержат определенные контрольные соотношения.
Теперь следовало вручную исправить XML файл отчета и удалить лишние блоки с фиктивными данными.
Решение проблемы¶
Так как файл содержал свыше 15000 строк и большое количество сделок, надо было автоматизировать данный процесс.
Надо было удалить порядка 700 строк, полностью содержащих блоки (причем с разными псевдо-ИНН):
Большинство программ умеет искать и заменять максимум одну строку на другую. В данном случае надо было искать и заменять блок текста из трех строк.
С этим успешно справилась программа UVFilesCorrector. Интерфейс программы прост до невозможности. В нижней части на вкладке Файлы выбираем нужный нам файл.
В верхнем поле Список замен необходимо нажать на пустое поле и создаем правило для замены. В данном случае оно выглядело так:
На скриншоте видно не все выражение, в поле Что найти: в режиме Шаблон (регулярное выражение) введено:
Десять точек в ИННЮЛ=». » являются регулярным выражением и означают, что на их месте может стоять любой символ. В итоге получилось, что под замену попадали все блоки, имеющие нулевые КПП. Комбинация символов \r\n также является регулярным выражением и означает перенос строки.
Всего у организации было 14 контрагентов, с которыми в общей сумме было заключено 266 сделок. Следовательно, после нажатия на кнопку Заменить получилось 266 замены.
Буквально за один простой шаг по заданному условию было удалено свыше 700 строк. Проверка Tester’ом ошибок не выявила и файл был успешно отправлен в контролирующий орган.
Работа с файлами отчетов Росстата¶
Файлы отчетов Росстата формируются в одну строку, что создает определенные сложности при просмотре в обычных тектовых редакторах.
В отличии, например, от файлов отчетов ФНС.
С файлами Росстата лучше работать с помощью программы XMLPad.
XMLPad имеет несколько режимов отображения:
В левой панели отображается структура XML-файла. Значения элементов можно отреактировать напрямую, либо через левую нижнюю панель.
Документ не обработан, так как содержит невалидные подписи
1) Не установлен корневой сертификат Головного удостоверяющего центра (ГУЦ) Минкомсвязи, уполномоченного федерального органа по аккредитации удостоверяющих центров.
2) Не установлен корневой сертификат Удостоверяющего Центра, выпустившего сертификат ключа электронной подписи Вашего контрагента или Оператора ЭДО.
Рекомендуется сначала воспользоваться инструкцией для установки корневого сертификата ГУЦ. После установки проверьте электронную подпись так, как написано здесь. Если это не помогло решить проблему, следуйте рекомендациям из данного раздела.
Необходимо двойным кликом открыть данный сертификат(ы) и сохранить на рабочий стол или в любую другую папку на диске:
Затем нужно открыть сохраненный файл и перейти на закладку «Путь сертификации»:
Мы видим, что корневой сертификат (сертификат Удостоверяющего Центра) действительно не установлен. Для его установки достаточно открыть корневой сертификат двойным кликом и установить (см. ниже).
Далее нужно выделить и скопировать в буфер обмена одну из ссылок, заканчивающуюся на .cer или .crt,.вставить ссылку в адресную строку браузера и скачать корневой сертификат,
Открыв корневой сертификат (из пути сертификации в сертификате пользователя или скачанный файл) нажмите кнопку «Установить сертификат. «:
В качестве хранилища корневого сертификата необходимо выбрать «Доверенные корневые центры сертификации»:
Далее нужно подтвердить установку корневого сертификата:
Переключившись в окно 1С, правой кнопкой мыши нажимаем на подпись со статусом «Не верна» и в контекстном меню выбираем команду «Проверить электронные подписи»:
Валидация XML документов
XML документ с корректным синтаксисом называется «правильно сформированным» или «синтаксически верным».
«Валидный» XML документ кроме всего прочего должен соответствовать определенному типу документов.
Синтаксически верные XML документы
XML документ с корректным синтаксисом является «синтаксически верным».
Синтаксические правила были описаны в предыдущих главах:
Валидные XML документы
Валидный XML документ не то же самое, что и синтаксически верный XML документ.
Первое правило для валидного XML документа то, что он должен быть синтаксически верным.
Второе правило — валидный XML документ должен соответствовать определенному типу документов.
Правила, определяющие допустимые элементы и атрибуты для XML документа, часто называются определениями документа или схемами документа.
Когда используют определения документа?
Определения документа — это самый простой способ предоставить рекомендации по допустимым элементам и атрибутам документа.
Определения документа также предоставляют общие рекомендации, которые могут использоваться другими пользователями и/или разработчиками.
Определения документа предоставляют стандартизацию, которая значительно облегчает жизнь.
Когда не используют определения документа?
В действительности XML не требует определений документа.
Когда вы экспериментируете с XML или работаете с небольшими XML файлами, создание определений документа может стать лишней тратой времени.
Если вы разрабатываете приложения, то подождите до тех пор, пока спецификации не будут стабильными, и только потом добавляйте определения документов. В обратном случае ваше приложение может перестать работать из-за ошибок проверки правильности документа.
Определения документа
С XML можно использовать различные типы определений документа:
Проверка валидности XML документа
Для проверки валидности XML документов в сети Интернет существует множество программ и сайтов проверки XML документов.
XML ошибки остановят вас
Ошибки в XML документе остановят работу вашего XML приложения.
W3C спецификации XML предписывают, что при возникновении ошибки программа разбора XML документа должна прекратить свою работу. Это сделано для того, чтобы приложения XML были небольшого размера, быстрые и широко совместимые.
HTML браузеры отобразят HTML документ даже с ошибками (например, пропущенный закрывающий тег).