Два поля с одинаковым названием и 571 тысяча пустых записей

Два поля с одинаковым названием и 571 тысяча пустых записей

В карточке покупателя два поля с одинаковым названием. Код писал в первое, интеграция отдавала наружу второе. Второе было пустым во всех 571 721 записях.

Нашёл я это случайно, по ходу простой чистки поля. И самое интересное в этой истории не сама находка, а решение, которое я после неё принял: чинить очевидное я не стал. Расскажу по порядку, а в конце покажу, как искать такие пары в своей базе и почему поиск по слову здесь бесполезен. Похожий сюжет у меня уже был с маркетплейсом, где поле «артикул» оказалось совсем не артикулом, но там хотя бы названия различались.

Задача, которая звучала просто

Клиент, сеть спортивных магазинов: карта лояльности, мобильное приложение, кассы в торговых точках. У покупателя в справочнике есть служебное поле «Сообщение для продавца». Это подсказка кассиру: при следующем визите уточнить у человека ФИО или телефон.

За годы в этом поле накопились метки вида «УТОЧНИТЬ ФИО И ДР». Их было 41 414. Метки решили убрать, и причина была здравая. Когда карту выпускают без анкеты, в имя и фамилию пишутся заглушки, иначе приложение блокирует покупателю корзину. Кассир и так видит по этим заглушкам, что данные надо уточнить. Отдельная подсказка ему ничего не добавляет, а поле засоряет.

Задача выглядела простой: очистить поле и выключить то, что его заполняет. Выключить, а не только очистить: иначе через неделю всё вернётся.

Откуда в поле взялись метки

Часть меток появилась совсем недавно, и поставил их я сам. За несколько дней до этого в приложении всплыла неприятная вещь. Кнопка в корзине показывала «Заказ недоступен», пока в профиле пустуют имя и фамилия. Проверка сидит на стороне приложения, 1С её не контролирует. А новые электронные карты выдавались из пула, где вместо имени стоит номер карты, и сервис профиля такие значения маскирует пустой строкой.

Масштаб я посчитал по рабочей базе: из 2991 карты, активированной с начала июля, у 2303 имя совпадало с номером карты. Больше трёх четвертей новых пользователей упирались в закрытую корзину. Решение вышло простым. Карта активируется с заглушками «ИМЯ» и «ФАМИЛИЯ», приложение видит заполненный профиль и пускает к заказу, а в поле для продавца уходит пометка «УТОЧНИТЬ ИМЯ», чтобы кассир при встрече спросил настоящие данные.

Вскоре стало ясно, что пометка лишняя: заглушки и так бросаются в глаза. Так и появилась задача почистить поле. Несколько дней назад я его наполнял, теперь очищал, и именно эта возня с собственной пометкой вывела на то, что поле наружу вообще не уходит.

Кто пишет в поле

С этого я и начал. Источников нашлось три: заполнение заглушек при выпуске новой карты, приём данных покупателя по HTTP и помощник загрузки анкет. Все три пишут в реквизит СообщениеДляПродавца. Строка неограниченной длины, с полнотекстовым поиском и историей данных. Солидный реквизит, сразу видно, что им пользуются.

Дальше логичный шаг: посмотреть, кто поле читает. Если подсказку видит кассир, значит, она куда-то уезжает. И тут картина перестала сходиться.

Схема дубля реквизитов: код пишет в одно поле Сообщение для продавца, HTTP-сервисы 1С читают другое

Псевдоним тот же, реквизит другой

Поле отдают в мобильное приложение четыре HTTP-сервиса. Я открыл их запросы. Во всех четырёх стоит одна и та же строка: Покупатели.Комментарий КАК СообщениеДляПродавца.

Псевдоним правильный. Реквизит другой.

У справочника два разных реквизита с одним синонимом «Сообщение для продавца». Первый, СообщениеДляПродавца, рабочий: туда пишет весь код. Второй, Комментарий, строка на 50 символов. Я проверил его запросом по всему справочнику. Пусто во всех 571 721 записях, ни одного значения.

Получается, что сервисы годами отдавали наружу пустую строку. И это никому не бросилось в глаза. Пустое поле в ответе читается как «сообщения нет», а не как «мы взяли не тот реквизит». Приложение честно показывало пустоту.

Платформа такое допускает спокойно. Уникальным обязано быть только имя реквизита, синонимы могут совпадать сколько угодно. Ни конфигуратор, ни проверка конфигурации не скажут ни слова. В списке реквизитов близнецы различаются только внутренним именем, а в подборе полей пользователь видит два одинаковых заголовка подряд.

Почему я не стал чинить запросы

Соблазн был очевидный. Четыре запроса, в каждом заменить одно слово. Пять минут работы, и наружу наконец поедут настоящие данные. Красиво закрыть заодно с чисткой.

Этот соблазн я придавил.

Если поправить запросы, наружу впервые за годы поедет текст. И получат его клиенты, которые всё это время обрабатывали пустоту: приложение, касса, обмен. Никто из них этот текст никогда не видел. Как приложение покажет строку неограниченной длины, которая раньше всегда была пустой? Что сделает с ней касса? Я не знал. И проверить это в рамках задачи «почистить метки» было невозможно.

Такое включают отдельной задачей, с тестом на каждой стороне. Находку я записал вместе с запросами и оставил решение на потом. Чинить чужую давнюю ошибку заодно с чисткой значит выпустить в продуктив изменение, которое никто не заказывал и никто не тестировал.

Отдельно от этого есть простое правило: если ошибка годами никому не мешала, у неё нет срочности. Срочность появится, когда кто-то решит, что подсказка кассиру должна доходить до приложения. Тогда и надо будет менять запросы, вместе с теми, кто это приложение делает.

Масштаб дубля реквизитов: поле Комментарий пустое во всех 571 721 записях справочника покупателей

Чистка батчами по времени

Саму чистку я довёл до конца. 41 414 записей на горячем справочнике, куда в это время пишут кассы и приложение. Запись тяжёлая: в ПередЗаписью два запроса поиска дублей по телефонам. На проде это давало 60–80 записей в секунду.

Скрипт я писал с самоограничением по времени. Внутри цикл следит за ТекущаяУниверсальнаяДатаВМиллисекундах() и останавливается через 50 секунд, возвращая два числа: сколько обработано и сколько осталось. Отбор сам сужается, потому что обработанные записи из выборки выпадают, курсор не нужен. Каждая запись идёт своей транзакцией. Обернуть пачку в одну транзакцию на таком справочнике значит собрать блокировки и уронить кассы.

Почему именно 50 секунд. Вызов шёл через инструмент, у которого свой таймаут, 120 секунд. На 120-й секунде он уходит в фон и падает с ошибкой «timed out», хотя код на сервере продолжает работать и записи применяются. Снаружи это выглядит как сбой, а на деле чистка идёт дальше, и понять, сколько уже сделано, нельзя. Лимит внутри скрипта с запасом решает это: вызов честно возвращается за 53–58 секунд с итоговым подсчётом.

Весь объём прошёл примерно за десять вызовов и около девяти минут.

Счётчик оставшихся при этом падал неровно. Метки проставлялись заново прямо в ходе прогона: источники-то никто ещё не выключил. За двое суток после чистки набежало 37 новых. Так что выключение источников оказалось не формальностью, а второй половиной задачи. Заглушки в имени и фамилии остались, а пометку «УТОЧНИТЬ» код больше не пишет. Единственным источником осталась ручная обработка загрузки анкет, ей метка ещё нужна.

Побочная находка про обмен с кассами

Пока разбирался, всплыло ещё одно. Регистрация изменений для обмена с кассами висит в модуле формы элемента, а не в модуле объекта.

Что это значит на практике. Правишь карточку покупателя руками, изменение уезжает на кассы. Правишь кодом, тысячами, не уезжает ничего. Значит, и моя массовая чистка сама по себе до касс не доезжает: там старое значение живёт, пока карточку не изменят.

Рядом нашёлся флаг ЕстьИзменения. Он стоит у всех 571 721 записей и поэтому не значит ничего. Мёртвый флаг опаснее отсутствующего: на него можно опереться и ошибиться.

Обе вещи я тоже не чинил, а записал. Логика та же, что с запросами: это изменение поведения обмена, и делать его надо отдельно, понимая последствия для касс.

Как искать реквизиты-близнецы

Глобальный поиск по заголовку здесь не помогает. Слово «сообщение» найдётся в конфигурации сотни раз. Искать нужно по внутренним именам и по совпадающим синонимам.

Самый быстрый способ это обход метаданных, который ищет одинаковые синонимы у реквизитов одного объекта:

Синонимы = Новый Соответствие;
Для Каждого Реквизит Из Метаданные.Справочники.Покупатели.Реквизиты Цикл
	Если Синонимы[Реквизит.Синоним] <> Неопределено Тогда
		Сообщить(Реквизит.Синоним + ": " + Синонимы[Реквизит.Синоним] + " и " + Реквизит.Имя);
	КонецЕсли;
	Синонимы.Вставить(Реквизит.Синоним, Реквизит.Имя);
КонецЦикла;

Он написан для одного справочника, но легко разворачивается на всю конфигурацию циклом по коллекциям метаданных. Работает за секунды даже на тяжёлой базе: это чтение метаданных, к таблицам с данными он не обращается.

Второй шаг, когда пара найдена: проверить, кто какой реквизит читает. «Найти ссылки на объект» покажет большую часть мест. Но обращения по строковому имени, вроде Объект["Комментарий"] или ПолучитьРеквизиты со списком имён в строке, поиск ссылок не видит. Их приходится искать отдельно, поиском по литералу в кавычках. И отдельно смотреть тексты запросов: в моём случае ошибка жила именно там, в строке запроса HTTP-сервиса.

Третий шаг: убедиться, что один из близнецов мёртв. Запрос с подсчётом пустых значений даёт ответ за минуту. Если нужна полная уверенность, ПолучитьСтруктуруХраненияБазыДанных() покажет, в какой колонке таблицы лежит реквизит, а технологический журнал по событию DBMSSQL покажет, обращается ли к ней кто-то.

Поиск дубля реквизитов в 1С: два реквизита с синонимом Сообщение для продавца и запрос HTTP-сервиса

Привычка, которая осталась

Перед тем как писать код или запрос вокруг реквизита, я смотрю на внутреннее имя, а не на надпись. В форме открываю свойства элемента и читаю ПутьКДанным. В конструкторе запроса гляжу на имена полей. В СКД раскрываю путь к полю вместо заголовка. Это тридцать секунд.

И для тех, кто реквизиты добавляет. Если заводите замену старому полю, не копируйте синоним. Новому дайте говорящее название, а старому смените синоним на что-то вроде «Комментарий (не использовать)». Пользователь, который увидит такую надпись в подборе, задаст вопрос, и дубль вскроется сразу, а не через годы. Имя старого реквизита не трогайте: на нём может висеть чужой код, в том числе запросы, о которых вы не знаете.

Пустота хорошо маскирует ошибки

Обычная поломка шумит: падает обмен, приходит письмо, звонит бухгалтер. А пустое поле не выглядит как поломка. Оно выглядит как отсутствие данных. Сервис отвечает без ошибок, приложение ничего не показывает, все довольны. Похоже ведёт себя стандартное API БСП, которое молча возвращает пустоту: ошибки нет, данных тоже.

Лучше маскировки для бага не придумать. Поэтому, когда видите в интеграции поле, которое всегда пустое, не спешите считать, что так и задумано. Проверьте, тот ли реквизит туда попадает. Это один запрос и одна строка в тексте запроса сервиса. А если окажется, что не тот, не чините заодно: сначала выясните, кто всё это время жил с пустотой и что он сделает с настоящим текстом.