Где должны жить данные: история одного рефакторинга настроек ЭДО

Где должны жить данные: история одного рефакторинга настроек ЭДО

Открытие одной формы — четыре одинаковых HTTP-запроса к внешнему сервису. Каждый с таймаутом в десять секунд. Пока сервис в порядке, никто не замечает. Когда сервис лежит — пользователь смотрит на сорок секунд белого экрана, потом на серую иконку "данные не получены", потом звонит в поддержку.

Звонок попал ко мне. После двух часов разбора оказалось, что фикс — не в форме, не в коде запроса, не в обработке таймаутов. Фикс был в том, что данные ключа ЭДО хранились не в том месте, где они должны жить логически. Всё остальное было лишь следствием.

Контекст: подписание ТТН в торговой точке

Я настраивал электронный документооборот для подписания товарно-сопроводительных документов. Магазины торговой сети получают накладные от поставщика, проверяют, подписывают электронной подписью и возвращают. Подписание происходит через CryptoProxy — внешний криптопровайдер, который слушает на локальном порту рабочей станции и предоставляет HTTP-API для работы с ключом подписи.

Логика 1С простая: при открытии формы накладной нужно проверить, что ключ ЭДО доступен и сертификат не просрочен. Если всё хорошо — показать зелёный индикатор и активную кнопку "Подписать". Если нет — красный индикатор и отключённая кнопка. Чтобы пользователь не нажимал "Подписать" впустую и не получал ошибку посреди процесса.

Для проверки нужно знать: URL CryptoProxy, идентификатор ключа (KeyID) и пароль. Эти три значения и составляют "настройки ЭДО". Они привязаны к рабочей станции и оператору, потому что ключ физически лежит на компьютере оператора и доступен только под его учётной записью.

А теперь самое интересное: как они хранились.

Регистр сведений с измерениями "Пользователь + Организация + Склад"

Тот, кто проектировал эту часть, исходил из понятной логики: настройки могут отличаться от склада к складу. Поэтому хранение оформили как регистр сведений НастройкиЭДО с измерениями Пользователь, Организация, Склад. Ресурсы — URL, KeyID, пароль (в зашифрованном виде).

В жизни это выглядело так. Один оператор работает с четырьмя складами одной организации — разные точки в разных торговых центрах. У него четыре записи в регистре. В каждой одни и те же URL, KeyID и пароль. Потому что ключ-то один. Он привязан к конкретному компьютеру, на котором сидит этот оператор. Склад тут вообще ни при чём.

А обработка открытия формы шла по регистру в цикле. Что-то вроде:

Запрос = Новый Запрос(
    "ВЫБРАТЬ URL, KeyID, Пароль
    | ИЗ РегистрСведений.НастройкиЭДО
    | ГДЕ Пользователь = &ТекущийПользователь");
Выборка = Запрос.Выполнить().Выбрать();
Пока Выборка.Следующий() Цикл
    Результат = HTTPПроверкаКлюча(Выборка.URL, Выборка.KeyID, Выборка.Пароль);
    // ... обработка ...
КонецЦикла;

Четыре записи в регистре — четыре итерации цикла. Четыре HTTP-запроса. Один и тот же ключ проверяется четыре раза подряд. При нормальной работе CryptoProxy это незаметно: каждый запрос отвечает за двести миллисекунд, форма открывается за секунду, никто не задумывается. Но как только CryptoProxy не отвечает, каждый запрос ждёт таймаут до конца — десять секунд. Четыре раза по десять. Сорок секунд белой формы.

Цикл по четырём записям регистра НастройкиЭДО — четыре HTTP-запроса к одному и тому же CryptoProxy

Дополнительный сюрприз: пустой URL и localhost-9999

Это была половина истории. Вторая половина — ещё интереснее.

Один из операторов жаловался на постоянную серую иконку. Зашёл к нему на машину, проверил — CryptoProxy запущен, слушает на 127.0.0.1:8888, ключ доступен. Из браузера всё открывается. Из 1С — серая иконка.

Открыл регистр НастройкиЭДО для этого оператора. Четыре записи. У трёх из них URL заполнен правильно: http://127.0.0.1:8888. У четвёртой URL пустой. По всей видимости, кто-то когда-то добавлял четвёртый склад в работу и не скопировал настройки полностью — забыл одно поле.

Что делал код, когда URL приходил пустой? Подставлял дефолт. http://127.0.0.1:9999. Хардкодом, в коде модуля. На рабочей машине оператора на этом порту никто не слушает — там вообще нет ничего на 9999. HTTP-запрос уходил в пустоту, ответа нет, исключение, серая иконка.

Но при этом три других запроса (с правильным URL) в этом же цикле возвращали корректный ответ, и сертификат проверялся успешно. Три из четырёх! Логика обработки результатов цикла была построена так, что любой неудачный ответ сбрасывал индикатор в серый, даже если три остальных дали зелёный. "Пессимистичный AND" по результатам.

То есть оператор страдал из-за одной строки в регистре, в которой кто-то забыл скопировать одно поле, при том что три других строки содержали корректные данные и один работающий ключ. И ничего из этого не показывалось пользователю — ни в логах, ни в форме. Просто "серая иконка, опять не работает".

Где данные должны жить логически

Когда я понял всю картину, первый рефлекс был — починить цикл. Дедупликация по URL+KeyID, кеширование результата проверки на пять минут, нормальная обработка ошибок с показом причины. Это бы сработало. Это бы убрало симптомы.

Но я заставил себя остановиться и задать другой вопрос. Почему у одного пользователя четыре одинаковые записи о настройках одного и того же ключа? Это не баг. Это структура данных. И структура противоречит реальности.

В реальности у одного оператора — один ключ на рабочей станции. Может быть несколько ключей, если он работает с несколькими организациями (например, юрлицо магазина и юрлицо аптеки в одном помещении). Но точно не один ключ на склад. Склад тут вообще не участвует — ключ принадлежит человеку и юрлицу, а не помещению.

Значит, измерение Склад в регистре — это лишнее. И именно из-за этого лишнего измерения возникает дублирование: четыре склада умножаются на один ключ и дают четыре записи об одном и том же.

Решение появилось само. Перенести хранение ключа туда, где данные действительно живут логически. У ключа ЭДО есть владелец — это пользователь и организация. Не склад. Значит, хранилище должно быть в разрезе "пользователь — организация", без склада. И самое подходящее место — табличная часть в справочнике Пользователи: одна строка на каждую организацию, в которой пользователь работает.

Перенос настроек ЭДО из регистра с дубликатами в табличную часть справочника Пользователи

Регистр НастройкиЭДО я не убрал полностью. Оставил для тех данных, которые действительно зависят от склада: например, UserID в системе ЭДО (внешний идентификатор подписанта на стороне регулятора может отличаться по точкам). Но ключ — URL, KeyID, пароль — переехал в табличную часть справочника. Один пользователь, одна организация, одна строка, один HTTP-запрос.

Запрос в форме после переноса

Запрос в форме сократился до простой выборки из табличной части:

Запрос = Новый Запрос(
    "ВЫБРАТЬ URL, KeyID, Пароль
    | ИЗ Справочник.Пользователи.КлючиЭДО
    | ГДЕ Ссылка = &ТекущийПользователь
    |   И Организация = &ТекущаяОрганизация");

Одна запись. Один HTTP-запрос. Один результат. Никакого цикла, никакого "пессимистичного AND", никакой возможности забыть заполнить URL в одной из четырёх копий.

Бонус, который не был задачей: баг с пустым URL стал конструктивно невозможным. Не "мы научились его обнаруживать", не "мы добавили валидацию", а именно невозможным. Раньше у пользователя было четыре записи, и одна из них могла быть незаполнена. Теперь запись одна. Если она пустая, форма сразу скажет "настройки не заполнены" и предложит открыть карточку пользователя. Если заполнена — запрос пройдёт.

Я отдельно обращаю внимание на эту разницу. Между "баг чинят" и "баг становится невозможным" — пропасть. Первое — это улучшение. Второе — это смена структуры данных так, что условия для возникновения бага перестают существовать. Когда удаётся добиться второго, я считаю это хорошим рефакторингом. Когда только первое — это латание.

Миграция данных из старого регистра

Самая тонкая часть рефакторинга — не код, а перенос исторических данных. На проде в регистре НастройкиЭДО уже лежали тысячи записей. Их нужно было перенести в табличную часть справочника так, чтобы:

  • не потерять ни один действующий ключ;
  • дедуплицировать дубликаты, оставив только уникальные пары URL+KeyID на пользователя;
  • откатиться на старую схему, если что-то пойдёт не так.

Я сделал миграцию обработкой, а не регламентным заданием — чтобы запускать вручную, по одной организации, под наблюдением. Алгоритм такой: для каждого пользователя выбрать все его записи из регистра, сгруппировать по (Организация, URL, KeyID), добавить уникальные строки в табличную часть справочника. Старые записи в регистре не удалять. Просто оставить.

Удаление я отложил на две недели. Эти две недели рабочая логика читала из табличной части справочника, но если по какой-то причине данных там не оказывалось — был фолбэк на старый регистр. Своего рода shadow-режим: новая схема активна, старая страхует. Через две недели я открыл регистр, увидел, что туда никто не пишет, и удалил измерение Склад полностью, а потом и сам регистр в том виде, в котором он был.

Этот подход — "новый код, старый код страхует, потом старый код убирается" — я для себя выработал именно после нескольких рефакторингов, которые "в один шаг" приводили к простоям. Один раз я после такого рефакторинга оставил магазины без возможности подписывать ТТН на полтора часа. С тех пор только shadow-режим, только постепенно.

Shadow-режим: новый код пишет в табличную часть, старый регистр остаётся как страховка на две недели

Правило, которое я для себя сформулировал

После этого рефакторинга я записал в свои заметки правило, которое применяю каждый раз, когда вижу регистр сведений с тремя и более измерениями. Правило простое: у каждой записи должна быть причина существовать ровно в этом разрезе. Если записи дублируются, отличаясь только в одном измерении, это измерение лишнее. И чем раньше его убрать, тем меньше последствий придётся разгребать.

Дублирование данных — это не безобидная избыточность. Это активный источник багов, и баги эти всегда одинаковые: рассинхронизация копий. Где-то поправили, где-то забыли, в одной из копий пустота, в другой устаревшее значение. Чем больше копий, тем выше вероятность, что ровно одна из них окажется битой и сломает поведение системы. Точно такая же проблема была в моей истории про кеширование отчётов и рассылку — там копии данных в кеше разъезжались с источником, и пользователь получал устаревшие цифры.

Второе правило, которое я бы выделил отдельно: прежде чем чинить симптом, спроси себя, что говорит структура данных о реальности. Четыре HTTP-запроса при открытии формы — это симптом. Можно было оптимизировать цикл, добавить кеш, поставить дедупликацию по URL. Это починило бы симптом. Но настоящая причина была не в цикле, а в том, что регистр содержал измерение, которого в реальности не существует. Структура данных врала о предметной области. Никакая оптимизация цикла этого не исправит.

И третье — про молчаливые ошибки. Сорок секунд пустой формы при сбое CryptoProxy и серая иконка без причины — это тот же класс багов, что я разбирал в истории про двойную негацию и в статье про неожиданные точки разрыва интеграций. Молчание программы — это не нейтральное состояние, это скрытое сообщение, которое пользователь обязан расшифровать сам. Чем больше я работаю с интеграциями, тем сильнее уверен, что уровень профессионализма системы виден не по основному пути, а по тому, как она ведёт себя, когда что-то идёт не так.

В этом проекте всё закончилось хорошо. Один HTTP-запрос вместо четырёх. Конструктивно невозможный баг с пустым URL. Чистая структура данных, в которой ключ принадлежит человеку, а не помещению. И тихая, надёжная форма подписания накладной, которая больше не висит белым экраном по сорок секунд.

А правило про "данные должны жить там, где они логически принадлежат" я с тех пор повторяю себе на каждом проектировании регистра. Иногда оно экономит часы. Иногда — недели разгребания дубликатов через год.