Мой чек-лист перед релизом в рабочую базу

Мой чек-лист перед релизом в рабочую базу

Одиннадцать минут. Столько занял мой чек-лист перед последней выкладкой в рабочую базу: проверить свежую копию, перечитать план отката, повесить объявление, закрыть сеансы, открыть монитор. Само обновление шло дольше, чем вся подготовка.

Этот список я прохожу перед каждым релизом уже седьмой год. Состав не менялся ни разу. Лишним он тоже не оказался ни разу, хотя со стороны разница незаметна: когда дисциплина работает, кажется, что она не нужна. Чаще всего чек-лист просто подтверждает, что всё в порядке. Но четыре раза за эти годы он останавливал меня в шаге от выкладки, которая закончилась бы ночным восстановлением базы и долгими извинениями по телефону.

Живёт список в обычной заметке на телефоне, и в нём нет ни одного пункта про код: всё, что касается кода и тестов, заканчивается раньше, чем я открываю заметку, потому что релиз в моём понимании относится к эксплуатации, а не к программированию. Заметка переживает уже третий телефон.

Пунктов пять. Ниже разберу каждый, покажу настоящий план отката с недавнего релиза и закончу историей, с которой всё началось. Та ошибка обошлась в 26 часов простоя и стала самым дорогим уроком за мои семнадцать лет с 1С.

Пять пунктов на одном листе

Список выглядит скучно, и это его главное достоинство. Никаких хитростей:

  1. Копия, которую я видел восстановленной, а не просто созданной.
  2. Объявление пользователям накануне, с точным временем и повтором за час.
  3. Окно: блокировка сеансов и регламентных заданий на время работ.
  4. План отката на одну страницу, с точкой невозврата по часам.
  5. Наблюдение: час после выкладки и проверка утром следующего дня.
Чек-лист перед релизом в рабочую базу: пять пунктов с временными отметками

Каждый пункт появился после конкретной неприятности, своей или чужой. Это не методичка, которую я прочитал и внедрил, это шрамы, переписанные в столбик. Поэтому список короткий: в него попадает только то, что однажды стоило денег.

Пробовал добавлять пункты вроде «прогнать все тесты ещё раз», но они не приживались, потому что дублировали работу, которая и так сделана до релиза. Убирал тоже. Одно время в списке жил пункт «предупредить администратора», но у клиентов поменьше администратора просто нет, а у клиента покрупнее он и так участвует в окне. Пункт умер сам.

Порядок тоже не случаен. Копия и план отката готовятся заранее, когда голова холодная и никто не стоит над душой. Объявление и окно требуют участия других людей, их не сделаешь в последний момент. Наблюдение происходит уже после релиза, но решение о нём я принимаю до, иначе его не будет: в десять вечера, когда обновление применилось и всё вроде работает, соблазн закрыть ноутбук сильнее любых благих намерений. Настоящий порядок прохода при этом обратный: наблюдение я планирую первым, ещё когда согласую дату релиза, а копию проверяю последней, утром в день икс.

Копия, которую я видел восстановленной

Формулировка пункта неслучайна. Не «копия есть», а «я видел её восстановленной». Между этими двумя состояниями пропасть, и я знаю людей, которые падали в неё с ночным бэкапом в руках.

У моего основного клиента база на MS SQL занимает 212 ГБ. Полный бэкап с ключом WITH CHECKSUM снимается за 38 минут каждую ночь, и каждую же ночь скрипт разворачивает его на тестовом сервере: восстановление идёт 52 минуты, после чего прогоняется DBCC CHECKDB. Утром перед релизом я не делаю ничего героического. Я открываю лог этого скрипта и смотрю дату последнего успешного восстановления. Если там сегодняшнее число, пункт закрыт. Если нет, релиз переносится, каким бы срочным он ни был.

Ключевое слово здесь «восстановление», а не «бэкап». Задание резервного копирования может месяцами отчитываться об успехе и писать файлы, которые не разворачиваются, причин хватает: от битого сектора до тихо переполнившегося диска. CHECKSUM ловит часть таких случаев, ежедневное тестовое восстановление ловит остальные. Выгрузке в .dt я не доверяю совсем: она не проверяет целостность при создании, и о том, что файл мёртв, вы узнаете только при загрузке. Почему я в этом так уверен, расскажу в конце.

У клиентов поменьше базы файловые, и там ритуал свой. Копия файловой базы это копирование 1Cv8.1CD при закрытой базе, на 11 ГБ оно занимает четыре минуты, а перед релизом я открываю вчерашнюю копию у себя на ноутбуке: если она запустилась и показала свежие документы, она живая. Труднее всего было приучить себя не лениться именно на маленьких базах. Интуиция шепчет, что там всё просто, но восстанавливать маленькую базу так же больно, как большую, только стыднее.

Проверка копии перед релизом: бэкап 38 минут, восстановление 52 минуты

Сборку и доставку расширений у меня давно делает конвейер, про его устройство я подробно писал в гайде по CI/CD для 1С. Но копия в этом конвейере всё равно проверяется глазами. Автоматика снимает и разворачивает, человек смотрит в лог. Так спокойнее обоим.

Почему я блокирую базу даже ради пяти минут

Объявление и окно идут в списке парой, потому что окно без объявления превращает меня во вредителя. Накануне релиза пользователи получают сообщение с точным временем: «завтра с 21:30 база будет недоступна, к утру всё работает как обычно». За час до начала объявление повторяется. Для конторы на сорок пользователей это звучит избыточно, но именно объявление избавляет от звонков в 21:35 с вопросом «у меня всё пропало, это вирус?». Форма отработана: пишу в общий чат и дублирую письмом кладовщикам, у которых чата нет, а в тексте всегда два времени, начало и конец, плюс просьба заранее сохранить документы. Один раз я забыл про вечернюю смену склада, которая работает до 22:00, и узнал об этом от начальника смены в выражениях, которые цитировать не буду.

Само окно начинается с блокировки. Я ставлю блокировку начала сеансов с кодом разрешения и завершаю активные сеансы через консоль кластера. Дальше грабля, на которую я наступил лично: конфигуратор запускается с параметром /UC и тем же кодом, и если код в блокировке задан, а в строке запуска не указан, снаружи остаёшься и ты сам. Платформа встречает честным «Начало сеанса с информационной базой запрещено», и выглядит это ровно как успех твоей же блокировки. Первый раз я минут десять искал проблему в правах.

Регламентные задания блокируются отдельной галкой, и про неё забывают чаще, чем про сеансы. Фоновое задание не спрашивает разрешения: оно стартует по расписанию посреди реструктуризации и захватывает блокировку ровно тогда, когда конфигуратору нужен монопольный доступ. Обновление в этот момент не падает. Оно висит. Со стороны это неотличимо от зависания, и рука сама тянется к диспетчеру задач. Куда приводит эта рука, будет ниже.

Отдельно про динамическое обновление, которым платформа так услужливо предлагает обойтись без окна. После него уже запущенные сеансы продолжают исполнять старый код, и фоновые задания тоже, пока не перезапустятся. В документации это поведение упомянуто вскользь, а на практике оно даёт ошибки, которые не воспроизводятся: у половины пользователей новая логика, у половины старая. Для правки текста на форме динамика годится. Для всего, что трогает структуру данных или обмены, только окно.

План отката на одну страницу

План отката у меня это не документ на подпись, а одна страница, которую я пишу за день до релиза и кладу открытой рядом с консолью. Смысл в том, что решения принимаются заранее. В момент аварии думать поздно и вредно: адреналин подсказывает «ещё пять минут, и заведётся», а бумага говорит «время вышло, откатывайся».

План читает ещё один человек, у моего основного клиента это главный бухгалтер. Не для контроля, а чтобы в момент икс никто не уговаривал меня подождать ещё немного: она сама видела цифры и сама согласилась с ними заранее. Вот план с реального релиза этой осени, почти дословно:

21:30. Блокировка сеансов и регламентных заданий, контроль по консоли кластера: активных сеансов ноль. Старт обновления. Ожидаемое время 25 минут.

22:10. Контрольная точка: конфигурация применена, проведён тестовый документ реализации, запущен и завершён обмен с розничным узлом. Если всё чисто, снимаю блокировку.

22:33. Точка невозврата. Если база не работает, прекращаю чинить и запускаю восстановление копии 20:00.

23:45. Конец окна. В базе либо новая конфигурация, либо старая из копии. Третьего варианта в плане нет.

План отката релиза: шкала окна с точкой невозврата 22:33

Точка невозврата считается арифметикой, а не интуицией: конец окна минус время восстановления минус запас, у меня это 23:45 минус 52 минуты минус 20 минут, итого 22:33. Странное некруглое время дополнительно напоминает, что оно посчитано, а не назначено. Копия 20:00 из плана это отдельный полный бэкап прямо перед окном, ночная копия в этот день остаётся страховкой. Длительность восстановления я знаю не по ощущениям, а из ночного лога. В этом месте пункты списка сцепляются: без проверенной копии план отката превращается в художественную литературу.

Один раз план сработал по-настоящему. Осенью 2023-го обновление упёрлось в «Недостаточно памяти» на реструктуризации большой таблицы, и к точке невозврата стало ясно, что быстро это не лечится. Я молча запустил восстановление, в 23:40 база работала на старой конфигурации, утром пользователи ничего не заметили. Разбирался с памятью я уже на тестовом сервере, без спешки и свидетелей.

Здесь же скажу про героизм. Ночь, в которую специалист до утра поднимает упавшую базу, в рассказах выглядит подвигом, а в моём списке выглядит провалом планирования. Дисциплина скучнее. Зато её можно повторить двести раз подряд, а подвиг по расписанию не выходит. Чем меньше в релизе места для подвига, тем лучше я подготовился.

Час после выкладки

Релиз не заканчивается в момент, когда обновление применилось и блокировка снята. Ещё час я сижу с открытым журналом регистрации, отфильтрованным по ошибкам, и смотрю на очереди обменов. Вечером живых пользователей в базе нет, зато регламентные задания просыпаются сразу, и именно они чаще тестового прогона находят то, что я пропустил. Формально можно уходить и раньше: если за первые двадцать минут журнал чистый, дальше он тоже будет чистым. Но дважды за эти годы ошибка вылезала на сороковой минуте, когда стартовало отложенное задание, так что час есть час.

Самые неприятные баги после релиза тихие. Обмен не падает с ошибкой, он просто перестаёт отправлять, и выясняется это через сутки, когда из магазинов начинают звонить про несошедшиеся остатки. Одна такая история, где очередь доехала до брокера, но не до магазинов, разобрана у меня в тексте про невидимый баг последней мили. После неё у пункта наблюдения появилась вторая строка: утром следующего дня сверить счётчики обменов с обычными значениями, а не просто убедиться, что в журнале регистрации нет красного. Утренний проход занимает минут пятнадцать. Смотрю число ошибок за ночь против обычного фона и длительность регламентных операций против вчерашней, а с прошлого года к этому добавились ещё счётчики сообщений обмена и свободное место на диске под журналами.

Часть этой рутины со временем переехала в автоматику: метрики базы и очередей у меня собирает связка Prometheus и Grafana, и утренняя проверка сводится к взгляду на дашборд. Но в вечер релиза я всё равно смотрю глазами. Графики покажут, что стало плохо. Они не покажут, что стало странно.

Теперь история, которую я обещал в начале. 2019 год, производственная компания, около 140 пользователей, вечер пятницы. Обновление я считал мелким, поэтому выкладывал его без окна и без плана, а копией назначил свежевыгруженный .dt. Ночной SQL-бэкап к тому моменту шестые сутки падал из-за переполненного диска, но его лог никто не читал, включая меня. Изменение типа одного реквизита запустило реструктуризацию таблицы регистра на 84 миллиона строк, и через два часа ожидания я решил, что конфигуратор завис, и снял процесс.

База после этого не открылась ни в одном режиме. Загрузка .dt упала на середине с «Ошибка формата потока», повторная попытка не изменила ничего: файл был битым с момента выгрузки. Живой оставалась только SQL-копия недельной давности. Восстановление заняло вечер, а доввод документов за шесть рабочих дней растянулся на две недели силами четырёх человек. Простой базы составил 26 часов, с вечера пятницы до вечера субботы. Через два месяца клиент ушёл, и я его понимаю.

Чек-лист я написал в то же воскресенье и с тех пор прошёл его больше двухсот раз. По одиннадцать минут на проход выходит около 37 часов за неполные семь лет, то есть дороже той ночи, если мерить только временем. Но мерить надо иначе. Четыре остановленных релиза это четыре такие ночи, которых не случилось: примерно 104 часа простоя против 37 часов скучных проверок, курс один к трём в пользу дисциплины. С каждым годом он становится только выгоднее.