Публикуем всё, что заметили проверки, включая короткие деградации и плановые работы. Время московское. Разбор пишем для инцидентов дольше получаса и для всего, что задело данные.
Повышенная задержка API
11:18-12:00. Медиана ответа на /v1/products выросла до 2,1 с, часть клиентов завершала запросы по своему таймауту. Причина - план запроса, который после ночного роста таблицы остатков перестал попадать в индекс. Добавили индекс по паре контур-обновление, план вернулся, задержка упала до обычной за три минуты.
Разбор инцидента →Задержка доставки вебхуков
14:40-16:50. Очередь доставки росла: приёмник одного из контуров отвечал по 30 секунд, и его повторы занимали общие потоки. Медленные подписки вынесли в отдельный пул, очередь разобралась за 20 минут. Ни одно событие не потеряно, все доставлены с задержкой.
Недоступна загрузка файлов
09:12-09:30. Приём прайсов и изображений отвечал 503: на узле приёма кончилось место, потому что после смены пути временных файлов чистка убирала не тот каталог. Освободили место, поправили путь, добавили проверку свободного места в дежурные оповещения.
Ошибки в панели управления
18:02-18:27. После выката часть страниц панели отвечала ошибкой: миграция блокировала таблицу сессий дольше, чем ожидалось. Откатились через 6 минут после первого срабатывания, остальное время ушло на прогрев кешей. API и вебхуки затронуты не были.
Песочница не выдавала ключи
16:41-17:03. Создание ключей sk_test отвечало ошибкой: контур песочницы не получил обновлённую схему после ночной чистки. Рабочий контур затронут не был. Схему накатили руками, чистку и миграцию развели по времени.
Инциденты старше 12 месяцев из ленты убираются. Нужен разбор по конкретной дате - запросите его из кабинета, мы храним журналы 13 месяцев.