503: День рождения, хакеры и 30 тысяч ошибок
Неделя у айтишников выдалась весёлая.
2 ноября взломали Beget. Злоумышленники добрались до управляющих серверов и запустили скрипты уничтожения данных. Провайдер оперативно отключил инфраструктуру, но бед натворить успели немало. К счастью, значительная часть резервных копий сохранилась. Теперь ребята буквально по кусочкам восстанавливают хозяйство.
А у меня приключение поменьше, зато с праздничным антуражем.
У сына день рождения. 4 ноября собрались взрослыми отметить. Вино, торт, всё прекрасно.
И тут звонок старого клиента:
— Всё пропало! Сайт умер!
Допиваю вино, иду к компьютеру. Ошибка 503.
Поковырялся. Нашёл: чья-то умелая ручка перенаправила сайт не в ту папку. Исправил, заработало.
Возвращаюсь к празднику. Через некоторое время проверяю — снова 503. Обновляю — уже ошибка Apache.
Да что ж такое!
Оказалось, у ресторана интеграция с iiko. Когда учётная система недоступна, сайт пытается получить меню, не получает и записывает ошибку в базу. И снова. И снова.
За полгода накопилось больше 30 тысяч таких записей. А механизм продолжал усердно долбиться в недоступный сервис.
Отключил эту радость. Сайт ожил.
Вернулся к тортику и вкусному чаю.
Мораль: если внешняя интеграция сломалась, она не должна утаскивать за собой весь сайт.
А ещё в IT очень не хватает кнопки «У меня сегодня семейный праздник, отстаньте». 😁