Архив метки: epicfail

Маленький баг и стечение обстоятельств

Как небольшой баг в коде может разрушить бизнес хостера (и карьеру админа):

Как восстановить данные после rm -rf /
Этот вопрос спрашивается здесь.

Слегка вольный пересказ:
«Я управляю небольшим хостинг-провайдером, у которого примерно 1535 клиентов, и я использую Ansible для автоматизации разных задач, запускаемых на всех серверах. Прошлой ночью я случайно запустил на всех серверах bash-скрипт со строкой rm -rf {foo}/{bar}, но переменные оказались неопределенными из-за бага в коде перед этой строкой.

Все сервера оказались вычищены, и все бэкапы тоже, потому что внешние накопители были примонтированы ровно перед запуском скрипта (это был скрипт для работы с бэкапами)

Как я сейчас могу все восстановить после rm -rf / в приемлемые сроки?»

Вопрос: А что нужно было предпринять для предотвращения такого рода ситуаций?