Как джун одной командой «вырубил» всю «жизнь» в офисе 🏢

На Реддите нашел среди архивных вполне интересную историю про эпичный факап.

Представьте, гайз: большой 22-этажный офис. Нужно перенести 40 терабайт старых логов с одного сервера на другой. Задача тривиальная. Джун думает: «Пфф, ща сделаю одной командой!» и вбивает:

scp -r /var/log/* user@new-server:/mnt/logs/

И вот тут звездочка * означает «всё, что в подпапке». А там лежали сотни миллионов крошечных файлов. Запустив команду, scp начал отправлять все эти мелкие файлы, что сетевое оборудование просто зависло.

Сначала умер один коммутатор Cisco, а за ним по цепочке легла сеть во всём здании.

Последствия 40 минут простоя:
- Интернет пропал у 800+ сотрудников.
- IP-телефония замолчала.
- Турникеты на проходной перестали пускать людей (база недоступна).
- В торговом зале на первом этаже умерли кассы.
- Лифты застряли между этажами (видимо, они тоже были в общей сети... Очень странно, но за что купил...).

Причем, правильно было сделать реально легко:
Проблема не в объеме, а в количестве файлов. Нужно было упаковать всё в один архив и передать его, не мучая сеть миллионом мелких запросов:

tar -czf /var/log/ | ssh user@new-server "cat > /mnt/logs/backup.tar"

В общем, даже в IT попытка «сделать всё одной простой командой» может стоить очень дорого.