Что происходит, когда правки в конфигах никто не фиксирует
Поднял сервис. Через месяц он отвалился. Лезешь в конфиг, а там кто-то поменял три строки, и никто не помнит когда. Знакомо?
Журнал изменений на сервере решает не только вопрос «что было». Он отвечает на вопрос «почему сломалось именно сейчас» и даёт инструмент отката, когда правка оказалась неверной. Без него ты ищешь причину по логам, по памяти коллег и по дате изменения файла. Логи часто уже прокрутились, коллега в отпуске, а дата показывает только последнюю запись, не содержание.
Стандартный путь в Linux: держать /etc под системой контроля версий. Чаще всего это git с локальным репозиторием, без удалённого origin. Утилита etckeeper автоматизирует работу с ним и делает коммиты сама в нужные моменты. Дальше я покажу, как это собрать за один вечер и не выстрелить себе в ногу.
Что тебе понадобится:
- root-доступ на сервере или sudo-пользователь с полными правами
- свободное место под репозиторий, обычно десятки мегабайт на первый год
- понимание, что секреты в /etc придётся исключать из версионирования
- 30-40 минут на настройку и первый коммит
Сколько времени займёт: сама установка минут пять, остальное уйдёт на настройку .gitignore и проверку, что в репозиторий не попадает мусор. На боевом сервере это критичнее самой установки.
Почему без журнала изменений всё ломается
Разберу типичные причины, по которым сервер живёт без истории правок и почему это создаёт проблемы.
Правки делаются в спешке и не документируются
Пока горит прод, никто не открывает текстовый файл «changelog.txt» и не пишет туда строку. Правку вносят, сервис перезапускают, уходят. Через неделю выясняется, что именно она положила соседний сервис, но связи уже никто не видит.
Конфиг меняется из нескольких источников
Ansible, ручные правки, скрипты деплоя, админ по ssh. Каждый вносит своё. Без единой точки истории невозможно понять, кто был последним и что он поменял.
Файл даты изменения врёт
mtime показывает последнюю запись. Если правку откатили и залили старую версию, mtime всё равно обновится. Ты видишь «изменён сегодня», а фактически содержимое такое же, как было месяц назад. Нет истории, нет понимания.
Резервные копии делают не тот откат
Бэкап всего сервера вернёт тебя на момент копии, откатив заодно всё, что ты успел настроить правильно. Для отката одной правки это как лечить насморк гильотиной.
Никто не проверял, что именно попадает в историю
Если просто запустить git init в /etc, туда прилетят быстро меняющиеся файлы вроде mtab, временные файлы с суффиксом ~, журналы. История раздувается, поиск нужного коммита превращается в раскопки.
Секреты случайно уходят в коммит
Ключи, пароли, токены, приватные части сертификатов. Файл с секретом, попавший в git, остаётся в истории навсегда. Удалить его из рабочей копии мало, чистить историю сложнее и рискованнее.
Откат файла делают, но не откатывают состояние сервиса
git checkout вернёт конфиг к прежней версии. Но пользователь, созданный тем же скриптом, останется. Запись в базе тоже. Сертификат, выпущенный по изменённому конфигу, не исчезнет. Об этом помни всегда, когда откатываешь.
Рецепт: git в /etc с etckeeper
Подготовка
Проверь, что на сервере есть git и свободное место. Дальше установи etckeeper, он сам инициализирует репозиторий и поставит хуки для apt.
# проверка окружения
lsb_release -a
git --version || echo "git не установлен"
df -h /etc
Ожидаемый результат: видишь версию ОС, либо версию git, либо сообщение об отсутствии, и размер свободного места в разделе, где лежит /etc.
Системные требования
| Компонент | Версия | Примечание |
|---|---|---|
| ОС | Ubuntu 22.04 / 24.04, Debian 12 | На других дистрибутивах путь установки отличается, логика та же |
| git | актуальная в репозитории дистрибутива | Проверяй релизы на git-scm.com перед установкой |
| etckeeper | версия из репозитория дистрибутива | Актуальная на момент публикации, перед установкой проверь свежие релизы |
| back-end контроля версий | git (по умолчанию на Ubuntu) | Механически поддерживаются также mercurial и bazaar |
На момент публикации актуальны etckeeper и git из репозиториев Ubuntu 24.04. Перед установкой проверь свежие релизы.
Порты
Для локального репозитория в /etc порты не нужны. Если планируешь отправлять историю на внешний сервер, открывай только исходящие соединения.
| Порт | Протокол | Назначение | Снаружи |
|---|---|---|---|
| 22 | TCP | Доставка репозитория по ssh при push | Исходящий, если push настроен |
| 9418 | TCP | git-протокол без шифрования | Не открывать |
| 443 | TCP | Доставка через https, если используется | Исходящий, при push на внешний сервер |
Если репозиторий чисто локальный, ни одного порта открывать не нужно.
Как устроена схема

Хук etckeeper срабатывает перед установкой пакетов через apt/dpkg и после неё. По расписанию коммит делает cron. Ручной коммит ты запускаешь сам: etckeeper commit.
Шаг 1. Установка пакетов
Ставим etckeeper и git. Пакет apt на Ubuntu сам положит хук в каталог apt.conf.d, который будет коммитить изменения перед операциями dpkg.
sudo apt update
sudo apt install etckeeper git
Ожидаемый результат: apt создаёт репозиторий в /etc, делает первый коммит вида «Initial commit» и регистрирует хуки.
Шаг 2. Проверить, что репозиторий создан
sudo git -C /etc status
sudo git -C /etc log --oneline | head -5
Ожидаемый результат: видишь ветку master или main, дерево чистое или с новыми файлами, в логе минимум один коммит от etckeeper.
Шаг 3. Настроить .gitignore до первого большого коммита
Это критично. Без исключений история распухнет и найти нужный коммит станет невозможно. Файл /etc/.gitignore уже создан etckeeper, приводим его к рабочему виду.
# /etc/.gitignore
*.dpkg-new
*.dpkg-old
*.dpkg-dist
*.dpkg-bak
*.ucf-dist
*.ucf-new
*.ucf-old
*.rpmnew
*.rpmsave
*.swp
*~
mtab
blkid.tab
blkid.tab.old
adjtime
adjtime.old
cron.daily/.placeholder
cups/subscriptions.conf
cups/subscriptions.conf.O
shadow.cache
Ожидаемый результат: быстрые и служебные файлы не попадают в коммиты. Отдельно убедись, что файлы с секретами исключены.
Файлы, которые чаще всего содержат чувствительные данные:
- ssl/private/*.key и любые приватные ключи
- ssh/ssh_host_*_key, ssh/ssh_host_*_key.pub остаются, приватные исключаем
- shadow, shadow-
- каталоги типа letsencrypt/accounts с токенами регистрации
- gshadow, gshadow-
- файлы с паролями приложений вроде samba/secrets.tdb
- всё, что попало в /etc под собственные конфиги с токенами и ключами
Шаг 4. Настроить etckeeper.conf
Конфиг etckeeper лежит в /etc/etckeeper/etckeeper.conf. Проверь ключевые параметры.
grep -vE '^#|^$' /etc/etckeeper/etckeeper.conf
Ожидаемый результат: видишь активные параметры без комментариев. Ключевые из них.
VCS="git"
AVOID_COMMIT_BEFORE_INSTALL=0
AVOID_DAILY_AUTOCOMMITS=1
AVOID_SPECIAL_FILE_WARNING=0
HIGHLEVEL_PACKAGE_MANAGER=apt
Что эти параметры означают:
- VCS задаёт систему контроля версий, по умолчанию на Ubuntu git
- AVOID_COMMIT_BEFORE_INSTALL=0 означает, что коммит перед установкой пакетов делается; не отключай, это твоя страховка
- AVOID_DAILY_AUTOCOMMITS=1 отключает автоматические ежедневные коммиты, я предпочитаю явные ручные, иначе история засоряется «пустыми» коммитами
- HIGHLEVEL_PACKAGE_MANAGER=apt указывает, с каким пакетным менеджером работать хукам
Шаг 5. Первый ручной коммит
После настройки .gitignore делай коммит вручную, чтобы зафиксировать базовое состояние.
sudo etckeeper commit "Базовая конфигурация: репозиторий настроен, .gitignore приведён к рабочему виду"
Ожидаемый результат: команда отрабатывает без ошибок, git -C /etc log показывает два коммита, статус чистый.
Шаг 6. Ежедневный коммит по cron
Если хочешь фиксировать ручные правки автоматически раз в сутки, включи cron-задание etckeeper. На Ubuntu он обычно кладётся сам как /etc/cron.daily/etckeeper. Проверь права.
ls -l /etc/cron.daily/etckeeper 2>/dev/null
ls -l /etc/cron.d/etckeeper 2>/dev/null
Ожидаемый результат: файл есть, бит исполняемости выставлен, владелец root. Если файла нет, создай простое задание.
# /etc/cron.d/etckeeper-daily
30 3 * * * root etckeeper commit "автокоммит" >/dev/null 2>&1
Ручные правки фиксируй и сразу, не полагайся только на ночной cron. Коммит «перед изменением и после» даёт внятную точку отката.
Шаг 7. Безопасность на этапе настройки
Репозиторий в /etc не должен быть доступен никому, кроме root. Проверь права.
sudo ls -ld /etc/.git
sudo find /etc/.git -type f -not -user root | head
Ожидаемый результат: владелец root, права drwxr-xr-x или строже, файлов, принадлежащих другому пользователю, в выводе нет.
Базовые шаги гигиены:
- Репозиторий оставь локальным. Без origin меньше шансов утечки истории, включая секреты
- SSH hardening на всякий случай: отключи вход по паролю, оставь ключи
- UFW включи, если он ещё не включён, и разреши только нужные порты
- fail2ban поставь для ssh, чтобы автоматические сканеры не долбили порт
- Все манипуляции с /etc/.git делай только из-под root
- Раз в месяц смотри git log и находи необычные коммиты, которых не делал
Проверка, что журнал изменений работает
Пройди по контрольным точкам. Не полагайся на «должно работать». Проверь каждую.
Проверка 1. Репозиторий отвечает
sudo git -C /etc status
sudo git -C /etc log --oneline | head -10
sudo git -C /etc remote -v
Ожидаемый результат: рабочее дерево совпадает с HEAD, в логе видны коммиты с осмысленными сообщениями, remote пуст (origin для локального репозитория не нужен).
Проверка 2. Хук apt срабатывает
Установи любой безобидный пакет и посмотри, что появилось в истории.
sudo apt install -y sl
sudo git -C /etc log --oneline -5
Ожидаемый результат: перед установкой и после неё появились автоматические коммиты с сообщениями вида «committing changes in /etc before/after installing packages».
Проверка 3. Правка файла видна в diff
Внеси демонстрационную правку в innocuous-named файл, например /etc/hostname добавь комментарий, и посмотри diff.
sudo cp /etc/hostname /tmp/hostname.bak
echo "# тестовая строка" | sudo tee -a /etc/hostname
sudo git -C /etc diff
Ожидаемый результат: git diff показывает добавленную строку. Убедись, что видно.
Проверка 4. Откат работает
Возьми файл из шага 3 и верни к состоянию HEAD.
sudo git -C /etc checkout -- hostname
tail -3 /etc/hostname
Ожидаемый результат: тестовая строка исчезла, содержимое совпадает с версией из коммита. Если что-то пошло не так, верни из /tmp/hostname.bak.
Проверка 5. .gitignore действительно исключает мусор
Выведи список файлов, отслеживаемых репозиторием, и поищи лишнее.
sudo git -C /etc ls-files | grep -E '~$|mtab|swap|dpkg-(new|old)'
sudo git -C /etc ls-files | wc -l
Ожидаемый результат: первая команда ничего не выводит, вторая показывает разумное количество, обычно несколько сотен файлов. Если в первой команде что-то есть, поправь .gitignore и сделай git rm —cached.
Проверка 6. Секретов в истории нет
Простой поиск типичных маркеров.
sudo git -C /etc ls-files | grep -Ei 'shadow|private|\.key$'
Ожидаемый результат: приватные ключи и shadow в списке отсутствуют. shadow.cache и adjtime уже в .gitignore.
Проверка 7. Права на репозиторий
sudo ls -ld /etc/.git
sudo stat -c '%U %a %n' /etc/.git
Ожидаемый результат: владелец root, права 755 или строже, посторонних пользователей нет.
Проверка 8. Коммит по cron
Правку, сделанную днём, ночью должен подхватить cron. Ускорить проверку можно так.
sudo etckeeper commit "ручной тестовый коммит cron-логики"
sudo git -C /etc log --oneline -3
Ожидаемый результат: коммит виден в истории. Если cron-задание есть, а коммиты ночью не появляются, смотри /var/log/syslog и syslog.1 на записи от etckeeper.
Чего проверка не покажет
Даже при всех зелёных галочках остаются вещи, которые в git в /etc не решаются, и о них стоит помнить до следующего инцидента:
- Права и владельцы файлов. git хранит только бит исполняемости, uid/gid и точные права не сохраняются
- Расширенные атрибуты и SELinux-контексты. Они тоже вне репозитория
- Побочные эффекты в других местах системы: пользователи, группы, сертификаты, строки в БД
- Состояние самого сервиса. Конфиг вернулся, а демон остался запущен со старыми параметрами до перезапуска
Эти ограничения не отменяют пользу репозитория. Они показывают, что перед откатом нужно думать о том, что ещё поменялось вокруг конфига.
Когда git в /etc начинает мешать: осложнения и как их разгрести
Репозиторий в /etc заводится за десять минут. Проблемы начинаются на второй неделе, когда в истории уже триста коммитов, а половина из них вида «apt installed something». Ниже те грабли, на которые наступают все, и способы с них слезть.
Ошибка: git status показывает сотни изменённых файлов, которых ты не трогал
Симптом простой: заходишь в /etc, делаешь git status, а там список на три экрана. Ты ничего не менял, но git считает иначе.
Причина в том, что часть файлов в /etc обновляется сама: dhcp-lease, mtab, resolv.conf, файлы с временными метками, кэши пакетов. etckeeper при этом старается, коммитит их по cron, и в истории появляется шум.
Что делать. Открой .gitignore в корне репозитория /etc и добавь то, что не несёт смысла для истории. Рабочий набор выглядит так:
mtab
*.dpkg-*
*.ucf-*
*.ucf-new
*.ucf-old
*.bak
*~
resolv.conf
ld.so.cache
adjtime
После этого удали уже закоммиченный мусор из индекса, не трогая файлы на диске:
cd /etc
git rm --cached -r . >/dev/null
git add -A
git commit -m "chore: очистка индекса, добавлен .gitignore"
Проверь, что после коммита git status показывает чистое дерево. Если снова полезли файлы, добавь их в .gitignore и повтори.
Ошибка: в истории оказались пароли и приватные ключи
Это уже не косметика. Если в /etc лежит файл с паролем БД, ключ от бэкапа или приватный ключ сертификата, и ты сделал коммит, содержимое лежит в объектах git навсегда. Просто удалить файл и закоммитить нельзя: в предыдущих коммитах он остаётся и достаётся одной командой.
Первое, что нужно сделать: считать секрет скомпрометированным и ротировать его. Смени пароль, перевыпусти ключ. Только потом чисти историю.
Для чистки истории используется git filter-repo. Старый добрый filter-branch работает, но медленный и легко ломает дерево. Поставь filter-repo и вычисти файл целиком:
apt install git-filter-repo
cd /etc
git filter-repo --invert-paths --path passwd/backup-db.key --force
Учти: filter-repo перезаписывает все коммиты и меняет хеши. Если ты куда-то пушил этот репозиторий, придётся форсировать push и просить всех переклонировать. Для локального репозитория в /etc это обычно не проблема, потому что origin нет по определению.
После чистки проверь, что файла нет ни в одном коммите:
git log --all --full-history -- passwd/backup-db.key
Пустой вывод означает, что чисто. Дальше добавь путь в .gitignore, чтобы история не повторилась.
Секреты, которые в /etc нужны сервисам, лучше выносить в файл, который вообще не версионируется, и давать сервису читать его через отдельный пользователь с нужными правами.
Ошибка: откатил файл, а сервис работает по-старому
Классика. Делаешь git checkout HEAD~5 -- ssh/sshd_config, перезапускаешь sshd, а поведение не изменилось. Или изменилось, но не так, как ждёшь.
Причина в том, что git восстанавливает файл на диске, но не последствия его применения. Созданные пользователи остаются в /etc/passwd и /etc/shadow, изменения в БД остаются в БД, выпущенные сертификаты остаются в /etc/ssl, а сервис может держать старую конфигурацию в памяти.
Что делать. Откат файла это только первый шаг. Дальше идёт полный цикл:
- Восстанови файл из нужного коммита.
- Проверь синтаксис до перезапуска сервиса.
- Перезапусти сервис.
- Разберись с побочными эффектами вручную: пользователи, базы данных, сертификаты.
Синтаксис проверяется до перезапуска, иначе можно остаться без доступа к серверу:
ssh-keygen -t ed25519 -f /dev/null 2>/dev/null # ключ не нужен, только проверка
sshd -t
nginx -t
named-checkconf /etc/bind/named.conf
postfix check
Если sshd -t молчит, конфиг валиден. Если ругается, правь, не перезапускай.
Ошибка: откатил файл, а права и владелец слетели
git хранит только бит исполняемости. Точные права вида 0640 и владельца вида root:ssl-cert он не сохраняет. После git checkout файл вполне может оказаться с правами 0644 и владельцем root:root, и сервис откажется его читать.
Симптом вылезает сразу в логах: permission denied при чтении приватного ключа или конфига с секретом.
Что делать. Права восстанавливай руками или скриптом. Для типовых файлов набор такой:
chmod 0640 /etc/ssl/private/*.key
chown root:ssl-cert /etc/ssl/private/*.key
chmod 0600 /etc/ssh/ssh_host_*_key
chown root:root /etc/ssh/ssh_host_*_key
chmod 0644 /etc/ssh/ssh_host_*_key.pub
Если файлов много, веди карту прав в отдельном файле репозитория и применяй её скриптом после отката. Или пользуйся etckeeper metadata: часть дистрибутивов хранит права и владельцев в метаданных VCS, но полагаться на это в продакшне не стоит, проверяй руками.
Ошибка: etckeeper коммитит слишком часто и история превращается в кашу
По умолчанию etckeeper коммитит перед и после каждой операции apt. За день с обновлениями набегает десятки коммитов, и найти в истории нужное изменение становится тяжело.
Решение: не отключай автоматические коммиты, они полезны для аудита. Вместо этого пользуйся поиском по истории и группируй осмысленные изменения руками.
cd /etc
git log --oneline --since="2 weeks ago"
git log -p -- nginx/nginx.conf
git log --oneline --author="$(whoami)"
Для осмысленных правок делай коммит с человеческим сообщением до или после apt, чтобы отделить их от автоматических:
cd /etc
git add nginx/nginx.conf
git commit -m "nginx: включён gzip для text/css и application/json"
Теперь в git log видно две категории: «apt installed» и твои осмысленные изменения. Вторые ищешь глазами, первые фильтруешь.
Альтернативы git в /etc: где что уместно
Git в /etc закрывает случай «правки в файлах конфигурации на одной машине». Есть задачи, где он не тянет, и это нормально. Ниже варианты, которые стоит держать в голове.
| Инструмент | Что фиксирует | Когда уместен | Ограничение |
|---|---|---|---|
| etckeeper + git | Конфиги в /etc | Linux-серверы, одна или несколько машин | Не покрывает состояние вне /etc |
| Снапшоты Proxmox VE | Диск гостевой ВМ целиком | Виртуалки, эксперименты, откат всей системы | Диск, зависимости, нет гранулярности по файлам |
| RouterOS backup | Конфигурация роутера | Микротики, сетевое оборудование | .backup только на совместимую версию |
| RouterOS export | Текстовый дамп конфига | Читаемая история, ручное сравнение | Не всё попадает в export, часть параметров по умолчанию пропущена |
| PowerShell Start-Transcript | Команды и вывод сессии | Аудит действий администратора в Windows | Не фиксирует итоговое состояние системы |
Снапшоты Proxmox VE: откат на уровне диска
Если сервер живёт в виртуалке под Proxmox VE, снапшот даёт грубый, но надёжный откат. Перед рискованной операцией снимаешь снапшот, ломаешь что хочешь, откатываешься к состоянию на момент снапшота.
Работает так:
# снапшот перед экспериментами
qm snapshot 101 pre-upgrade --description "Перед апгрейдом PostgreSQL 15 на 16"
# посмотреть список
qm listsnapshot 101
# откат
qm rollback 101 pre-upgrade
Что важно понимать: снапшот в Proxmox VE 8 не резервная копия. Если ты снимаешь снапшот на том же пуле ZFS, на котором живёт диск ВМ, и пул умирает, снапшот умирает вместе с ним. Снапшот это про «откатить эксперимент за пять минут», а не про «восстановить сервер после смерти диска». Схема с двумя разными задачами выглядит так:

RouterOS: backup и export, зачем оба
У Микротика два механизма, и путать их не стоит. /system backup save создаёт бинарный файл .backup, который восстанавливается только на ту же или совместимую версию RouterOS. /export создаёт текстовый скрипт, который читается глазами и диффится в git.
/system backup save name=pre-ros7-upgrade
/export file=config-2025-01-15
# скопировать оба файла на внешний хост
Почему оба. Backup даёт гарантированный откат всей конфигурации. Export даёт читаемую историю и возможность точечно править. Но export не воспроизводит конфиг один в один: часть параметров со значениями по умолчанию в него не попадает, а часть зависит от аппаратной модели. Так что вести историю по export можно, а восстанавливать сложные конфигурации с нуля по одному export нельзя.
PowerShell транскрипты: что покрывают, чего нет
На Windows есть Start-Transcript, который пишет всё, что ты делаешь в консоли, в файл. Полезно для аудита, но это не журнал изменений системы.
Start-Transcript -Path "C:\Admin\transcript-$(Get-Date -Format yyyyMMdd-HHmm).log"
Что транскрипт фиксирует: выполненные команды и их вывод. Что не фиксирует: итоговое состояние реестра, групп, служб, сертификатов. Если коллега отключил службу через GUI, транскрипт об этом не скажет.
Для реального отслеживания состояния в Windows приходится смотреть в сторону Desired State Configuration или сторонних инструментов аудита. Простой транскрипт оставляй как первый слой, но не как единственный.
Профилактика: чтобы журнал изменений приносил пользу, а не лежал мёртвым грузом
Бэкап самого репозитория
Репозиторий в /etc это тоже данные. Если он пропадёт вместе с диском, история уйдёт. Копия репозитория делается просто: бэкапишь директорию .git из /etc или делаешь bundle целиком.
cd /etc
git bundle create /var/backups/etc-$(date +%F).bundle --all
git bundle verify /var/backups/etc-$(date +%F).bundle
bundle это один файл, содержащий всю историю. Восстанавливается через git clone /var/backups/etc-2025-01-15.bundle /etc-new. Удобно кидать в бэкап как обычный файл.
| Что бэкапить | Как часто | Где хранить | Как восстановить |
|---|---|---|---|
| git bundle из /etc/.git | Ежедневно по cron | Внешний NAS или объектное хранилище | git clone из bundle |
| etckeeper-коммиты | Каждое изменение | Локально в /etc | git checkout нужного коммита |
| Снапшоты ВМ | Перед рискованными операциями | Тот же пул, что диск ВМ | qm rollback |
| RouterOS backup+export | Перед обновлением RouterOS | Внешний хост, не на роутере | upload + /system backup load |
| Конфигурация Windows | Перед изменениями, скриптом | Файловый сервер с версионированием | Скриптом обратной установки |
Скрипт ежедневного bundle по cron выглядит так:
# /etc/cron.daily/etc-bundle
#!/bin/sh
set -e
cd /etc
git bundle create /var/backups/etc-$(date +%F).bundle --all
find /var/backups -name "etc-*.bundle" -mtime +30 -delete
chmod +x /etc/cron.daily/etc-bundle
Тридцать дней истории бандлов это разумный минимум. Дальше решай по политике хранения.
Автозапуск: чтобы etckeeper не умер тихо
etckeeper коммитит по cron, обычно через /etc/cron.daily/etckeeper. Проверь, что он реально запускается и что cron включён.
systemctl status cron
systemctl list-timers | grep etckeeper
cat /etc/cron.daily/etckeeper
Если cron отключён в пользу systemd-timers, убедись, что таймер для etckeeper есть. Если нет, заведи свой unit или просто cron.daily. Главное, чтобы коммиты шли сами, а не только когда ты руками зайдёшь.
Мониторинг: как узнать, что изменения происходят
Полезно держать минимальный мониторинг журнала. Например, ежедневный отчёт: сколько коммитов за сутки, кто автор, что менялось. Пятнадцать строк скрипта, а глазами потом легче.
#!/bin/bash
cd /etc
echo "Коммиты за последние сутки:"
git log --since="24 hours ago" --pretty=format:"%h %an %s" | head -20
echo
echo "Изменённые файлы:"
git log --since="24 hours ago" --name-only --pretty=format: | sort -u | grep -v '^$'
Отчёт можно кидать себе на почту. Если ночью кто-то изменил что-то в /etc, ты узнаешь об этом утром, а не когда всё сломалось.
Безопасность: что закрыть до того, как начнёшь версионировать
Несколько вещей, которые экономят нервы. Не пуши репозиторий из /etc на публичный GitHub. Никогда. Репозиторий этот локальный по определению, origin не нужен.
Доступ к /etc ограничен рутом, и репозиторий наследует эти права. Проверь права на .git:
ls -ld /etc/.git
# должно быть drwx------ или drwxr-x---
chmod 0700 /etc/.git
Если сервер доступен нескольким людям, убедись, что у непривилегированных пользователей нет чтения /etc/.git. Внутри лежит вся история конфигов, включая случайно попавшие секреты.
Для сетевой части: закрой git-хуки от непривилегированных пользователей. Файлы в /etc/.git/hooks должны быть root:root, иначе любой, кто может их писать, выполнит свой код при твоём коммите.
find /etc/.git/hooks -type f -exec chown root:root {} \;
chmod 0700 /etc/.git/hooks
Безопасное обновление etckeeper и системы
etckeeper это пакет, он обновляется вместе с системой. Перед обновлением проверь, что репозиторий чистый, и сделай bundle. Тогда откат всегда возможен.
cd /etc
git status --short
git bundle create /var/backups/etc-preapt-$(date +%F).bundle --all
apt update
apt upgrade -y
После апгрейда проверь, что etckeeper не сломался и коммиты идут:
cd /etc
git status
git log --oneline | head -5
Если что-то отвалилось, восстанови /etc из bundle:
cd /
mv /etc /etc-broken
git clone /var/backups/etc-preapt-2025-01-15.bundle /etc
Проверь конфиги перед перезагрузкой. Если что-то важное (systemd, fstab, sshd) побилось, сервер может не подняться. Держи под рукой live-CD или второй доступ через консоль гипервизора.
FAQ: журнал изменений на сервере
Почему журнал изменений не работает после настройки etckeeper?
Четыре причины встречаются чаще всего. Первая: cron отключён, коммиты не идут, история стоит на первой записи. Проверь systemctl status cron. Вторая: в .gitignore попали файлы, которые ты ждёшь увидеть в истории. Открой .gitignore и убери лишнее. Третья: etckeeper поставился, но хук в /etc/apt/apt.conf.d не активировался. Проверь ls /etc/apt/apt.conf.d/, должен быть файл с 05etckeeper или подобным именем. Четвёртая: пользователь, под которым работает cron, не имеет доступа к /etc/.git, коммиты падают с permission denied.
Как проверить, что версионирование конфигов работает правильно?
Три проверки. Открой /etc, измени безопасный файл (например, добавь комментарий в /etc/hostname или в свой конфиг рядом), сделай коммит руками, посмотри git show. Должен показать дифф. Второе: установи любой пакет через apt, посмотри git log --since="5 minutes ago". Должны быть коммиты pre-install и post-install. Третье: откати тот же файл через git checkout HEAD~1 -- и проверь, что содержимое вернулось. Все три прошли, значит система живая.
Что делать, если откат конфига не помог?
Скорее всего, проблема не в файле, а в побочных эффектах. Проверь по шагам: созданные пользователи в /etc/passwd, изменения в БД (пользователи, привилегии), выпущенные сертификаты, изменения в других директориях (/var, /usr/local), состояние самого сервиса в systemd. Если и там пусто, сравни рабочий конфиг с тем, что в репозитории до проблемного коммита. Иногда проще снести сервис и поднять заново по сохранённому состоянию, чем чинить поэтапно.
Чем etckeeper отличается от обычного git в /etc?
По сути, etckeeper это обёртка вокруг git (или mercurial, bazaar), которая ставит хуки на apt/dpkg и коммитит изменения автоматически. Без etckeeper ты заводишь git руками и коммитишь сам. Плюс etckeeper: не забудешь закоммитить после apt-операции. Минус: коммитит больше, чем хотелось бы, в историю попадает шум от автоматических обновлений. Обычный git даёт полный контроль над тем, что попадает в коммит, но требует дисциплины: забыл закоммитить, история неполная. На продакшне часто ставят etckeeper плюс поверх него делают осмысленные коммиты руками для важных правок.
Можно ли использовать журнал изменений на сервере без git?
Можно, но с ограничениями. Простейшая альтернатива: ежедневный diff /etc в файл с датой. Плюс: не нужен git. Минус: нет нормального отката по коммиту, только ручное применение патча. Или снапшоты на уровне ФС через LVM, ZFS, btrfs. Плюс: откат всего состояния. Минус: тяжёлые и не дают точечного отката одного файла. Для нормального журнала изменений git в /etc остаётся самым удобным вариантом, потому что даёт гранулярность, скорость и читаемую историю.
Как найти, кто изменил конфиг?
Если репозиторий в /etc вели все администраторы со своими учётками, git log покажет автора. Смотри git log -p -- nginx/nginx.conf, там будет имя автора и дата. Проблема начинается, когда все коммитят под root и в git config user.name стоит что-то вроде «root@server». Тогда автора отличить нельзя. Настрой git config для конкретного пользователя и не давай всем коммитить одной учёткой. На уровне системы дополнительно помогает auditd: он логирует любые записи в /etc независимо от git.
auditctl -w /etc/nginx/ -p wa -k nginx_conf_changes
# потом ищи в /var/log/audit/audit.log по ключу
ausearch -k nginx_conf_changes
auditd и git работают в паре: git отвечает «что изменилось», auditd отвечает «кто и когда», если пользователи ходят под своими учётками.
Прогноз и что делать дальше
После настройки etckeeper плюс git в /etc ты получаешь три вещи: знать, что изменилось с точностью до строки, откатить любой файл за секунды, увидеть историю глазами при разборе инцидента. Дальше остаётся дисциплина: перед каждой рискованной правкой смотреть git status, после каждой apt-операции проверять git log, раз в месяц делать bundle на внешний носитель.
Если серверы не одиночные, а парк, ту же схему тянешь на все машины одним шаблоном: одинаковый .gitignore, одинаковый cron, одинаковый скрипт отчётов. Тогда через полгода у тебя есть история изменений всего парка, а не набор вкладок в терминале, которые потерялись после перезагрузки ноутбука. Держи bundle чтобы восстанавливаться после смерти диска, снапшоты Proxmox для отката ВМ целиком, аккаунты аудита для случаев, когда git-истории недостаточно.
Диск умирает, и бэкап умирает вместе с ним. Диск умирает, репозиторий в /etc продолжает жить на другом сервере, если bundle уехал туда заранее.
Оставайтесь на связи
Рецепты от IT-боли. Без воды, без рекламы, без маркетинговой шелухи.
Подписаться на IT-Аптеку →





У меня 12 серверов, и локальный git в /etc на каждом это 12 отдельных историй, между которыми нет связи. Пробовал ли ты схему с одним bare-репозиторием, куда все машины пушат свой /etc под разными ветками? Как при этом решаешь проблему, что хостнеймы и IP в конфигах у всех разные, и как вообще искать общую правку, если один и тот же шаблон раскатали через Ansible на все хосты?
Да, рабочая схема, но с оговорками. Делаю bare-репозиторий на отдельной машине, на каждом хосте добавляю origin и ветку по имени хоста: git -C /etc push origin master:refs/heads/web01. Тогда в одном месте видно все истории, ветки не конфликтуют. Хостнеймы и IP не проблема: etckeeper коммитит то, что реально лежит в /etc, а расхождения это как раз плюс, видно где конфиг ушёл от шаблона. Ровно эту задачу решает git diff между ветками: git diff web01..web02 — nginx/ показывает, кто и что переопределил локально. Для Ansible отдельно держу playbook-репозиторий, а /etc это уже фактическое состояние, их не смешиваю. По безопасности: push только по ssh с ключом, на bare ставлю git config receive.denyNonFastForwards true, иначе история перезапишется. И исключения на каждом хосте разные, .gitignore лучше держать в отдельном репо и раскладывать через шаблон. Проверить, что push не тянет секреты, можно так: git -C /etc log -p —all | grep -iE ‘password|PRIVATE KEY’ перед первым push. Если что-то нашлось, чистить историю через git filter-repo, руками это больно. Ещё нюанс: etckeeper по cron коммитит только локально, про push он ничего не знает, его нужно вешать на post-commit hook или отдельный таймер.
Не понял момент с откатом одного файла. git checkout вернёт содержимое конфига, но вопрос: команда отработает без падения сервиса или правки подхватятся только после рестарта? Мне казалось, демон перечитывает статический файл только в момент запуска, а в рантайме висит в памяти. Или я путаю с чем-то другим? И второй момент: если откатываешь файл, который уже кто-то правил после тебя, git спокойно перезапишет его или всё же попросит подтвердить перезапись? Хочу понять, как это выглядит на живом сервере, а не в учебнике.
git checkout не трогает ни процесс, ни его память. Он просто перезаписывает файл на диске тем блобом, что был в коммите. Дальше ничего само не произойдёт: сервис продолжит работать со старым содержимым, пока ты его не перезапустишь или не дашь ему reload. Именно поэтому откат удобно проверять до рестарта: сравни `diff` текущего рабочего файла с версией из git, потом уже делай `systemctl reload` или restart, смотря что поддерживает unit. С перезаписью всё проще, чем кажется. `git checkout — /etc/nginx/nginx.conf` молча затрёт локальные правки, никакого подтверждения не будет. Если передумал, спасёт только `git reflog` или локальные незакоммиченные изменения ты убьёшь без вариантов. Поэтому перед откатом всегда фиксируй текущее состояние хотя бы так: `etckeeper commit «state before revert»`. Тогда откат становится обычным переходом между двумя коммитами, а не риском потерять чужую работу. И проверяй `git -C /etc status` до и после, чтобы видеть, что реально изменилось, а не верить глазам.
Привет! Интересно, а как быть с парком машин? У меня 12 серверов, и если на каждом etckeeper будет пушить в свой локальный репозиторий, то это не удобно для аудита. Пробовал настраивать push на центральный git-сервер? Какие подводные камни с правами, ведь в /etc много файлов с owner root и разными группами. И как ты решаешь проблему, что на разных серверах свои хосты и конфиги, а хочется видеть общую картину изменений? Ну и второй момент: если один админ сделал коммит, а второй в это время правит другой файл, как избежать конфликтов при push?
Да, при парке машин локальный репозиторий на каждом хосте быстро превращается в свалку. Я делаю так: на каждом сервере etckeeper работает локально, а push настроен на центральный голый репозиторий через отдельного пользователя git с доступом только на запись. В /etc/etckeeper/etckeeper.conf добавляю PUSH_REMOTE=origin и PUSH_BRANCH=master, но главное, в .git/hooks/pre-push проверяю, что не улетают секреты. Чтобы не смешивать историю разных хостов, в центральном репозитории делаю отдельную ветку на каждый сервер или использую префикс в теге коммита. Конфликты при параллельной правке решаются хуком, который перед push делает pull —rebase, и если конфликт, etckeeper просто останавливается и пишет в лог. Права и владельцы git не хранит, поэтому после клонирования на новом сервере обязательно прогоняю etckeeper init и проверяю, что все критичные файлы имеют правильный owner. Ещё момент: если серверов больше десяти, cron-задание etckeeper начинает заметно нагружать диск, поэтому я перенёс коммиты на ночное окно и ограничил частоту. Проверяю так: git -C /etc remote -v и git -C /etc branch -a, чтобы видеть, куда и что пушится. По поводу общей картины: удобно использовать git log —all —graph —oneline —decorate, тогда видно, какой сервер что менял. Но есть нюанс с бинарными файлами в /etc, например, базами данных или сертификатами, они пушатся медленно и раздувают репозиторий, их лучше исключить через .gitignore.
С etckeeper не понял до конца: apt-хук коммитит перед установкой пакетов, а cron отдельно в конце дня. Допустим, я руками поправил nginx.conf и перезапустил сервис, но до ночного коммита никто ничего не зафиксировал. Как тогда на сервере выглядит состояние репозитория: там уже лежит рабочая копия с моими изменениями, или git ничего не видит до запуска etckeeper commit?
Рабочая копия это просто файлы в /etc/git видит их как незакоммиченные изменения в любой момент, ему cron не нужен. Проверить можно так: git -C /etc status покажет nginx.conf в modified до всякого коммита. Другое дело, что если сервер упадёт или кто-то случайно зальёт старую версию через scp, незакоммиченную правку ты потеряешь без следов. Поэтому привычка простая: меняешь конфиг, сразу etckeeper commit -m «nginx: поднял worker_connections, правка после падения 12.05». Ночной cron в этом сценарии нужен как страховка от забывчивых, а не как основной механизм. Момент, который в статье упущен: при откате git checkout — nginx.conf вернёт файл, но не перезапустит сервис. Выполняй systemctl reload nginx и после этого смотри не только статус юнита, но и nginx -t, потому что старый конфиг мог быть невалиден в новых условиях, например обращается к сертификату, который уже удалён.