Альтернативный бэкап папки "APPDATA"
Альтернативный бэкап папки "APPDATA"
Введение
Важная папка в операционной системе Unraid, это папка "appdata".
В ней хранятся все уникальные файлы наших докер контейнеров.
Поэтому, обязательно нужно делать резервную копию этой папки.
Большинство пользователей делают это с помощью плагина из CA, который называется Backup/Restore Appdata.
Я сам им пользовался, до недавнего времени, но меня смущали минусы этого метода.
Выделил минусы плагина, на мой взгляд, которые я хотел бы избежать:
- Плагин на время бэкапа, тормозит все котейнера. То, есть контейнер, к примеру, который имеет данных на 50мб, и бэкапится за 5 секунд, должен ждать в оффлайне, остальные контейнера, которые весят по 5-10 гб.
- Плагин, делает архив, что не позволяет синхронизировать данные. Если, к примеру, я сделаю сейчас бэкап папки appdata, и сделаю еще раз, через 5 минут. То у меня будет 2 архива, в которых по сути 99 процентов одиннаковых файлов. То есть, архив занимает лишнее место, хотя файлы в нем не уникальны. Это можно было бы избежать, если вместо архивирование tar, делать синхронизацию rsync.
- И последний минус, вытекающий из первых двух, это слишком большой даунтайм контейнеров в целом. На мои 28гб. данных, это около 25-30 минут. Поэтому, лично у меня бэкап по плагину был каждую неделю, а не каждый день, как хотелось бы.
Прикинув как можно избежать все эти минусы, и остаться с бэкапами, я решил написать самописный скрипт.
Общее описание скрипта.
Итак, общая мысль такая.
Мне нужно бэкапить папки с данными моих контейнеров, при этом, делать это по очереди, а не все разом.
Пройтись по каждой папке по очереди, тормозить связанный с ней контейнер, копировать папку и затем, включить обратно этот же контейнер.
К примеру, первая папка в моем списке это adguard-home, чтоб ее корректно скопировать, мне нужно остановить работу контейнера, который пишет в эту папку, затем бэкап папки и снова запуск контейнера.
- И тут первый нюанс, чтоб поймать связь между контейнером и ее системной папкой, у них должно быть, что-то общее, что их связывает.
Я выбрал, на мой взгляд, самый простой вариант, связал имя папки с именем контейнера.
То есть, если, мне нужно бэкапить папку adguard-home, значит мне перед этим нужно остановить одноименный контейнер adguard-home.
Поэтому, я в системе прошелся по всем контейнерам и сделал строгий нейминг, имя папки = имя его контейнера.
В скрипте, также предусмотрел мониторинг, когда есть папка с именем plex, а контейнера с таким именем нет, то приходит уведомление, и тут уже нужно либо папку переименовать как контейнер, либо контейнер переиновать в имя папки, как больше нравится, но главное папка незаметной не останется.
- Также, второй нюанс, это компоуз контейнера.
К примеру, у меня есть общая папка для всего компоуза mailcow, и в системе 19 контейнеров с именем типа mailcowdockerized_ejabberd-mailcow_1, mailcowdockerized_acme-mailcow_1, и так далее.
Чтоб нормально скопировать эту папку, надо остановить все эти 19 контейнеров, а чтоб это корректно сделать, нужно тормозить контейнера не по строгому имени, а по наличию в название контейнера, такого имени, как имя папки.
В итоге, в скрипте реализовано так, что если пошла очередь бэкапится папке mailcow, то значит будут остановлены все контейнера, в название которых присутствует имя mailcow, как например контейнер mailcowXXXX.
Отсюда маленький минус скрипта, если у вас в системе, например 2 контейнера с именем jackett, например jackett и jackett-two, то когда будет бэкапится папка jackett, остановятся оба контейнера jackett и jackett-two, и также вместе запустятся после оба.
- Третий нюанс, также немного упомянутый выше. Это папки в appdata, с названием, которые не соотвествуют ни одному из сущетсвующих в системе котейнеров.
К примеру, у меня есть папка plex, и у нее контейнер называется my-pleeeex.
И когда, очередь дойдет до бэкапа этой папки, система не увидет контейнер с таким именем, но зато отправит уведомление, и вы увидите название этой папки "безконтейнерной". После просто ренейм, либо папки, либо контейнера.
Скрипт пошагово
В шапке скрипта, переменные, для отправки уведомлений в телеграм, о папках "без контейнера".
Нужно подставить свой TOKEN и ID.
#!/bin/bash
### ДЛЯ УВЕДОМЛЕНИЙ В ТЕЛЕГУ###
TOKEN="ТОКЕН"
ID="АЙДИ"
URL_MSG="https://api.telegram.org/bot$TOKEN/sendMessage"
Создаем переменные docker_containers и appdata_folders.
В docker_containers все имена наших докер контейнеров.
В appdata_folders все имена папок в папке appdata.
docker_containers=$(docker ps --all --format "{{.Names}}")
cd /mnt/user/appdata && appdata_folders=(*)
Тут запускается цикл. Проходим по каждой папке в папке appdata.
for i in "${appdata_folders[@]}"
do
Еще одна переменная coincidence. В нее записываются имена контейнеров, которые совпадают с именем папки, которая сейчас на очереде в цикле.
coincidence=$(echo "${docker_containers[@]}" | grep "$i")
Тут условие, идет проверка переменной coincidence, есть ли в ней совпадение?
Первый вариант, если есть ли контейнера, с именем, соответвующие текущей папке из appdata?
if [[ -n $coincidence ]]
Если есть, тогда делаем 3 операции:
- Останавливаю контейнера с именем, в котором имя папки. Имена этих контейнеров в данный момент, в переменной $coincidence.
- Копируем папку из appdata, она у нас в данный момент равна итерируемой переменной $i.
- Запускаем, те же контейнера. Их имена в данный момент опять же в переменной $coincidence.
/mnt/user/Backups/Unraid/appdata - Это место, куда я сливаю свои бэкапы.
Параметр -t 60, секунды ожидания остановки контейнера, прежде чем остановить его принудительно.
then
docker stop -t 60 $coincidence
rsync -avP --delete --stats $i -r /mnt/user/Backups/Unraid/appdata
docker start $coincidence
Тут второй вариант условия
То есть, если нет совпадений, и нет контейнера с именем $i, как у итерируемой папки в данный момент, то высылается уведомление в телеграм, что у такой то папки, нет связанного с ней контейнера.
else
echo "Нет контейнера у папки $i"
curl -s -X POST $URL_MSG -d chat_id=$ID -d text="У папки с именем "$i" нет контейнера⚠️"
fi
echo "-------"
Скрипт целиком демо.
Чтоб тестово прогнать скрипт, я закомментировал 3 операции, докер стоп, копия, докер старт, на комментарии, чтоб каждый мог спокойно опробовать и посмотреть вывод.
#!/bin/bash
### ДЛЯ УВЕДОМЛЕНИЙ В ТЕЛЕГУ###
TOKEN="ТОКЕН"
ID="АЙДИ"
URL_MSG="https://api.telegram.org/bot$TOKEN/sendMessage"
### СКРИПТ ###
docker_containers=$(docker ps --all --format "{{.Names}}")
cd /mnt/user/appdata && appdata_folders=(*)
for i in "${appdata_folders[@]}"
do
coincidence=$(echo "${docker_containers[@]}" | grep "$i")
if [[ -n $coincidence ]]
then
echo "Останавливаю контейнер, у которого в имени, имя папки $i"
###docker stop -t 60 $coincidence
echo "Копирую папку $i"
####rsync -avP --delete --stats $i -r /mnt/user/Backups/Unraid/appdata
echo "Запускаю контейнер, у которого в имени, имя папки $i"
####docker start $coincidence
else
echo "Нет контейнера у папки $i"
curl -s -X POST $URL_MSG -d chat_id=$ID -d text="У папки с именем "$i" нет контейнера⚠️"
fi
echo "-------"
done
Скрипт.
#!/bin/bash
### ДЛЯ УВЕДОМЛЕНИЙ В ТЕЛЕГУ###
TOKEN="ТОКЕН"
ID="АЙДИ"
URL_MSG="https://api.telegram.org/bot$TOKEN/sendMessage"
### СКРИПТ ###
docker_containers=$(docker ps --all --format "{{.Names}}")
cd /mnt/user/appdata && appdata_folders=(*)
for i in "${appdata_folders[@]}"
do
coincidence=$(echo "${docker_containers[@]}" | grep "$i")
if [[ -n $coincidence ]]
then
echo "Останавливаю контейнер, у которого в имени, имя папки $i"
docker stop -t 60 $coincidence
echo "Копирую папку $i"
rsync -avP --delete --stats $i -r /mnt/user/Backups/Unraid/appdata
echo "Запускаю контейнер, у которого в имени, имя папки $i"
docker start $coincidence
else
echo "Нет контейнера у папки $i"
curl -s -X POST $URL_MSG -d chat_id=$ID -d text="У папки с именем "$i" нет контейнера⚠️"
fi
echo "-------"
done
Выводы
- Плюсы такого вариант бэкапа:
- Даунтайм конкретного контейнера, не зависит от других, сколько в нем файлов, столько времени и нужно для бэкапа. Если сранивать даунтайн конкретного контейнера в обоих вариантах, то к примеру с плагином из СА, мой контейнер Shaarli, который весит 50мб, будет даунтаймить 10 секунд, а с плагином СА 30 минут.
- Версионность можно опеспечить через программу Borgbackup, он в стоке отлично сжимает, плюс есть дедупликация, в итоге 30 моих бэкапов за месяц по 28гб, будут занимать примерно 50гб (через месяц оставлю тут скрин об этом), а в случае с плагином из СА, это будет 1.4тб.
- Бэкап можно ставить на каждый день, так как он практически незаметный. Общее время также меньше, чем у плагина из СА, у меня вышло общее время 15 минут.

ver.2 Альтернативный бэкап папки "appdata"
Описание
В этом варианте есть четко разделение контейнеров, одиночные находятся в папке /mnt/user/appdata, компоузу в папке /mnt/user/appdata-compose.
Делаю резервные копии обоих папок, и в скрипте прописываю, когда бэкапятся папки контейнеров из папки appdata, останавливать только контейнер с соответствующим именем. То есть, если бэкап папки jackett, то останавливается только контейнер jackett, а остальные контейнера с таким же словом в своем название, как например jackett-one, jackett-two, останавливаться не будут.
Когда, же бэкапятся папки из папки appdata-compose, будут останавливаться все контейнеры, в название которых присутствует название папки. К примеру, если бэкапится папка seafile, то будут остановлены контейнеры seafile-mysql, seafile, seafile-elaticsearch.
Также добавил уведомления в телеграм.
Скрипт ver.2
#!/bin/bash
echo "Начало..."
# УСТАНАВЛИВАЮ ДАТУ
DATE_TIME=$(date +-%Y.%m.%d--%H.%M)
### ДЛЯ УВЕДОМЛЕНИй В ТЕЛЕГУ###
TOKEN="ТОКЕН" #РЕДАКТИРОВАТЬ
ID="АЙДИ" #РЕДАКТИРОВАТЬ
URL_MSG="https://api.telegram.org/bot$TOKEN/sendMessage"
URL_PHOTO="https://api.telegram.org/bot$TOKEN/sendPhoto"
DOCKER_LOGO_PATH="/mnt/user/isos/Docker_logo" #РЕДАКТИРОВАТЬ - Место, где иконки контейнеров.
BACKUP_PATH_CONTAINERS="/mnt/user/Backups/Unraid/appdata"
BACKUP_PATH_COMPOSE="/mnt/user/Backups/Unraid/appdata-compose"
TELEGRAM="curl -s -X POST"
# Начинаю резервное копирование...
REAL_TIME=$(date +%Y.%m.%d++%H-%M-%S)
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="$REAL_TIME: Бэкап начинается...."
# ALL_CONTAINERS - Массив имен всех контейнеров.
ALL_CONTAINERS=$(docker ps --all --format "{{.Names}}")
# FOLDERS_COMPOSES - Массив имен всех docker-compose папок в папке /appdata-compose
cd /mnt/user/appdata-compose && FOLDERS_COMPOSES=(*) # Массив имен всех папок /appdata-compose
# FOLDERS - Массив имен всех docker папок в папке /appdata.
cd /mnt/user/appdata && FOLDERS=(*)
echo "Одиночные контейнера..."
cd /mnt/user/appdata
### Бэкап папок docker ###
for a in ${FOLDERS[@]}
do
coincidence_containers=$(echo "${ALL_CONTAINERS[@]}" | grep -x "$a")
if [[ -n $coincidence_containers ]]
then
REAL_TIME=$(date +%Y.%m.%d++%H-%M-%S)
echo "Останавливаю контейнер $a"
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="$REAL_TIME: Бэкап папки $a, контейнера $a."
$TELEGRAM $URL_PHOTO -F chat_id=$ID -F photo="@$DOCKER_LOGO_PATH/$a-icon.png"
docker stop -t 60 $a
echo "Копируем папку $a"
rsync -avz --delete $a -r $BACKUP_PATH_CONTAINERS
echo "Стартую контейнер $a"
docker start $a
else
echo "Нет контейнера у папки $a"
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="У папки с именем "$a" нет контейнера⚠️"
fi
done
echo "Компоуз контейнера..."
cd /mnt/user/appdata-compose
### Бэкап папок docker-compose ###
for b in ${FOLDERS_COMPOSES[@]}
do
coincidence_compose=$(echo "${ALL_CONTAINERS[@]}" | grep "$b")
if [[ -n $coincidence_compose ]]
then
REAL_TIME=$(date +%Y.%m.%d++%H-%M-%S)
echo "Останавливаю компоуз контейнера $coincidence_compose"
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="$REAL_TIME: Бэкап папки $b, компоуз контейнеров $coincidence_compose."
$TELEGRAM $URL_PHOTO -F chat_id=$ID -F photo="@$DOCKER_LOGO_PATH/$b-icon.png"
docker stop -t 60 $coincidence_compose
echo "Копирую папку $b"
rsync -avz --delete $b -r $BACKUP_PATH_COMPOSE
echo "Запускаю компоуз $coincidence_compose"
docker start $coincidence_compose
else
echo "Нет контейнера у папки $b"
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="У папки с именем "$b" нет контейнера⚠️"
fi
done
echo "Конец"
docker start $(sudo docker ps -a -q)
# Закончили резервное копирование...
REAL_TIME=$(date +%Y.%m.%d++%H-%M-%S)
$TELEGRAM $URL_MSG -d chat_id=$ID -d text="$REAL_TIME: Бэкап закончился."