Бэкап папки "appdata" в Облака
Скрипт
Бэкап папки appdata в Облака.
Описание каждой команды скрипта.
Общее описание всего сценария.
Есть папка, где хранятся бэкапы
appdata.
Бэкапятся они с плагинаCA autobackup and restoreв архивappdata.tar.
Это папка и архив находятся в/mnt/user/Backups/Unraid/appdata/appdata.tar.
Из нее, копируемappdata.tar, попутно архивируя его еще раз, уже вzip, и ставим пароль.
Копируем в папку:/mnt/user/Backups/Cloud_Backup/appdata/appdata.tar.zip.
Это папка для Облачных бэкапов/mnt/user/Backups/Cloud_Backup/appdata/.
Далее, как архивappdata.tarпревращается в архивappdata.tar.zipс паролем, разбиваем его на30 частей, даем новое название'appdata--'.
После символов--, в названии, автоматически им присваиваются индивидуальные цифры от0 до 29, по которым можно уже их дальше сортировать.
Эти разбитые части оказываются в той же папке, что и целый бэкап, с которого мы их получили.
Поэтому, целый бэкап удаляем, то есть бэкап с именемappdata.tar.zip, а30 частей, раскидываем по равными долям в3 папки.
Путь для каждой из частей:
Первая часть тут:/mnt/user/Backups/Cloud_Backup/appdata/part_0
Вторая часть тут:/mnt/user/Backups/Cloud_Backup/appdata/part_1
Третья часть тут:/mnt/user/Backups/Cloud_Backup/appdata/part_2
Затем синхронизирую эти папки, с папками в облаке.
Есть два варианта, синхронизировать всю папку/mnt/user/Backups/Cloud_Backup/appdata/, тогда бэкап будет в30 частеймелкими архивами, но весь целиком и в одном месте.
Или же второй вариант,1-частьиз 10-ти мелких архивов в одном Облаке,2-частьв другом, и так далее, т.е. в облако синхронизируем одну из подпапок/mnt/user/Backups/Cloud_Backup/appdata/part_0или же другую.
Конкретное описание каждой команды.
- Задаем переменную дата, чтоб добавить ее в название бэкапа.
data=$(date +%Y-%m-%d_%H_%M_%S)
- Удаляем все файлы, что старше 5 минут, в папках, которые будем синхронизировать с папками в Облаке:
find /mnt/user/Backups/Cloud_Backup/appdata/ -type f -mmin +5 -exec rm -rf {} \;
- Идем в папку, где лежат бэкапы, и забираем самый свежий. Тот, что не старше 1 дня.
Локальный бэкап
appdataи бэкап в Облака по расписанию в один день.
- Затем, паролим, архивируем, то что нашли и отправляем в папку, которую, будем синронизировать с Облаком.
cd /mnt/user/Backups/Unraid/appdata && find . -type f -mtime -1 | xargs zip -P myPasswordForArchive -r /mnt/user/Backups/Cloud_Backup/appdata/appdata_"$data"_.tar.zip
- Далее, идем в ту же папку, что будем синхронизировать и разбиваем в ней целый архив, на архив из 30 частей.
cd /mnt/user/Backups/Unraid/appdata/ && split -n 30 appdata_"$data"_.tar.zip -d "appdata_"$data".tar.zip--"
- Идем туда же, и удаляем целый архив, тот, что уже поделили на 30 частей. Он нам уже не нужен.
cd /mnt/user/Backups/Unraid/appdata/ && rm -R appdata_"$data"_.tar.zip
- Идем в папку где разбитый на 30 частей архив, и забираем оттуда 3 раза, 3 разные части по 10 частей, от общего архива:
- 1-я Часть:
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--0*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_0/ \;
- 2-я Часть:
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--1*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_1/ \;
- 3-я Часть:
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--2*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_2/ \;
- Синхронизируем папки, исходную и удаленную папку в облаке. Все части в одной папке:
mail.ru:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/ /mnt/disks/Clouds/mailru_my_disk_1/appdata/
mega.nz:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/ /mnt/disks/Clouds/meganz_my_disk_1/appdata/
- Синхронизируем папки, в которых части архива:
- 1-я часть. (10 частей от 00 до 09) Синхронизируем папки, источник и удаленную папку в облаке.
google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_0/ /mnt/disks/Clouds/google_my_disk_1/appdata/part_0/
- Чистим корзину в Облаке от прошлых бэкапов:
rclone cleanup google_my_disk_1:
- 2-я часть. (10 частей от 10 до 19) Синхронизируем папки, источник и удаленную папку в облаке.
google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_1/ /mnt/disks/Clouds/google_my_disk_2/appdata/part_1/
- Чистим корзину в Облаке от прошлых бэкапов:
rclone cleanup google_my_disk_2:
- 3-я часть. (10 частей от 20 до 29) Синхронизируем папки, источник и удаленную папку в облаке.
google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_2/ /mnt/disks/Clouds/google_my_disk_3/appdata/part_2/
- Чистим корзину в Облаке от прошлых бэкапов:
rclone cleanup google_my_disk_3:
Склеиваем архив обратно в единое целое.
Делается командой cat:
- Общий синтаксис такой.
cat название_частей* > возврат.zip
Символ
*, надо ставить вместо цифры, которые были автоматически присвоены. Т.е в нашем случае их надо две**.
- В нашем конкретном случае делаем так:
- Копируем все части в одну папку, папку
Restore:
cp /mnt/user/Backups/Cloud_Backup/appdata/part_0/* /mnt/user/Temp/Restore/ cp /mnt/user/Backups/Cloud_Backup/appdata/part_1/* /mnt/user/Temp/Restore/ cp /mnt/user/Backups/Cloud_Backup/appdata/part_2/* /mnt/user/Temp/Restore/
В целях конспирации, название папки в оригинале у меня задам наперед. =)
atadapp.- Все части на месте, теперь вводим команду
склейки:
/mnt/user/Temp/Restore cat atadppa_2021-02-22_17_44_22--**.tar.zip > vernis.zipПовторюсь, как говорил выше, вместо
индивидуальных номеров, в команде склейки ставим символ**.- Получаем:

- Затем разархивируем
zip:
Ввод:
/mnt/user/Temp/Restore# unzip vernis.zip- Попросит пароль. Вводим.
И получаем вывод:
Archive: vernis.zip [vernis.zip] 2021-02-21@04.00/CA_backup.tar password: inflating: 2021-02-21@04.00/CA_backup.tar- В итоге видим папку и в ней наш
.tarархив.

- Заходим в папки. Сравниваем оба
.tarфайла и убеждаемся, что это все на месте,1 в 1:

- Копируем все части в одну папку, папку
Весь скрипт целиком.
# appdata.
## Задаем переменную дата, чтоб добавить ее в название бэкапа.
data=$(date +%Y-%m-%d_%H_%M_%S)
## Удаляем все файлы, что старше 5 минут, в папках, которые будем синхронизировать с папками в Облаке:
find /mnt/user/Backups/Cloud_Backup/appdata/ -type f -mmin +5 -exec rm -rf {} \;
## Идем в папку, где лежат бэкапы, и забираем самый свежий. Тот, что не старше 1 дня.
## Затем, паролим, архивируем, то что нашли и отправляем в папку, которую, будет синронизироваться с Облаком.
cd /mnt/user/Backups/Unraid/appdata && find . -type f -mtime -1 | xargs zip -P myPasswordForArchive -r /mnt/user/Backups/Cloud_Backup/appdata/appdata_"$data"_.tar.zip
## Далее, идем в ту папку, что будем синхронизировать и разбиваем в ней целый архив на архив из 30 частей.
cd /mnt/user/Backups/Unraid/appdata/ && split -n 30 appdata_"$data"_.tar.zip -d "appdata_"$data".tar.zip--"
## Идем туда же, и удаляем целый архив, тот, что уже поделили на 30 частей. Он нам уже не нужен.
cd /mnt/user/Backups/Unraid/appdata/ && rm -R appdata_"$data"_.tar.zip
## Идем в папку где разбитый на 30 частей архив, и забираем оттуда 3 раза, 3 разные части по 10 частей, от общего архива:
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--0*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_0/ \;
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--1*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_1/ \;
cd /mnt/user/Backups/Cloud_Backup/appdata/ && find -name 'appdata'$data'.tar.zip--2*' -exec mv {} /mnt/user/Backups/Cloud_Backup/appdata/part_2/ \;
## !!! 1-вариант, весь архив в 30 частей, в одном месте !!!
### Синхронизируем папки, исходную и удаленную папку в облаке.
#### mail.ru:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/ /mnt/disks/Clouds/mailru_my_disk_1/appdata/ # Синхронизация папок.
#### mega.nz:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/ /mnt/disks/Clouds/meganz_my_disk_1/appdata/ # Синхронизация папок.
## !!! 2-вариант, одна из 3-х частей, в которой 10 архивов, в одном из облаков. !!!
### Синхронизируем папки, исходную и удаленную папку в облаке.
### 1-я часть. (10 частей от 00 до 09).
#### google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_0/ /mnt/disks/Clouds/google_my_disk_1/appdata/part_0/ # Синхронизация папок.
rclone cleanup google_my_disk_1: # Чистим корзину.
### 2-я часть. (10 частей от 10 до 19).
#### google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_1/ /mnt/disks/Clouds/google_my_disk_2/appdata/part_1/ # Синхронизация папок.
rclone cleanup google_my_disk_2: # Чистим корзину.
### 3-я часть. (10 частей от 20 до 29).
#### google:
rsync -avP --delete --stats /mnt/user/Backups/Cloud_Backup/appdata/part_2/ /mnt/disks/Clouds/google_my_disk_3/appdata/part_2/ # Синхронизация папок.
rclone cleanup google_my_disk_3: # Чистим корзину.