principal-backup-script/backup.sh

#!/usr/local/bin/bash

#
# Hjemmesnekret script som tar backup av PVV-servere.
#
# orjane - 2008.11.10
#
# Oppdatert av pederbs og yorinad 2017.02.04
#

# For å legge til en backup jobb, lag et nyt datasett under principal/backupz:
#
#	  zfs create principal/backupz/%name%
#
# Sørg for at principal kan logge inn som brukerene på boksen uten passord.
# Det ligger et skript for å lage nye nøkkelpar ved './ssh_extra_keys/generate_keypair.sh',
# men du kan alternativt bruke nøkkelen som ligger i '~/.ssh/id_ed25519.pub'.
# I førstnevnte tilfelle må du også registrere boksen i './ssh_config_backup_targets'.


if ! command -v git >/dev/null 2>&1; then
  echo "PVV; hjemmelaget backupscript (\$ git commit sha: ??? \$)"
else
  echo "PVV; hjemmelaget backupscript (\$ git commit sha: $(cd /backupz && git rev-parse HEAD) \$)"
fi
echo
date

# === Sjekk at nødvendige verktøy er installert. ===

required_tools=(
  rsync
  ssh
  zfs
  zpool
  awk
)
for tool in "${required_tools[@]}"; do
  if ! command -v "$tool" >/dev/null 2>&1; then
    echo "Mangler påkrevd verktøy: $tool"
    exit 1
  fi
done

if [ "$(id -u)" -ne 0 ]; then
  echo "Må kjøres som root!"
  exit 1
fi

# 5.1 er minimum pga. wait '-p' flagget.
minimum_bash_major_version="5"
minimum_bash_minor_version="1"
if [ \
  "${BASH_VERSINFO[0]}" -lt "$minimum_bash_major_version" ] || \
  { [ "${BASH_VERSINFO[0]}" -eq "$minimum_bash_major_version" ] && \
    [ "${BASH_VERSINFO[1]}" -lt "$minimum_bash_minor_version" ]; }; then
  echo "Må kjøres med bash versjon $minimum_bash_major_version eller nyere!"
  exit 1
fi


# === Sjekk for pågående backup eller avbrutt backup, sett låsfil og signalhåndtering. ===

# Blir brukt som navn på ZFS-snapshot og logger.
snapshot_date="$(date +%Y%m%d)"
if [ "$1" = "full" ]; then # Fullbackupen starter før midnatt, legg på en dag
	snapshot_date=$(date -v +1d +%Y%m%d)
fi

# Sjekk om en annen backup kjører eller om forrige backup ble avbrutt.
lockfile="/backupz/backup.sh.lock"
if [ -e $lockfile ]; then
	existing_pid="$(cat $lockfile)"

	# TODO: Bruk bedre metode for å finne prosess.
	if ps -p "$existing_pid"; then
		echo "Backup kjører allerede: $existing_pid"
		exit 1
	fi

	echo "Forrige backup ble avbrutt, rydder opp..."
	rm "$lockfile"

	zfs snapshot -r "principal/backupz@avbrutt_${snapshot_date}" && \
	echo "ZFS-snapshot OK." || echo "ZFS-snapshot FEILET!"

	# TODO: zfs rollback til forrige komplette backup.

	echo "Ferdig med oppryddingen."
fi

# Fang SIGINT, vi vil rydde opp om vi blir avbrutt.
on_sigint() {
  rm "$lockfile"
  echo 'Avbrutt, sletter låsfil...'
  exit 2
}
trap on_sigint SIGINT

echo "$$" > "$lockfile"


# === Rydd opp gamle backups hvis det trengs plass. ===

echo "Sjekker at det er nok ledig plass på disken..."
zfs get available principal/backupz

# Dette tilsvarer 50 GB, juster etter behov.
min_free_space=50000000000
while [ "$(zfs get -Hp available principal/backupz | cut -f3)" -lt "$min_free_space" ] ; do
	echo;
	echo "Disken er nesten full, rydder";
	echo

	min_backups=5
	if [ "$(zfs list -t snapshot | grep -c "backupz@")" -lt "$min_backups" ]; then
		echo;
		echo "Mindre enn $min_backups backups lagret, feiger ut fra sletting";
		echo
		break;
	fi

	oldest_snapshot=$(zfs list -t snapshot | grep backupz@ | head -n1 | tr @ ' ' | awk '{print $2}')
	echo "Kjører zfs destroy på alle disker @$oldest_snapshot"
	for d in $(zfs list | grep ^principal/backupz | awk '{print $1}'); do
		zfs destroy "$d@$oldest_snapshot"
	done

	zfs get available principal/backupz
	echo
done


# === Liste over vertsmaskiner og hva som skal tas backup av. ===

# TODO: kanskje noe av dette enklere kunne blitt uttrykt
#       med en egen json-fil og litt jq-magi?

# Liste over vertsmaskiner som skal tas backup av.
declare -a hosts=()

# SSH-vertsnavn hvis det er forskjellig fra vertsnavnet i listen.
declare -A host_ssh_hostname=()

# Backup-katalog hvis den er forskjellig fra vertsnavnet i listen.
declare -A hosts_output_dir=()

# ameno
hosts+=("ameno")
ameno_includes=(
  "/"
  "/boot/firmware"
)
ameno_excludes=(
  "/var/cache/"
  "/var/lib/snapd/"
  "/var/log/journal/"
)

# microbel (hjemmeområder)
hosts+=("homepvv")
homepvv_includes=(
  "/"
  "/boot"
  "/export/home/pvv"
  "/var"
)
homepvv_excludes=(
  # Se ./homepvv.exclude - den skal bli plukket opp automatisk
)

# innovation
# Minecraft-verden kopieres fra /var/backups/minecraft/current/ istf.
# /srv/minecraft-pvv/.
hosts+=("innovation")
innovation_includes=(
  "/"
  "/boot/efi"
)
innovation_excludes=(
  "/srv/minecraft-pvv/"
  "/var/cache/"
  "/var/db/freebsd-update/files/"
)

# sleipner
hosts+=("sleipner")
sleipner_includes=(
  "/"
)
sleipner_excludes=(
  "/scratch/"
  "/var/cache/"
)

# tom
hosts+=("tom")
tom_includes=(
  "/"
  "/boot/efi"
)
tom_excludes=(
  "/var/cache/"
)


# === Sjekk at alle backup-kataloger har tilhørende datasett, og at datasettene er montert. ===

for host in "${hosts[@]}"; do
  katalog="/backupz/${hosts_output_dir[$host]:-$host}"
  dataset="principal/backupz/${hosts_output_dir[$host]:-$host}"

  # Sjekk at ZFS-datasettet finnes
  if ! zfs list "$dataset" >/dev/null 2>&1; then
    echo "Feil: ZFS-datasettet '$dataset' finnes ikke. Opprett det med: zfs create $dataset" >&2
    rm "$lockfile"
    exit 1
  fi

  if [ ! -d "$katalog" ]; then
    echo "Feil: katalogen '$katalog' finnes ikke. Opprett den med: mkdir '$katalog'" >&2
    rm "$lockfile"
    exit 1
  fi

  # Sjekk at datasettet er montert, og forsøk å mounte om nødvendig
  is_mounted="$(zfs get -H -o value mounted "$dataset" 2>/dev/null || echo "no")"
  if [ "${is_mounted:-no}" != "yes" ]; then
    echo "Datasettet '$dataset' er ikke montert på '$katalog'. Forsøker å mounte..."
    if ! zfs mount "$dataset" >/dev/null 2>&1; then
      echo "Kunne ikke mounte '$dataset'. Avbryter." >&2
      rm "$lockfile"
      exit 1
    fi
  fi
done


# === Start rsync-jobber ===

echo "Starter backup..."
echo "Snapshot ID: $snapshot_date"
echo

start_time="$(date +%s)"
rsync="/usr/local/bin/rsync"
rsync_flags=(
  --archive
  --hard-links
  --compress
  --delete
  --numeric-ids
  --one-file-system
  --relative
  --rsh="ssh -v"
  --stats
  --inplace
  --exclude=/.zfs/
)
logdir="/backupz/log"
declare -A venteproc=()

echo "Starter rsync for følgende verter: ${hosts[*]}"
echo
for host in "${hosts[@]}"; do
  command=(
    "$rsync"
    "${rsync_flags[@]}"
    "--log-file=${logdir}/${host}.log.$snapshot_date"
  )

  exclude_array_name="${host}_excludes"
  if declare -p "$exclude_array_name" >/dev/null 2>&1; then
    exclude_paths_var="${host}_excludes[@]"
    exclude_paths=( "${!exclude_paths_var}" )
    for exclude in "${exclude_paths[@]}"; do
      command+=( "--exclude=${exclude}" )
    done
  fi

  if [ -f "/backupz/${host}.exclude" ]; then
    command+=("--exclude-from=/backupz/${host}.exclude")
  fi

  include_array_name="${host}_includes"
  if declare -p "$include_array_name" >/dev/null 2>&1; then
    include_paths_var="${host}_includes[@]"
    include_paths=( "${!include_paths_var}" )
    for include in "${include_paths[@]}"; do
      command+=("${host_ssh_hostname[$host]:-$host}:$include")
    done
  else
    echo "Ingen inkluderingsstier for vert $host, hopper over."
    continue
  fi

  command+=("/backupz/${hosts_output_dir[$host]:-$host}/")

  echo "Starter backup for vert: $host"
  "${command[@]}" >"${logdir}/${host}.out.$snapshot_date" 2>&1 &
  venteproc[$!]="$host"
  echo "Startet $!:"
  echo "${command[0]} \\"
  # Ikke print de første rsync-flagga i kommandoen
  echo "  # ...standard rsync-flagg... \\"
  start_index="$((1 + ${#rsync_flags[@]}))"
  for ((i="$start_index"; i<${#command[@]}-1; i++)); do
    echo "  ${command[i]} \\"
  done
  echo "  ${command[-1]}"
  echo
done
echo "Rsync er i gang."


# === Vent på at alle rsync-jobbene skal bli ferdige ===

echo "Venter til rsync er ferdig: ${!venteproc[*]}"
echo
while true; do
    wait -n -p pid; code=$?
    [[ -z "${pid}" ]] && break

    if [ $code -eq 0 ]; then
        echo "${pid} (${venteproc["$pid"]:-???}): OK"
    else
        echo "${pid} (${venteproc["$pid"]:-???}): Rsync returnerte feil (${code})"
        echo "Se loggfilene her for mer informasjon:"
        echo "- ${logdir}/${venteproc["$pid"]}.log.$snapshot_date"
        echo "- ${logdir}/${venteproc["$pid"]}.out.$snapshot_date"
    fi

    unset 'venteproc["$pid"]'

    echo "${#venteproc[@]} jobber gjenstår..."
    echo
done
echo "Rsync er ferdig."


# === Oppsummering, ta ZFS-snapshot og avslutt ===

end_time="$(date +%s)"
elapsed_time="$((end_time - start_time))"
printf 'Tid brukt på rsync: %03d:%02d:%02d\n' $((elapsed_time/3600)) $(((elapsed_time/60)%60)) $((elapsed_time%60))

# Touch home slik at timestamp på snapshot blir når backup var ferdig.
touch /backupz/homepvv/export/home

echo "Tar ZFS-snapshot..."
zfs snapshot -r "principal/backupz@${snapshot_date}" && \
echo "ZFS-snapshot ferdig." || echo "ZFS-snapshot FEILET!"
echo
echo Ledig plass: "$(zfs list -H -o avail principal/backupz)"
echo

# TODO: Slett enkelte gamle snapshots?

echo "Backup ferdig: $(date)"
rm "$lockfile"
zpool status -xv principal