Minimalteck.fr

Accélérer les copies distantes avec tar sur ssh

Minimalteck — 2009-05-25T11:19:20Z

Contexte : vous devez copier depuis une machine distante un important volume de données… la première idée qui vient est sans doute scp…
Mais on peut optimiser le transfert en utilisant tar sur ssh :

Récupération depuis une machine distante du répertoire "local_directory_to_backup" situé dans le chemin "local_path_parent_directory" :

ssh root@machinelointaine “cd path_of_parent_directory; tar czf - local_directory_to_backup" | tar xzf - -C local_path_for_backup

Téléchargement du répertoire "local_directory_to_backup" vers la machine distante dans le répertoire "remote_path_for_backup"

tar czf - local_directory_to_backup | ssh root@machinelointaine "tar xzf - -C remote_path_for_backup"

Il apparaît même qu'en substituant la compression via tar avec gzip/gunzip on obtient un résultat encore meilleur… la commande devient alors :

ssh root@machinelointaine “cd path_of_parent_directory; tar cf - local_directory_to_backup | gzip" | gunzip -q | tar xf - -C local_path_for_backup

Ceci est surtout utile pour une copie/sauvegarde ponctuelle ; si le contexte est celui de sauvegardes récurrentes, creusez plutôt du côté de RSync.

Références :
OpenSSH (fr)
Man tar (fr)
FAQ GZIP

Sauvegarde et restauration du MBR

Minimalteck — 2009-04-30T13:45:41Z

Le MBR (Master Boot Record) correspond au premier secteur physique d'un disque dur.
Le MBR contient sur 512 octets, le chargeur d'amorçage (ie GRUB, LILO, etc.) et la table des partitions principales (ou primaires, mais attention pas la table des partitions logiques).

La sauvegarde du MBR peut se réaliser avec la commande dd [1] car celle-ci effectue une copie littérale, octet par octet.

Mettons nous en situation :

root@jupiter:~# fdisk -l
 
 Disk /dev/sda: 160.0 GB, 160041885696 bytes
 255 heads, 63 sectors/track, 19457 cylinders
 Units = cylinders of 16065 * 512 = 8225280 bytes
 Disk identifier: 0x0003efec
 
 Device Boot Start End Blocks Id System
 /dev/sda1 * 1 31 248976 83 Linux
 /dev/sda2 32 19457 156039345 5 Extended
 /dev/sda5 32 19457 156039313+ 8e Linux LVM
 
 Disk /dev/sdb: 160.0 GB, 160041885696 bytes
 255 heads, 63 sectors/track, 19457 cylinders
 Units = cylinders of 16065 * 512 = 8225280 bytes
 Disk identifier: 0x000801fa
 
 Device Boot Start End Blocks Id System
 /dev/sdb1 * 1 31 248976 83 Linux
 /dev/sdb2 32 19457 156039345 5 Extended
 /dev/sdb5 32 19457 156039313+ 8e Linux LVM

Sauvegarde du MBR : dd if=/dev/sda of=mbr-sda.sav count=1 bs=512

Restauration du MBR : dd if=mbr-sda.sav of=/dev/sda

Restauration du MBR sans la table des partitions : dd of=/dev/sda if=mbr-sda.sav bs=446 count=1

Sauvegarde de la table de partition étendue : sfdisk -d /dev/sda > table-sda.sfdisk L'option "-d" passé à sfdisk permet de généré un fichier de dump en vue d'une restauration via la même commande.

Restauration la table de partition étendue : sfdisk /dev/sda < table-sda.sfdisk

Clonage direct de disque dur : dd if=/dev/sda of=/dev/sdb bs=512 count=1 sfdisk -d /dev/sda | sfdisk dev/sdb

[1] Voir man dd ou la doc ubuntu associée

Ez-Publish : sauvegarde

Minimalteck — 2009-04-22T11:36:18Z

Sommaire

Étape 1 : Vider les caches :

Pour vider les caches d'Ez-Publish, rien de plus simple :

se placer dans répertoire d'installation de l'instance d'Ez-Publish
exécuter en ligne de commande (nécessite php cli)
server:/var/www/ez/# php bin/php/ezcache.php --clear-all Clearing : Cache d'affichage de contenu, Cache Global INI, Cache INI, Cache codepage, Expiry cache, Cache des identifiants de classes, Cache des clés de classement, Cache des alias d'URL, Cacher de transformation des caractères, Alias d'image, Cache des templates, Cache des template block, Cache des templates override, Cache RSS, Cache de informations personnelles des utilisateurs

alternativement vous pouvez utiliser un script shell disponible pour les versions antérieures à la 3.10 [1]
server:/var/www/ez/# sh bin/shell/clearcache.sh --clear-all Removing cache files in var/cache/content Removing ini cache files in var/cache/ini Removing codepage cache files in var/cache/codepages Removing template cache files in var/cache/template Removing template override cache files in var/cache/override Removing template-block cache files in var/cache/template-block Removing translation cache files in var/cache/translation Removing translation cache files in var/cache/wildcard Removing sortkey cache files in var/cache/sortkey_ Removing user-info cache files in var/cache/user-info Removing class identifier cache files in var/cache/classidentifiers_ Removing class attribute identifier cache files in var/cache/classattributeidentifiers_

Étape 2 : Sauvegarder la base

Si vous êtes étourdi, sachez que vous pouvez rapidement retrouver les informations « DatabaseSettings » dans le fichier « settings/override/site.ini.append.php » [2].
Faire un dump de la base :

mysqldump -u userez -p --opt ezbase | gzip -9 > ezbase.`date +%d-%m-%Y`.sql.gz

Étape 3 : Sauvegarder le tout

Il ne reste plus qu'à archiver l'arborescence de notre instance d'Ez-Publish

server:/var/www/# tar cfz backup_ez.tar.gz ez

et hop… l'affaire est dans le sac

[1] Quelle version est installée ? La réponse est là : server:/var/www/ez/# more kernel/ezinfo/about.php

[2] Pour mémoire le fichier « settings/override/site.ini.append.php » contient également d'autres paramètres de configurations intéressants comme les « MailSettings », le nom et l'URL du site « SiteSettings », mais aussi ceux concernant les caches via les blocks de configuration « FileSettings », « ContentSettings », « OverrideSettings », « TemplateSettings ».

Backup Rsync sur SSH

Minimalteck — 2009-02-06T13:15:25Z

Sur serveur de sauvegarde, géneration clés SSH :

#ssh-keygen -t rsa
 #cat /root/.ssh/id_rsa.pub | ssh root@serveurdistant "test -d .ssh || mkdir -m 0700 .ssh; cat - >>.ssh/authorized_keys"

Paramétrage du script :

#!/bin/sh
 export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
 
 #CONFIG :
 CURRENTPWD="/home/backup1"
 USER="root"
 HOST="serveurabackuper"
 SOURCES="/etc /var/www /home/backupsql /root"
 EXCLUDES=$CURRENTPWD/excludes
 BACKUPDIR=$CURRENTPWD/backup
 DESTINATION=$BACKUPDIR/current
 ARCHIVES=$BACKUPDIR/archives
 CMDLISTPACKAGES="dpkg -l"
 TODAY=`date +%Y-%m-%d`
 ROTATEDAYS=7
 #END CONFIG
 
 RSYNCOPTS="--force --ignore-errors --delete-excluded --exclude-from=$EXCLUDES
 --delete --backup --backup-dir=$ARCHIVES/$TODAY -zaRv"
 
 #Generer la liste des paquets installes sur HOST
 ssh $USER@$HOST "$CMDLISTPACKAGES" > $BACKUPDIR/${HOST}_ListPackages.txt
 
 
 if [ ! -d $DESTINATION ]
 then
 install -d $DESTINATION
 fi
 if [ ! -d $ARCHIVES/$TODAY ]
 then
 install -d $ARCHIVES/$TODAY
 fi
 
 touch $ARCHIVES/$TODAY/logfile.log
 echo "---------------------------------" >> $ARCHIVES/$TODAY/logfile.log
 echo "Demarrage synchro ${HOST}:" >> $ARCHIVES/$TODAY/logfile.log
 date >> $ARCHIVES/$TODAY/logfile.log
 echo "---------------------------------" >> $ARCHIVES/$TODAY/logfile.log
 
 rsync -e "ssh -l $USER" $HOST:"$SOURCES" $RSYNCOPTS $DESTINATION >> $ARCHIVES/$TODAY/logfile.log
 
 echo "Fin synchro:" `date` >> $ARCHIVES/$TODAY/logfile.log
 echo "---------------------------------" >> $ARCHIVES/$TODAY/logfile.log
 
 find $ARCHIVES/ -maxdepth 1 -mtime +$ROTATEDAYS -type d -exec rm -rf {} \;

Note : le fichier "excludes" est comporte les élémenst que l'on ne veut pas sauvgarder sous la forme :

/root/mesecrets
 /root/backups/*.gz
 /var/www/siteprod/var/cache/*
 /var/www/sitestest

Mettre en crontab
Sauvegarde MySQL côté serveur à sauvegarder…

#!/bin/sh
 export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
 #CONFIG
 TODAY=`date +%Y-%m-%d`
 REP_BASE=/home/backupsql/
 REP_BACKUP=$REP_BASE$TODAY
 ROTATEDAYS=7
 #END CONFIG
 
 if [ ! -d $REP_BACKUP ]
 then
 install -d $REP_BACKUP
 fi
 #SAUVEGARDE BASES MYSQL
 for mybase in base1 base2 base3; do
 mysqldump -u root -prootpass -h localhost --opt $mybase | gzip -9 > $REP_BACKUP/$mybase.`date +%d-%m-%Y`.sql.gz
 done
 find $REP_BASE -maxdepth 1 -mtime +$ROTATEDAYS -type d -exec rm -rf {} \;

à voir aussi pour paufiner si besoin qd on a + de temps :
http://www.pervasive-network.org/SP…
http://www.sioban.net/article.php/2…
http://mazenod.fr/sfCmsBlog/show/id…
http://search.cpan.org/dist/Net-SSH…
http://www.unices.org/perl/node14.html
http://kobesearch.cpan.org/htdocs/N…
- http://www.cyberciti.biz/faq/ssh-pa…