Le tout (transparents, transcription et références) est là: MorphoDiapo

Comparativement aux ressources que l’on trouve habituellement sur le sujet celle-ci ressemble plus à une projection de « photo-souvenir de vacances » (d’où le nom) avec, pour que cela reste intéressant, comme objectif principal d’introduire et de présenter aussi clairement que possible les mesures permettant l’analyse des formes des objets présents dans une image.

Côté « making of » l’outil essentiel a été Inkscape avec ses extensions LaTex et JessyInk pour créer des transparents au format SVG.

connections

cyclorama

palette

geometries

rooftops

En matière d’écriture MathJax permet d’écrire les équations directement en LaTeX ou en MathML et fait le rendu en MathML si le navigateur le supporte ou bien en utilisant des éléments plus communs de HTML et de CSS.

C’est utilisé notamment par le CERN, par plusieurs sites de StackExchange, par des amis et soutenu entre autres par l’AMS et l’IEEE.

Par ailleurs c’est aussi un peu le successeur de jsMath que j’utilisais pour ma petite expérience de programmation lettrée. Et comme il y a désormais un plugin MathJax dans Sphinx, je viens de sauter le pas et de mettre à jour mes pages « literate_musing » (en en profitant aussi pour adopter un style plus léger et j’espère plus lisible surtout).

Dans le billet précédent j’expliquais pourquoi BackupMonitor est devenu désuet sur mon bureau Ubuntu où DejaDup résout déjà le problème des sauvegardes.

Cependant il restait un type de sauvegarde auquel je ne m’étais pas intéressé: la sauvegarde de données présentes sur un serveur distant (typiquement celles d’un site web).

Vous me direz que ce genre de sauvegarde peut certainement être pris en charge (moyennant quelques frais supplémentaires) par mon hébergeur internet, et ce serait en fait tout à fait exact ! Cependant, j’aime bien l’idée d’avoir mes données « à la maison », et s’arranger pour que ce soit le cas n’exclue pas bien évidemment de faire des sauvegarde via d’autre système (plus il y en a, mieux c’est).

Je vais donc expliquer rapidement comment j’ai configuré une sauvegarde automatique de ce type.

L’idée de départ c’est donc de jeter à la poubelle tout ce qui est au cœur de BackupMonitor et de ne conserver que les fonctionnalités triviales suivantes:

• rappel régulier par notification de la nécessité d’une sauvegarde
• rajout simple de nouveau scripts
• une GUI simpliste qui permet de lancer la sauvegarde via un gros bouton et d’avoir des retours sur les succès ou les erreurs du processus

Le script qui doit être rajouté comme une étape personnalisée de sauvegarde peut en fait rester très simple comme celui présenté plus bas, et qui permet de copier des fichiers depuis un serveur distant vers le répertoire conventionnel de sauvegarde définit par BackupMonitor.

#!/bin/bash
 
# Backup data from a remote server
# where backups are stored 
# in a directory indicated 
# by $HOME/backups/Latest
#
# WARNING: requires that you set a 
# ssh key allowing to access your remote
# server without a password !
#
# Author: Thibauld Nion
# License: Public Domain
 
# A name that will identify the data once backed up
BKP_NAME=example.com
 
# Server access configuration
USERNAME=myusername
SERVER_NETLOC=server.example.com
 
# Direcotry where stuff will be downloaded
BACKUP_DOWNLOAD_DIR=$BACKUP_MONITOR_DESTINATION_FOLDER/$BKP_NAME
 
if [ -d  $BACKUP_DOWNLOAD_DIR ]
then
echo "Removing previously created download directory $BACKUP_DOWNLOAD_DIR"
rm -r $BACKUP_DOWNLOAD_DIR
fi
 
echo "Preparing to download remote backup from $SERVER_NETLOC to $BACKUP_DOWNLOAD_DIR"
scp -rq $USERNAME@$SERVER_NETLOC:/home/$USERNAME/backups/Latest $BACKUP_DOWNLOAD_DIR
echo "Download finished"

Ce script est assez simple mais a, pour cela, deux pré-requis:

1. qu’une clé ssh (et éventuellement un ssh-agent) soit utilisée pour accéder au serveur du site web de telle sorte que l’utilisateur n’ait pas à entrer de mot de passe.
2. que, du côté serveur, un script fasse régulièrement une sauvegarde des fichiers régulier et du contenu des base de données, dans un dossier appelé $HOME/backups/Latest

En ce qui me concerne, pour répondre au deuxième pré-requis, j’ai adapté un script de DockStreet media qui permet facilement de faire une sauvegarde d’une base mysql et du dossier correspondant au site web tel qu’il est définit par l’hébergeur Dreamhost.

Un « template » de mon script « adapté » est présenté ci-dessous et mes principales modifications sont les suivantes:

• gérer plusieurs dossiers
• gérer plusieurs base de données
• créer et mettre à jour le lien symbolique « $HOME/backups/Latest » pointant vers le dernier dossier de backup

#!/bin/bash
 
# Site backup
# Adapted from http://www.dockstreetmedia.com/2011/03/automatic-site-backups-using-cron-jobs-in-dreamhost/
 
# specific config variables (EDIT THESE)
#
# Space separated list of the names of folders 
# below your home directory, that you want to backup
DIRNAMES="topFolderA topFolderB topFolderC"
# host for your site's database(s)
DBHOST=mysql.example.com
# user name for this mysql server
DBUSER=myusername
# corresponding password (the same you gave 
# to the applications powering your site (like wordpress etc)
DBPASS=xxx
# Space separated list of the names of dbs 
# within DBHOST that you want to backup
DBNAMES="sitedb_one sitedb_two sitedb_three"
 
# other config variables(DO NOT EDIT THESE)
NOWDATE=$(date +"%y%m%d")
NOWDAY=$(date +"%d")
BACKUPDIR=backups
MYSQLDUMP="$(which mysqldump)"
LOGFILE=$HOME/$BACKUPDIR/log.txt
 
TARGETPATH=$HOME/$BACKUPDIR/$NOWDAY
LINK_TO_LATEST=$HOME/$BACKUPDIR/Latest
 
# check to see if target path exists – if so, delete the old one and create a new one, otherwise just create it
if [ -d $TARGETPATH ]
then
# print a message for the logfile / output email
echo "$NOWDATE - Removing previous backup $TARGETPATH" | tee -a $LOGFILE
rm -r $TARGETPATH
mkdir -p $TARGETPATH
else
mkdir -p $TARGETPATH
fi
 
for SITEDIR in $DIRNAMES
do
 
# create a GZIP of the directory inside the target path
tar -zcf $TARGETPATH/${SITEDIR}_$NOWDATE.tar.gz $HOME/$SITEDIR
# print a message for the logfile / output email
echo "$NOWDATE - $SITEDIR has been backed up" | tee -a $LOGFILE
 
done
 
for DBNAME in $DBNAMES
do
# dump the data into a SQL file inside the target path
$MYSQLDUMP -u $DBUSER -h $DBHOST -p$DBPASS $DBNAME | gzip > $TARGETPATH/${DBNAME}_$NOWDATE.sql.gz
# print a message for the logfile / output email
echo "$NOWDATE - $DBNAME has been backed up" | tee -a $LOGFILE
done
 
# Put a link to the latest backup
if [ -e $LINK_TO_LATEST ]
then
rm $LINK_TO_LATEST
fi
 
ln -s $TARGETPATH $LINK_TO_LATEST

Le paquet suivant backup_monitor_servers.tar.gz regroupe les deux scripts ainsi que le fichier de configuration spécifique de BackupMonitor qu’il faut copier dans ~/.config/backup-monitor/.

Bien sûr je pourrais aussi bien utiliser BackupMonitor pour faite l’ensemble de toutes les sauvegardes (sauvegarde du site web et sauvegarde locale). Ce serait plus élégant et ça m’éviterait de gérer deux outils différents pour faire des choses aussi proches.

Cependant, j’espère surtout qu’un nouvel outil pratique apparaîtra (ou peut-être tout simplement de nouvelles fonctionnalités de DejaDup) qui m’aidera à faire toutes ces sauvegardes et me permettra d’arrêter de maintenir les petits bouts de code qui constituent BackupMonitor.

En attendant, je devrais pouvoir utiliser la même astuce (mais avec des scripts différents) pour faire la sauvegarde d’autres données personnelles distantes, telles que celles des réseaux sociaux (Delicious, Google, Facebook, LastFM etc).

Depuis qu’Ubuntu a intégré DejaDup comme outil par défaut de sauvegarde de donnée, j’ai complètement arrêté d’utiliser BackupMonitor, mon mini-framework de backup.

En guise de résumé du « match » mais aussi parce qu’à mon humble avis BackupMonitor a encore une ou deux petites fonctionnalités qui seraient du meilleur effet si elles apparaissaient dans DejaDup, voilà une aride comparaison des deux applications.

Pour les points communs déjà, DejaDup et BackupMonitor sont tous deux conçus pour faire, régulièrement, des copies de sauvegarde des données stockées sur votre ordinateur.

DejaDup semble à la fois solide et de belle finition:

• il gère plusieurs destinations pour le stockage des sauvegardes (locales ou dans le cloud)
• il utilise en sous-main l’outil duplicity pour faire ces sauvegardes (lui-même fondé sur rsync)
• il lance les sauvegardes de façon quasi-transparente et requière à peine d’attention de l’utilisateur
• il rend possible la restauration des données en un simple clique¹
• tel qu’il est configuré dans Ubuntu il sauvegarde tout le contenu du dossier utilisateur (sauf la corbeille et d’éventuelles exceptions imposées par l’utilisateur)

BackupMonitor est beaucoup plus frustre:

• il ne gère qu’une destination de sauvegarde (généralement un lien symbolique qui pointe vers un dossier d’un disque externe)
• il utilise rsync directement et avec peu de subtilités
• il avertit l’utilisateur lorsque des sauvegardes sont nécessaires et le quide à travers les étapes importantes (comme le branchement d’un disque externe, la lecture des rapports d’erreurs etc)
• il n’aide pas spécialement à restaurer les fichiers, à l’exception notable qu’il s’arrange pour que les fichiers de la dernières sauvegardes soient rangés de telle sorte qu’une restauration ne consiste qu’en une simple copie
• par défault il sauvegarde les dossiers « conventionnels » définis par les standards freedesktop comme Documents, Vidéos, Musique, Images

Le point sur lequel BackupMonitor a un léger avantage à mon avis (au delà du fait qu’il s’agisse d’un de mes « petits projets » ;) ), c’est qu’il divise la sauvegarde en plusieurs étapes atomiques (on pourrait aussi dire en « items »).

Par exemple, le dossier Documents est un item (et sa sauvegarde une « étape »), de même que le dossier Vidéos, ce qui rend trivial l’affichage de l’avancement de la sauvegarde étape par étape (« vos Documents ont été sauvegardés », puis « vos Vidéos ont été sauvegardées » etc).

Et cet aspect est surtout intéressant car il rend possible de définir des étapes/items ad-hoc. Les exemples de base, fournis avec la dernières release, font les sauvegardes des bases de données de plusieurs applications (Thunderbird, Miro etc) en exportant les données qu’elles contiennent sous forme de fichiers à plat dans un dossier temporaire qui peut être ensuite sauvegardé avec la routine rsync interne de BackupMonitor.

Bien entendu, la configuration par défaut de DejaDup à la mode Ubuntu élimine totalement le besoin pour de telles fonctionnalités, en sauvegardant d’emblée tout le contenu du dossier utilisateur. Cependant la possibilité de définir des items personnalisés me semble toujours intéressante.

Quoiqu’il en soit, et puisqu’on en parle, si vous utilisez DejaDup sur Ubuntu, vous voudrez certainement rajouter à la liste des exclusions de DejaDup, les dossiers qui consomment de l’espace sans contenir d’information pertinente tels que ~/.cache² !

1. une fonctionnalité que je n’ai heureusement pas encore eu l’occasion de tester
2. et si vous êtes aussi parano que moi vous ferez de même avec les dossiers liés à des données sensibles tels que ~/.ssh

Les  flux RSS (et leurs frères jumeaux Atom) sont omniprésents sur internet et permettent de récupérer facilement un résumé des dernières publications d’un site donné.

De façon intéressante énormément de sites web publient ce genre de flux (les blogs évidemment mais aussi des sites comme twitter[en]) et de ce point de vue là ce format est clairement bien vivant.

Mais du côté « consommateur » je suis assez déçu par l’offre. J’ai testé au fil du temps des applications de bureau (liferea, rssowl, thunderbird…) qui ont toutes fini par converger pour se synchroniser avec Google Reader. Ce dernier est donc devenu mon lecteur de nouvelles principal et il me semble clairement dominer tout ce qui se fait dans ce genre comme application internet ou application de bureau. Et il faut avouer qu’une domination aussi écrasante n’est pas tellement enthousiasmante¹

J’aime bien plein de trucs dedans et en particulier sa bonne ergonomie (l’interface est très « clean », les raccourcis claviers, l’ensemble est assez réactif). Mais là où il pêche c’est qu’il ne m’aide vraiment pas pour faire le tri dans les centaines d’articles qu’il me récupère chaque jour².

D’où l’idée de chercher des solutions alternatives ou éventuellement des briques de base pour faire un lecteur un peu personnalisé.

Quelques briques « libres » et en Python retrouvées sur internet:

• Atomisator par Tarek Ziadé: la bonne idée est écrite noir sur blanc (mais en anglais): utiliser une librairie de traitement du langage naturel pour trier les articles³
• pyf (sur bitbucket) se propose comme un framework Python de programmation orientée flux (dataflow programming), avec aussi une réimplementation de Yahoo Pipes (y compris l’interface graphique !).  Cerise sur le gâteau le site est joli avec pas mal de documentation et me donne bien envie de fouiller.
• pypes (sur bitbucket) qui se propose de faire pareil que pyf, j’ai l’impression de mieux comprendre l’organisation de la lib et les exemples, mais il dépend d’une implémentation de python assez particulière (stackless), dommage ?
• pipe2py⁴ (sur github) qui convertit en code Python des chaînes configurées sur Yahoo Pipes et qui aurait pu me servir lors de mes expériences précédentes sur les flux.

Avec toutes ces briques (et encore je n’ai cherché que celle en Python) je me demande comment on peut ne pas avoir de meilleures solutions pour lire les flux de nouvelles :)

Surtout si on ajoute à ça les bons conseils de Dave Winer, l’un des pères fondateurs de ce système de flux:

• The RSS community wakes up avec 2 préconisations: rendre plus facile l’abonnement à travers une sorte de « bottin » centralisé » et une légère évolution de RSS (pour qu’il fonctionne aussi en push)
• RSS is supposed to be really simple : définissant le lecteur RSS idéal comme ressemblant plus à Twitter avec un flux continu.

Je mettrais un bémol sur le dernier point, car pour moi l’intérêt d’utiliser un lecteur de nouvelles c’est aussi de ne pas louper les articles de certains sites, et même si pour d’autres sites (avec un plus gros volumes d’articles et parmi eux beaucoup de bruit) ça ne me dérangerait pas d’en louper. Aujourd’hui ces deux types de sources sont traitées de la même façon par les lecteurs de flux, c’est peut-être par là aussi qu’une amélioration est possible (et non je ne me ferais pas deux comptes Google séparés même maintenant que les comptes à pseudonymes sont autorisés :) ).

1. un bref coup d’oeil à HackerNews permet de voir que des gens essaient régulièrement de réinventer le concept, il y a donc une lueur d’espoir
2. Pire encore il utilise l’ensemble de mes abonnements pour me proposer des sources d’information additionnelles et me noyer encore plus, argf !
3. une bonne idée qui date de 2008 tout de même…
4. si vous regardez bien, vous réaliserez que mon billet ressemble à un affreux plagiat de l’un des commentaires