diff options
author | Quentin Dufour <quentin@deuxfleurs.fr> | 2022-03-28 11:51:49 +0200 |
---|---|---|
committer | Quentin Dufour <quentin@deuxfleurs.fr> | 2022-03-28 11:51:49 +0200 |
commit | b5137f66656ad57ab001eed622967678ea38c86e (patch) | |
tree | af2bff0a4083b6c0521dfdf3dc91c0ac8cf70a94 | |
parent | 3f73721ad58fe2abd0337ee553b46c88037ae7a0 (diff) | |
download | infrastructure-b5137f66656ad57ab001eed622967678ea38c86e.tar.gz infrastructure-b5137f66656ad57ab001eed622967678ea38c86e.zip |
Ajout de GlusterFS
-rw-r--r-- | op_guide/postmortem/2022-01-xx-glusterfs-corruption.md | 28 |
1 files changed, 28 insertions, 0 deletions
diff --git a/op_guide/postmortem/2022-01-xx-glusterfs-corruption.md b/op_guide/postmortem/2022-01-xx-glusterfs-corruption.md new file mode 100644 index 0000000..62694e6 --- /dev/null +++ b/op_guide/postmortem/2022-01-xx-glusterfs-corruption.md @@ -0,0 +1,28 @@ +# Corruption GlusterFS + +Suite au redémarrage d'un serveur, les emails ne sont plus disponibles. +Il apparait que GlusterFS ne répliquait plus correctement les données depuis un certain temps. +Suite à ce problème, il a renvoyé des dossiers Dovecot corrompu. +Dovecot a reconstruit un index sans les emails, ce qui a désynchronisé les bàl des gens. +À la fin, certaines boites mails ont perdu tous leurs emails. +Aucune sauvegarde des emails n'était réalisée. +Le problème a été créé cet été quand j'ai réinstallé un serveur. +J'ai installé sur une version de Debian différente. +La version de GlusterFS était pinnée dans un sources.list, en pointant vers le repo du projet gluster +Mais le pinning était pour la version de debian précédente. +Le sources.list a été ignoré, et c'est le gluster du projet debian plus récent qui a été installé. +Ces versions étaient incompatibles mais silencieusement. +GlusterFS n'informe pas proactivement non plus que les volumes sont désynchronisées. +Il n'y a aucune commande pour connaitre l'état du cluster. +Après plusieurs jours de travail, il m'a été impossible de remonter les emails. + +Action mise en place : + - Suppression de GlusterFS + - Sauvegardes journalière des emails + - Les emails sont maintenant directement sur le disque (pas de haute dispo) + +Action en cours de mise en place : + - Développement d'un serveur IMAP sur Garage + + + |