diff options
author | Quentin Dufour <quentin@deuxfleurs.fr> | 2023-03-01 21:18:40 +0100 |
---|---|---|
committer | Quentin Dufour <quentin@deuxfleurs.fr> | 2023-03-01 21:18:40 +0100 |
commit | 58951873b23624332bde25fa88099e02203277a7 (patch) | |
tree | 841c7398ae47f8f781992d0ec970494e078e82c2 /content/operations/deploiement | |
parent | f3b7e90693bf2b51a53a23d98a60bbf04065103a (diff) | |
download | guide.deuxfleurs.fr-58951873b23624332bde25fa88099e02203277a7.tar.gz guide.deuxfleurs.fr-58951873b23624332bde25fa88099e02203277a7.zip |
reorg operations
Diffstat (limited to 'content/operations/deploiement')
-rw-r--r-- | content/operations/deploiement/_index.md | 7 | ||||
-rw-r--r-- | content/operations/deploiement/app/_index.md | 33 | ||||
-rw-r--r-- | content/operations/deploiement/app/create_database.md | 34 | ||||
-rw-r--r-- | content/operations/deploiement/grappe/_index.md | 19 | ||||
-rw-r--r-- | content/operations/deploiement/grappe/stolon.md | 95 | ||||
-rw-r--r-- | content/operations/deploiement/noeud/SSH_sans_écran.md | 51 | ||||
-rw-r--r-- | content/operations/deploiement/noeud/_index.md | 14 | ||||
-rw-r--r-- | content/operations/deploiement/noeud/guide_création_nœud.md | 102 | ||||
-rw-r--r-- | content/operations/deploiement/noeud/prérequis.md | 39 |
9 files changed, 0 insertions, 394 deletions
diff --git a/content/operations/deploiement/_index.md b/content/operations/deploiement/_index.md deleted file mode 100644 index 4986c67..0000000 --- a/content/operations/deploiement/_index.md +++ /dev/null @@ -1,7 +0,0 @@ -+++ -title = "Déploiement" -description = "Déploiement" -weight = 10 -sort_by = "weight" -+++ - diff --git a/content/operations/deploiement/app/_index.md b/content/operations/deploiement/app/_index.md deleted file mode 100644 index 710e2e5..0000000 --- a/content/operations/deploiement/app/_index.md +++ /dev/null @@ -1,33 +0,0 @@ -+++ -title = "Applications" -description = "Déploiement d'une application" -sort_by = "weight" -date = 2022-12-22 -weight = 30 -+++ - - -# Empaqueter - -Packager avec nix un conteneur Docker, le publier - -# Secrets - -Créer les secrets avec `secretmgr` - -# Service - -Créer un service Nomad - -Voir les différentes déclarations : - - diplonat - - tricot - -# Sauvegardes - -Voir la section appropriée - -# Surveillance - -Voir la section appropriée - diff --git a/content/operations/deploiement/app/create_database.md b/content/operations/deploiement/app/create_database.md deleted file mode 100644 index e5f8a72..0000000 --- a/content/operations/deploiement/app/create_database.md +++ /dev/null @@ -1,34 +0,0 @@ -+++ -title = "Créer une BDD" -description = "Création d'une base de données pour une nouvelle application" -date = 2022-12-22 -dateCreated = 2022-12-22 -weight = 11 -+++ - -## 1. Create a LDAP user and assign a password for your service - -Go to guichet.deuxfleurs.fr - - 1. Everything takes place in `ou=services,ou=users,dc=deuxfleurs,dc=fr` - 2. Create a new user, like `johny` - 3. Generate a random password with `openssl rand -base64 32` - 4. Hash it with `slappasswd` - 5. Add a `userpassword` entry with the hash - -This step can also be done using the automated tool `secretmgr.py` in the app folder. - -## 2. Connect to postgres with the admin users - -```bash -# 1. Launch ssh tunnel given in the README -# 2. Make sure you have postregsql client installed locally -psql -h localhost -U postgres -W postgres -``` - -## 3. Create the binded users with LDAP in postgres + the database - -```sql -CREATE USER sogo; -Create database sogodb with owner sogo encoding 'utf8' LC_COLLATE = 'C' LC_CTYPE = 'C' TEMPLATE template0; -``` diff --git a/content/operations/deploiement/grappe/_index.md b/content/operations/deploiement/grappe/_index.md deleted file mode 100644 index 80de97d..0000000 --- a/content/operations/deploiement/grappe/_index.md +++ /dev/null @@ -1,19 +0,0 @@ -+++ -title = "Grappe" -description = "Grappe" -weight = 20 -date = 2022-12-22 -sort_by = "weight" -+++ - -# Installation - -Pointer vers le dépot nixcfg (précédemment le ansible de Deuxfleurs/infrastructure). - -Passer sur Wireguard, Nomad, Consul, Diplonat, (Tricot, Garage), etc. - -# Les secrets - -# Découverte des noeuds - - diff --git a/content/operations/deploiement/grappe/stolon.md b/content/operations/deploiement/grappe/stolon.md deleted file mode 100644 index 4a683f4..0000000 --- a/content/operations/deploiement/grappe/stolon.md +++ /dev/null @@ -1,95 +0,0 @@ -+++ -title = "Stolon" -description = "Comment déployer Stolon" -date = 2022-12-22 -dateCreated = 2022-12-22 -weight = 11 -+++ - -Spawn container: - -```bash -docker run \ - -ti --rm \ - --name stolon-config \ - --user root \ - -v /var/lib/consul/pki/:/certs \ - superboum/amd64_postgres:v11 -``` - - -Init with: - -``` -stolonctl \ - --cluster-name chelidoine \ - --store-backend=consul \ - --store-endpoints https://consul.service.prod.consul:8501 \ - --store-ca-file /certs/consul-ca.crt \ - --store-cert-file /certs/consul2022-client.crt \ - --store-key /certs/consul2022-client.key \ - init \ - '{ "initMode": "new", - "usePgrewind" : true, - "proxyTimeout" : "120s", - "pgHBA": [ - "host all postgres all md5", - "host replication replicator all md5", - "host all all all ldap ldapserver=bottin.service.prod.consul ldapbasedn=\"ou=users,dc=deuxfleurs, dc=fr\" ldapbinddn=\"<bind_dn>\" ldapbindpasswd=\"<bind_pwd>\" ldapsearchattribute=\"cn\"" - ] - }' - -``` - -Then set appropriate permission on host: - -``` -mkdir -p /mnt/{ssd,storage}/postgres/ -chown -R 999:999 /mnt/{ssd,storage}/postgres/ -``` - -(102 is the id of the postgres user used in Docker) -It might be improved by staying with root, then chmoding in an entrypoint and finally switching to user 102 before executing user's command. -Moreover it would enable the usage of the user namespace that shift the UIDs. - - - -## Upgrading the cluster - -To retrieve the current stolon config: - -``` -stolonctl spec --cluster-name chelidoine --store-backend consul --store-ca-file ... --store-cert-file ... --store-endpoints https://consul.service.prod.consul:8501 -``` - -The important part for the LDAP: - -``` -{ - "pgHBA": [ - "host all postgres all md5", - "host replication replicator all md5", - "host all all all ldap ldapserver=bottin.service.2.cluster.deuxfleurs.fr ldapbasedn=\"ou=users,dc=deuxfleurs,dc=fr\" ldapbinddn=\"cn=admin,dc=deuxfleurs,dc=fr\" ldapbindpasswd=\"<REDACTED>\" ldapsearchattribute=\"cn\"" - ] -} -``` - -Once a patch is writen: - -``` -stolonctl --cluster-name pissenlit --store-backend consul --store-endpoints http://consul.service.2.cluster.deuxfleurs.fr:8500 update --patch -f /tmp/patch.json -``` - -## Log - -- 2020-12-18 Activate pg\_rewind in stolon - -``` -stolonctl --cluster-name pissenlit --store-backend consul --store-endpoints http://consul.service.2.cluster.deuxfleurs.fr:8500 update --patch '{ "usePgrewind" : true }' -``` - -- 2021-03-14 Increase proxy timeout to cope with consul latency spikes - -``` -stolonctl --cluster-name pissenlit --store-backend consul --store-endpoints http://consul.service.2.cluster.deuxfleurs.fr:8500 update --patch '{ "proxyTimeout" : "120s" }' -``` diff --git a/content/operations/deploiement/noeud/SSH_sans_écran.md b/content/operations/deploiement/noeud/SSH_sans_écran.md deleted file mode 100644 index 41a19f7..0000000 --- a/content/operations/deploiement/noeud/SSH_sans_écran.md +++ /dev/null @@ -1,51 +0,0 @@ -+++ -title = "Installer NixOS en SSH" -description = "Installer NixOS en SSH sans écran ni clavier" -date = 2022-08-24 -dateCreated = 2021-08-24 -weight = 12 -+++ - -Quick tip avant d'oublier pour installer une de nos machines ThinkCentre via SSH sous NixOS ; c'est la seule solution quand on a pas d'écran ni de clavier sous la main. -Pré-requis : une clé USB, un ordi sous NixOS. - -On va créer une image d'installation nous même qui démarre le SSH et configure root avec notre clé. On créer un fichier `iso.nix` : - -```nix -{config, pkgs, ...}: -{ - imports = [ - <nixpkgs/nixos/modules/installer/cd-dvd/installation-cd-minimal.nix> - - # Provide an initial copy of the NixOS channel so that the user - # doesn't need to run "nix-channel --update" first. - <nixpkgs/nixos/modules/installer/cd-dvd/channel.nix> - ]; - - systemd.services.sshd.wantedBy = pkgs.lib.mkForce [ "multi-user.target" ]; - users.users.root.openssh.authorizedKeys.keys = [ - "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDT1+H08FdUSvdPpPKdcafq4+JRHvFVjfvG5Id97LAoROmFRUb/ZOMTLdNuD7FqvW0Da5CPxIMr8ZxfrFLtpGyuG7qdI030iIRZPlKpBh37epZHaV+l9F4ZwJQMIBO9cuyLPXgsyvM/s7tDtrdK1k7JTf2EVvoirrjSzBaMhAnhi7//to8zvujDtgDZzy6aby75bAaDetlYPBq2brWehtrf9yDDG9WAMYJqp//scje/WmhbRR6eSdim1HaUcWk5+4ZPt8sQJcy8iWxQ4jtgjqTvMOe5v8ZPkxJNBine/ZKoJsv7FzKem00xEH7opzktaGukyEqH0VwOwKhmBiqsX2yN quentin@dufour.io" - ]; -} -``` - -On construit l'image à partir de ce fichier de conf : - -```bash -nix-build '<nixpkgs/nixos>' -A config.system.build.isoImage -I nixos-config=iso.nix - -``` - -On le copie sur la clé USB : - -``` -dd if=result/iso/*.iso of=/dev/??? status=progress -sync -``` - -On branche la clé sur le serveur, on branche le serveur sur le réseau, on démarre le serveur et on surveille le routeur pour connaitre son IP (nom de domaine `nixos`). -Ensuite on se connecte dessus : - -``` -ssh root@192.168.1.X -```
\ No newline at end of file diff --git a/content/operations/deploiement/noeud/_index.md b/content/operations/deploiement/noeud/_index.md deleted file mode 100644 index d44044a..0000000 --- a/content/operations/deploiement/noeud/_index.md +++ /dev/null @@ -1,14 +0,0 @@ -+++ -title = "Noeud" -description = "Déploiement d'un noeud" -date = 2022-08-23 -dateCreated = 2021-08-23 -sort_by = "weight" -+++ - -# Déployer un nœud au sein de l'infrastructure Deuxfleurs -Déployer un nœud au sein de l'infrastructure Deuxfleurs demande un certaine préparation et représente un processus particulier. - -Avant de se lancer, [mieux vaut vérifier les prérequis pour y parvenir](./prerequis/). Une fois ceci fait, on peut suivre [le guide décrivant la procédure](./guide-creation-noeud/). - -Si vous avez une machine à installer, mais aucun écran & clavier à brancher dessus pour la configurer, référez-vous au [guide d'installation de NixOs en SSH](./ssh-sans-ecran/). diff --git a/content/operations/deploiement/noeud/guide_création_nœud.md b/content/operations/deploiement/noeud/guide_création_nœud.md deleted file mode 100644 index 907d4a8..0000000 --- a/content/operations/deploiement/noeud/guide_création_nœud.md +++ /dev/null @@ -1,102 +0,0 @@ -+++ -title = "Guide de création d'un nœud" -description = "Guide de création d'un nœud" -date = 2022-08-23 -dateCreated = 2022-08-23 -weight = 11 -+++ - -# Guide d'initialisation de nœud Deuxfleurs -Ce guide explique comment initialiser un nœud pour l'infrastructure de Deuxfleurs. Nous partons de zéro, c'est-à-dire avec une machine que nous venons de récupérer, avec une mémoire vide, et que nous venons de brancher. À titre d'exemple, nous illustrerons de temps en temps les opérations avec une de nos machines (un Thinkcentre de Lenovo). - -## Configuration de l'UEFI -Configurons d'abord quelques paramètres dans l'UEFI de la machine. Démarrez-là et appuyez sur la touche pour accéder à ce menu. Chez nous, il s'agit de F1. Si le PXE est activé, désactivons-le : un attaquant présent sur le réseau local pourrait faire démarrer une machine sur une installation malveillante. Vérifions que les *C-States* sont pris en charge, cela permet une meilleure gestion de l'énergie. Configurons également la machine pour qu'elle démarre après avoir subi une coupure électrique, cela se révèlera pratique lorsqu'il y en aura une. Si l'option est là, autorisons le démarrage sans clavier branché, pour ne pas être embêté lorsque nous démarrons une machine pour SSH dessus. Enfin, dans le cadre de l'infrastructure Deuxfleurs, nous supporterons uniquement l'UEFI, nous pouvons donc désactiver les options de compatibilité BIOS. - -## Installation de NixOS - -> Aucun écran ou clavier n'est disponible pour l'ordinateur cible ? NixOS peut être installé en SSH. Suivre les instructions sur [cette page](/operations/deploiement/noeud/ssh-sans-ecran). - -Pour installer NixOS, nous aurons besoin d'une clé USB avec une image amorçable (*live*) de NixOS dessus. Nous pouvons télécharger la distribution linux en 64 bits et en version minimale (sans interface graphique et avec moins d'utilitaires) sur le [site officiel](https://nixos.org/download.html). Pour écrire l'image sur le support USB, on peut faire `dd if=chemin-vers-le-fichier-iso of=/dev/sdX status=progress; sync`, en remplaçant `sdX` par le fichier périphérique correspondant à la clé, trouvé avec `lsblk` par exemple. -Alternativement, cela peut être l'occasion de créer une clé USB formatée avec [Ventoy](https://ventoy.net), un utilitaire très pratique -qui permet d'avoir plusieurs images ISO bootables depuis une même clef USB (utile si vous n'arrêtez pas de reformater vos clefs pour passer d'une distribution à une autre!) - -Branchons la clé USB et démarrons dessus. Chez nous, c'est possible grâce à un menu accessible via la touche F12. Lançons NixOS sans option particulière. Accordons-nous tous les droits et configurons un clavier habituel. On peut également vérifier la connexion internet : -``` -$ sudo su -# loadkeys fr-latin9 -# ping deuxfleurs.fr -``` -Nous pouvons faire `lsblk` pour examiner les disques de la machine. Chez nous, nous avons simplement un disque dur complètement vide de 500Go associé à `/dev/sda`. Nous allons formater le disque avec `cgdisk` : -``` -# cgdisk /dev/sda -``` -Nous créons d'abord, avec l'option `New`, une partition qui commence au début, fait 512Mo, avec un code hexadécimal `EF00`, et que nous appelerons «EFI» : c'est le secteur de démarrage. -Puis nous créons à la suite une partition de 8Go, avec un code hexadécimal `8200`, nommée «swap» : c'est l'espace d'échange. -Enfin sur tout le reste, nous créons une partition avec un code hexadécimal `8300`, que nous appelerons par exemple «root» : c'est la racine du système linux. -Pour appliquer les changements, nous utilisons l'option `Write`. Nous pouvons ensuite quitter avec `Quit`, et éventuellement vérifier le résultat avec `lsblk`. - -Finalisons les partitions. Dans notre cas, nous devons créer les systèmes avec : -``` -# mkfs.fat -F 32 /dev/sda1 -# mkswap /dev/sda2 -# mkfs.xfs /dev/sda3 -``` -Nous utilisons ici xfs car nous sommes équipés d'un disque rotatif. - -Montons les partitions fraîchement créées. -``` -# mount /dev/sda3 /mnt -# mkdir /mnt/boot -# mount /dev/sda1 /mnt/boot -# swapon /dev/sda2 -``` -Le résultat est vérifiable avec `df -h`. À ce stade, nous pouvons générer la configuration de NixOS dans cette arborescence, et l'éditer par exemple avec `nano` : -``` -# nixos-generate-config --root /mnt -# nano /mnt/etc/nixos/configuration.nix -``` -Ce fichier décrit la configuration du système de manière générale. NixOS le versionne, et à l'utilisation, chaque modification génère une nouvelle «génération». En cas d'erreur par exemple, nous pourrons revenir facilement à une génération précédente. Ainsi nous décrivons ici la première génération de notre système à venir. Nous n'allons en réalité modifier que quelques choses par rapport à la configuration par défaut. Décommentons et définissons le nom d'hôte et le fuseau horaire : -``` -networking.hostName = "nomDeLaMachine"; -``` -``` -time.timeZone = "Europe/Paris"; -``` -Pour les propriétés d'internationalisation, nous pouvons par exemple définir ceci : -``` -i18n.defaultLocale = "fr_FR.UTF-8"; -console = { - font = "Lat2-Terminus16"; - keyMap = "fr-latin9"; -}; -``` -Attention en tout cas à ne pas définir en même temps `keyMap` et `useXkbConfig`, ces deux options peuvent se contredire. Pour l'utilisateur et les paquets du système, nous pouvons par exemple partir sur : -``` -users.users.nomUtilisateur = { - isNormalUser = true; - extraGroups = [ "wheel" ]; -}; -``` -``` -environment.systemPackages = with pkgs; [ - vim - git - wget - emacs -]; -``` -L'installation de git est nécessaire pour rejoindre un cluster Deuxfleurs. - -Enfin activons le serveur SSH en décommentant : -``` -services.openssh.enable = true; -``` -Nous pouvons enregistrer et fermer le fichier, puis lancer l'installation avec : -``` -# nixos-install -``` -Au bout d'un certain temps, le processus va nous demander le mot de passe pour le compte root. Une fois donné, l'installation devrait être terminée. Nous pouvons redémarrer sur la machine, et nous connecter en tant que root. Définissons le mot de passe de l'utilisateur spécifié dans la configuration auparavant (nomUtilisateur) avec : -``` -# passwd nomUtilisateur -``` -Nous pouvons si nous le voulons nous déconnecter avec `exit` et tester la connexion sur nomUtilisateur en local ou en SSH. diff --git a/content/operations/deploiement/noeud/prérequis.md b/content/operations/deploiement/noeud/prérequis.md deleted file mode 100644 index 27dc414..0000000 --- a/content/operations/deploiement/noeud/prérequis.md +++ /dev/null @@ -1,39 +0,0 @@ -+++ -title = "Prérequis pour un nœud" -description = "Prérequis pour un nœud" -date = 2022-01-09T13:29:29.710Z -dateCreated = 2021-12-28T14:33:59.088Z -weight = 10 -+++ - - -Dans ce guide, nous allons expliquer comment installer une grappe de serveurs, en vue d'un hébergement pour Deuxfleurs. - - - -# Choix des ordinateurs - -Héberger des services web est une tâche à la portée de la plupart des ordinateurs des 10 dernières années. Néanmoins, essayer de faire tourner correctement des applications lourdes sur une toute petite machine n'est pas une partie de plaisir. Alors, quitte à installer une nouvelle grappe, la vie sera plus agréable si ses machines disposent d'au moins : - -* 4 Go de RAM -* 1 To de disque (dur ou SSD) - -# Choix d'un site géographique - -Dans un *site géographique*, on installe une *grappe d'ordinateurs* au sein d'un *réseau local*, qu'on connecte au cluster de Deuxfleurs. - -On peut distinguer deux types de sites : - -* _Dans un centre de données_ : chaque ordinateur de la grappe appartient au même centre de données, dispose d'une adresse IP fixe qui le connecte directement à Internet. - - Dans ce cas-ci, **l'installation et l'administration sont assez simples** (on a moins de concepts à avaler que chez un particulier). - Par contre, **nous ne sommes pas chez nous** : le propriétaire du centre de données peut accéder aux disques, et voit ce qui passe sur le réseau. **Chiffrement du disque vivement conseillé.** - -* _Chez un particulier_ : la grappe est reliée à Internet par une *box*, qui filtre le trafic réseau selon des règles variables. La grappe se partage l'adresse IP de la box (qui peut changer régulièrement, être en IPv4 ou en IPv6). - - Dans ce cas de figure, **l'installation comme l'administration demandent plus de connaissances** : pour caricaturer, on doit installer et administrer la grappe **malgré le Fournisseur d'Accès Internet** (FAI), qui considère *a priori* que son abonnement ne sert pas à héberger des services web. - - On aura affaire à sa box (NAT, pare-feu...), au manque de garanties concernant notre adressabilité (IPv4 dynamique, IPv6 ? ...), ce qui va nous mener à devoir faire du routage. Le nœud du problème, c'est que chaque ordinateur de la grappe n'aura pas pignon sur rue (pas d'adresse IP publique et fixe par machine). - - Néanmoins, **on est chez nous !** Votre disque dur - qui contient les données personnelles de vos usagers chéris - est sous vos yeux, bien au chaud. Le seul curieux qui voit passer votre trafic réseau est votre FAI : *rien de nouveau sous le soleil*. -
\ No newline at end of file |