Files
Bastion-Stid/README.md
Serge NOELandClaude Opus 5.5 d2ecbcb5a0 Doc : les mots de passe de test sont versionnés volontairement
Seuls les jetons API Proxmox (droits root sur pmx-002) restent hors git.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-20 15:30:06 +01:00

241 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Load-Tests : tests de charge beWeapon sur Proxmox
Ce dépôt regroupe la chaîne complète utilisée pour les tests de montée en charge du
client lourd **beWeapon** :
1. construction d'un template Windows 11 (Packer) ;
2. déploiement de N postes de test clonés depuis ce template (OpenTofu + Ansible, script `Deploy`) ;
3. exécution d'une campagne de test pilotée par Appium/WinAppDriver (`hypervisor.sh`) ;
4. collecte des résultats (CSV).
Les améliorations proposées sont listées dans [Ameliorations.md](Ameliorations.md).
---
## 1. Architecture
```
Poste admin
│ ssh installer@192.168.100.253
▼
Stid-GW (VM 111) ─── 192.168.100.253 / 192.168.110.x / 192.168.111.x
│ ssh 192.168.111.252 (clé de installer@stid-gw)
▼
stid-bastion (VM 100, 192.168.111.252, compte installer)
│ Packer, OpenTofu/Ansible (conteneur docker stid:1.3), scripts Python de test
│ API Proxmox https://192.168.111.220:8006
▼
pmx-002 (Proxmox, 192.168.100.220 / 192.168.111.220)
├── beWeapon-0..29 VM 400..429 Windows 11, Appium/WinAppDriver, beWeapon (vmbr2, DHCP 192.168.111.x)
├── beWeaponDB VM 230 Windows, SQL Server, base Omnitrack (192.168.111.200)
├── SqlServer VM 103
├── Stid-GW VM 111
└── template VM 1051 Win11-beWeapon-nov2026 (source des clones)
```
Les postes de test sont sur `vmbr2` (192.168.111.0/24). Ce réseau n'a pas de lien
physique : il n'est joignable que depuis le bastion, la passerelle et le serveur Proxmox.
---
## 2. Arborescence
Emplacement réel : `/data/Installer/Load-Tests` sur stid-bastion.
| Dossier | Contenu | Ancien emplacement (lien symbolique conservé) |
|---|---|---|
| `template/` | Build Packer du template Windows 11 | `/data/Installer/MyTemplate` |
| `deploy/` | OpenTofu (`main.tf`) + playbooks Ansible, liste des postes `machines_ip.csv` | `/data/Tofu` |
| `bin/Deploy` | Menu de déploiement des postes | `/usr/local/bin/Deploy` (lien) |
| `tests/` | Scénarios de test beWeapon-LT (Python/Appium) | `/data/stid-beweapon/beWeapon/beWeapon-LT` |
| `archives/` | Résultats et journaux des campagnes passées (hors git) | — |
Les anciens chemins restent valables grâce aux liens symboliques : les habitudes, le
script `Deploy` (qui monte `/data/Tofu` dans docker) et les environnements Python
(chemins absolus dans `lt-env` et dans le venv de `deploy/`) continuent de fonctionner.
### Dépôts git
| Dossier | Dépôt | Remarque |
|---|---|---|
| `Load-Tests/` | `gitea.easylinux.fr/easylinux/Bastion-Stid` | Ce dépôt : template, deploy, bin, documentation |
| `tests/` | `o.gillet/beWeapon-LT` (alias ssh `gitea-jump`) | Dépôt indépendant, **exclu** de ce dépôt |
| `/data/stid-beweapon` | `gitea.aipice.local/HEXA-H/stid-beweapon` | Ancien dépôt, contient aussi une copie de beWeapon-LT (voir Ameliorations.md) |
Ne sont **pas** versionnés (voir `.gitignore`) : jetons API Proxmox (`*.tfvars`,
`*.tfstate`, `my.pkrvars.hcl`, `deploy/proxmox-secret.yml`), venv Python, ISO et
installeurs (`template/tmp/`, `template/iso/install/`, `*.iso`), résultats (`archives/`).
Les mots de passe de test (compte Windows `installer`, `sa` SQL Server) sont versionnés
volontairement : ils ne servent qu'à cet environnement isolé.
### Dossiers obsolètes (à ne plus utiliser)
- `/data/Installer/Template` : ancienne version du build Packer.
- `/data/stid-beweapon/beWeapon/LoadTests` : ancienne version des scénarios (remplacée par beWeapon-LT).
- `/data/stid-beweapon.old`, `/usr/local/bin/Deploy.old`, fichiers `*.bak*`.
---
## 3. Étape 1 : construire le template (Packer)
Dossier : `template/`
```bash
cd /data/Installer/Load-Tests/template
./build.sh # packer build -var-file=my.pkrvars.hcl -var-file=windows-11.pkrvars.hcl -on-error=ask .
```
| Fichier | Rôle |
|---|---|
| `generic.pkr.hcl` | Source `proxmox-iso` + liste des scripts de provisioning |
| `variables.pkr.hcl` | Déclaration des variables et valeurs par défaut |
| `my.pkrvars.hcl` | Connexion Proxmox (jeton API), nœud, `vmid`, stockages (**secret, hors git**) |
| `windows-11.pkrvars.hcl` | ISO Windows 11 25H2, ISO virtio-win, taille disque |
| `iso/` | `Autounattend.xml`, `setup.ps1`, `generalize.ps1` et installeurs → `unattended-win.iso` |
| `http/*.ps1` | Scripts de provisioning exécutés via WinRM |
Ordre des scripts de provisioning (`generic.pkr.hcl`) :
| Script | Rôle |
|---|---|
| `Drivers.ps1`, `GuestTools.ps1` | Pilotes virtio et agent QEMU |
| `DotNet.ps1`, `Windows.ps1` | Runtimes .NET 10 (x64) et Windows Desktop (x86) |
| `s0_autologon.ps1` | Ouverture de session automatique du compte `Installer` (indispensable pour l'UI Automation) |
| `s1_beweapon.ps1` | Installation de beWeapon (`setup_weapon_tracer*.msi`, `OmnitrackSettings`) |
| `s2_appium.ps1` | Node.js, Appium, WinAppDriver |
| `s3_pysnapcap.ps1` | Extraction de l'outil pysnapcap |
| `s4_dotNet.ps1` | .NET Framework 3.5 |
| `s6_tasks.ps1` | Copie des scripts de démarrage (`start_beweapon.ps1`…), pilotes système, mode développeur Windows (requis par WinAppDriver) |
`s5_com0com.ps1` (ports série virtuels) et `s7_CDremove.ps1` existent mais ne sont pas appelés.
Le template produit porte le `vmid` défini dans `my.pkrvars.hcl` (actuellement **901**),
alors que le déploiement clone le template **1051** (`deploy/terraform.tfvars`).
Après un nouveau build, il faut mettre à jour `vm_template_id`.
---
## 4. Étape 2 : déployer les postes (`Deploy`)
```bash
Deploy # menu interactif
```
| Choix | Action | Commande exécutée dans le conteneur `stid:1.3` (dossier `deploy/` monté sur `/data`) |
|---|---|---|
| 1 | Déploiement de N postes (1 à 30) | `tofu apply -var="vm_count=N" -auto-approve` |
| 2 | Démarrage des postes + récupération des IP | `ansible-playbook start-2.yaml` |
| 3 | Arrêt des postes | `ansible-playbook stop.yaml` |
| 4 | Suppression des postes | `tofu destroy -auto-approve` |
| I | Information (IP des postes) | `ansible-playbook info.yaml` |
Caractéristiques des postes (`deploy/main.tf`) : VM `beWeapon-<n>`, vmid `400+n`,
**clone lié** du template 1051 sur `PVE-Thin`, 4 vCPU `x86-64-v2-AES`, 6 Go de RAM,
carte réseau e1000 sur `vmbr2`.
Les IP (DHCP) sont lues par l'agent QEMU et écrites dans **`deploy/machines_ip.csv`**
(`Nom_VM,ID_Proxmox,Adresse_IP`). Ce fichier est l'entrée de la campagne de test.
Le jeton API Proxmox des playbooks est dans `deploy/proxmox-secret.yml` (hors git,
modèle : `proxmox-secret.yml.sample`). Celui d'OpenTofu est dans `deploy/terraform.tfvars`.
Séquence habituelle : **1** (déploiement) → **2** (démarrage + IP) → attendre que
Windows ait fini de démarrer → campagne.
---
## 5. Étape 3 : lancer une campagne (`hypervisor.sh`)
```bash
cd /data/Installer/Load-Tests/tests # obligatoire : les scripts utilisent des chemins relatifs
./hypervisor.sh # 1 palier de 30 postes × 200 utilisateurs (comportement historique)
# Campagne par paliers (montée en charge) :
PALIERS="1 5 10 20 30" USERS_PER_WKST=10 RETURN_TIME=60 ./hypervisor.sh
# Campagne longue détachée de la session ssh :
PALIERS="1 5 10 20 30" USERS_PER_WKST=10 RETURN_TIME=60 \
setsid nohup ./hypervisor.sh > ../archives/campagne_$(date +%Y%m%d_%H%M).log 2>&1 < /dev/null &
```
Déroulement de `hypervisor.sh` :
1. arrête les sessions Python d'un test précédent (`pkill`) ;
2. active le venv `lt-env` ;
3. lit les IP dans `/data/Tofu/machines_ip.csv` ;
4. **vérifie les postes** avec `check_wkst.py` (VM joignable, Appium, beWeapon). Si un poste est KO, le test est annulé ;
5. **archive** le contenu de `results/` dans `../archives/results_<date>` ;
6. pour chaque palier, appelle `run-XP.sh 9995 9985 1 1 <USERS_PER_WKST> <IP des N premiers postes>`.
`run-XP.sh <users_db> <items_db> <pause> <nb_sites> <users_par_poste> <postes...>` :
| Étape | Script | Rôle |
|---|---|---|
| 1 | `Generate-Users.py`, `Generate-Items.py` | Génère `results/NewUsers.sql`, `results/NewItems.sql` |
| 2 | `Import-Users-SQLcmd.py`, `Import-Items-SQLcmd.py` | Import dans la base `Omnitrack` (192.168.111.200) |
| 3 | `Generate-Yaml.py` | Répartit utilisateurs et équipements par poste → `results/inputs-xp.yaml` |
| 4 | `s1_a_RFID_time_beWeapon.py` | Scénario : un processus par poste, pilotage de beWeapon via Appium |
Les étapes 1 et 2 ne sont exécutées qu'au premier palier (`SKIP_DB=1` ensuite).
### Variables d'environnement
| Variable | Défaut | Effet |
|---|---|---|
| `PALIERS` | `30` | Liste des nombres de postes à tester successivement |
| `USERS_PER_WKST` | `200` | Utilisateurs (sessions) enchaînés par poste |
| `RETURN_TIME` | `300` | Secondes entre la sortie et le retour d'un équipement |
| `USER_PAUSE` | `0` | Pause entre deux utilisateurs d'un même poste |
| `CHECK_WKST=0` | | Désactive la vérification préalable des postes |
| `REPAIR_WKST=1` | | Tente de réparer les postes (relance d'Appium, pare-feu) avant la vérification |
| `SKIP_KO=1` | | Lance le test sans les postes KO |
| `SKIP_DB=1` | | Ne régénère pas et ne réimporte pas utilisateurs et équipements |
### Scénario `s1_a_RFID_time_beWeapon.py`
Pour chaque poste (en parallèle), après un délai aléatoire de 10 à 120 s, puis pour chaque utilisateur :
1. connexion à beWeapon (`LOGIN_OUTPUT`) ;
2. changement de site (`CHANGE_LOCATION`) ;
3. sortie de l'équipement par RFID (`EQUIPMENT_OUTPUT`) ;
4. déconnexion (`LOGOUT_OUTPUT`) ;
5. attente de `RETURN_TIME` secondes, puis connexion, retour de l'équipement et déconnexion (`*_INPUT`).
Un temps de réflexion de 2 s sépare les actions.
---
## 6. Résultats
Dossier `tests/results/` (campagne en cours), puis `archives/results_<date>/` :
| Fichier | Contenu |
|---|---|
| `detailed_user_metrics.csv` | Une ligne par étape : date, site, poste, utilisateur, étape, PASS/FAIL, durée (s), erreur |
| `global_metrics.csv` | Une ligne par palier : nb postes, utilisateurs/poste, succès, échecs, temps moyens par type d'étape |
| `logs.csv` | Journal détaillé de tous les processus |
| `inputs-xp.yaml` | Jeu de données du test (contient des mots de passe) |
| `NewUsers.sql`, `NewItems.sql`, `sites.json` | Données injectées dans la base |
Outils annexes dans `tests/` :
| Script | Rôle |
|---|---|
| `check_wkst.py [--check-only]` | Vérifie (et répare) Appium, beWeapon et le pare-feu de chaque poste via WinRM |
| `etat_vms.py` | Relevé de l'état des postes (CSV dans `etat_vms/`) |
| `beweapon_metrics.py --since "AAAA-MM-JJ HH:MM"` | Récupère les métriques collectées sur les postes |
| `Process_results.py` | Mise en forme des résultats (non appelé par défaut) |
---
## 7. Dépannage
| Symptôme | Piste |
|---|---|
| `Test ANNULÉ : n poste(s) KO` | `REPAIR_WKST=1 ./hypervisor.sh` ou `python check_wkst.py` |
| Pas d'IP pour un poste | Agent QEMU non démarré : relancer **2** dans `Deploy`, vérifier la VM dans Proxmox |
| Échecs Appium en série | Session Windows verrouillée ou fermée (connexion RDP sur le poste) : redémarrer le poste |
| `ConnectionRefusedError` dans le journal | Le gestionnaire multiprocessing a été tué (`pkill` d'un autre lancement en parallèle) : ne lancer qu'une campagne à la fois |
| Accès au bastion | Uniquement par rebond : `ssh installer@192.168.100.253` puis `ssh 192.168.111.252` |