9.6 KiB
9.6 KiB
Améliorations proposées
Analyse du 20/11/2026 : serveur pmx-002, bastion, chaîne Packer / Tofu / beWeapon-LT. Objectif : des résultats de test reproductibles, qui mesurent l'application et non le bruit de l'infrastructure.
Priorités : 🔴 forte (cause probable de l'aléa), 🟠 moyenne, 🟢 confort / hygiène.
1. Constat de départ
- Dernière campagne (18/11, 30 postes × 200 utilisateurs) : 2 845 étapes réussies pour
4 578 échecs (62 % d'échecs). Temps moyens : connexion 15,3 s, sortie d'équipement 14,3 s.
Avec autant d'échecs, les temps moyens ne sont pas exploitables. La première chose à
faire est d'analyser les messages d'erreur (
error_msgdansdetailed_user_metrics.csv). - Le journal
hypervisor.logmontre desConnectionRefusedErrordu gestionnaire multiprocessing : unpkilld'un second lancement a tué une campagne en cours. - Une campagne de référence par paliers (1, 5, 10, 20, 30 postes × 10 utilisateurs,
RETURN_TIME=60) a été lancée le 20/11 à 15h22 (résultats ci-dessous).
Mesure de référence du 20/11/2026 (avant changement de disque)
Campagne de 15h22 à 18h02. Journal : archives/campagne_reference_20261120_1522.log,
résultats : tests/results/ (archivés au prochain lancement). Médiane et p95 des étapes
réussies, en secondes :
| Postes | Utilisateurs OK / échecs | Connexion (méd. / p95) | Sortie équipement (méd. / p95) | Retour équipement (méd. / p95) | Changement de site (méd.) | Déconnexion (méd.) |
|---|---|---|---|---|---|---|
| 1 | 20 / 0 | 8,5 / 21,5 * | 12,6 / 13,6 | 12,7 / 13,5 | 8,4 | 0,9 |
| 5 | 100 / 0 | 8,5 / 18,5 * | 12,8 / 14,2 | 12,8 / 13,9 | 8,4 | 0,9 |
| 10 | 200 / 0 | 8,8 / 11,1 | 13,2 / 14,7 | 13,2 / 14,0 | 8,1 | 1,0 |
| 20 | 400 / 0 | 9,5 / 13,2 | 14,1 / 15,9 | 14,0 / 15,9 | 8,7 | 1,0 |
| 30 | 580 / 10 | 11,4 / 15,0 | 17,2 / 20,7 | 17,3 / 21,3 | 9,3 | 1,3 |
* Le premier login de chaque poste est plus lent (médiane 11,0 s, jusqu'à 31 s) que les suivants (médiane 9,9 s) : démarrage à froid de beWeapon. Une phase de chauffe (un login non mesuré) supprimerait ces valeurs extrêmes.
Lecture :
- Jusqu'à 10 postes, la plateforme est stable : temps quasi constants, dispersion faible (coefficient de variation 3 à 7 % sur les étapes métier).
- Le coude se situe entre 20 et 30 postes : de 10 à 30 postes, environ +30 % sur la sortie, le retour d'équipement et la connexion ; la dispersion est multipliée par 2 à 3 (CV 11-12 %). C'est le comportement attendu d'une contention (disque, CPU ou base) et la valeur à comparer après l'installation du disque dédié.
- Les 10 échecs viennent d'un seul poste (192.168.111.75) : élément introuvable, puis
TimeoutExceptionsur le bouton de validation et 5 redémarrages de beWeapon. C'est un problème de ce poste ou de son état, pas un effet de la charge : examiner ou recréer ce poste avant la prochaine campagne. - Avec 10 utilisateurs par poste, il y a 1,7 % d'échecs à 30 postes, contre 62 % lors de la campagne du 18/11 à 200 utilisateurs par poste. L'aléa observé jusqu'ici vient donc surtout de la durée de la campagne (dérive de l'application ou de Windows au fil des utilisateurs, accumulation dans la base) plutôt que du nombre de postes. Piste à vérifier : un palier 30 postes × 50 puis × 100 utilisateurs, en suivant la mémoire de beWeapon.exe et la taille de la base.
- Connexion = étape
LOGIN_OUTPUT;LOGIN_INPUTsuit la même tendance (8,5 s → 11,2 s).
2. Infrastructure (pmx-002)
| Constat | Proposition | |
|---|---|---|
| 🔴 | Un seul SSD SATA porte les 30 postes, la base beWeaponDB, SqlServer et la passerelle. Latence moyenne depuis le démarrage : 8,5 ms en lecture (normal pour un SSD : < 0,5 ms) | Disque dédié aux postes (achat proposé : NVMe 3,84 To). Laisser la base sur le disque actuel |
| 🔴 | beWeaponDB (VM 230) : 4 vCPU, 4 Go de RAM, disque SATA émulé, pour 30 clients | 8 vCPU, 16 Go de RAM minimum, disque virtio-scsi avec iothread. Surveiller CPU et attentes SQL pendant les tests |
| 🟠 | 140 vCPU alloués pour 40 cœurs physiques. Le turbo baisse quand la charge augmente | Priorité CPU plus haute (cpuunits) pour la base et la passerelle ; ne pas dépasser 1 vCPU par thread physique pendant les mesures |
| 🟠 | Sauvegarde à 21h00 (VM 100, 110, 111 et 1007, qui n'existe plus : échec chaque nuit) | Retirer 1007, ajouter le template 1051 et beWeaponDB, ne pas lancer de campagne pendant la sauvegarde |
| 🟢 | /var plein à 94 %, local à 89 %, groupe de volumes Pmx alloué à 98 % |
Nettoyage (journaux, ISO, disques orphelins) |
| 🟢 | Pas de métrologie de l'hôte | Installer sysstat (ou node_exporter + exporteur PVE) pour corréler CPU, disque et résultats |
3. Template et postes (Packer / Tofu)
| Constat | Proposition | |
|---|---|---|
| 🔴 | Matériel émulé : disque système sata0, carte réseau e1000 (forcée dans main.tf), affichage qxl |
Disque virtio-scsi-single + iothread=1 + discard=on + ssd=1, carte réseau virtio, pilotes virtio déjà présents dans le template (Drivers.ps1) |
| 🔴 | Aucun réglage Windows pour les tests : Windows Update, Defender, indexation, SysMain, compilation .NET en arrière-plan restent actifs. Au repos, les 30 postes consomment déjà 5,7 cœurs | Ajouter un script de provisioning s8_tuning.ps1 : désactiver Windows Update et SysMain, exclusions Defender (dossiers beWeapon, Appium, Python), indexation coupée, ngen executeQueuedItems, plan d'alimentation « Performances élevées », écran de veille et verrouillage désactivés |
| 🔴 | Clones liés (full = false) : la première écriture d'un bloc coûte plus cher, un poste neuf n'a pas les mêmes temps qu'un poste déjà utilisé |
Clones complets (full = true) une fois le disque dédié en place, ou une phase de chauffe identique avant chaque campagne |
| 🟠 | Tofu ajoute un disque scsi0 de 64 Go vide à chaque poste (en plus de sata0) |
Supprimer le bloc disk de main.tf ou en faire le disque système |
| 🟠 | Type CPU x86-64-v2-AES |
host (un seul nœud, pas de migration) |
| 🟠 | Le build Packer crée le vmid 901 (my.pkrvars.hcl), mais Tofu clone le 1051 (terraform.tfvars) |
Un seul identifiant de template, mis à jour automatiquement après le build |
| 🟠 | 30 postes démarrés à 1 ou 2 s d'intervalle, campagne lancée juste après | Attendre que le CPU de chaque poste soit stable (ex. < 5 % pendant 5 min, via etat_vms.py) avant de lancer |
| 🟢 | ostype: win10 pour un Windows 11 |
win11 |
4. Méthode de test (beWeapon-LT)
| Constat | Proposition | |
|---|---|---|
| 🔴 | Un seul palier de 30 postes par campagne | Paliers (désormais PALIERS="1 5 10 20 30") : la courbe temps de réponse / nombre de postes montre où ça casse |
| 🔴 | Pas de mesure de la variance de base | Lancer PALIERS="1 1 1 1 1" : si un seul poste varie déjà, le problème vient du scénario ou de l'application |
| 🔴 | Les durées incluent la recherche des éléments d'interface par Appium (lente et dépendante du CPU). Environ la moitié des recherches se font par name (texte affiché), plus lent et plus fragile que accessibility id |
Généraliser AccessibilityId (AutomationId à ajouter dans beWeapon si besoin), des attentes explicites, et chronométrer seulement l'action métier (apparition de l'écran attendu) |
| 🟠 | Moyennes uniquement dans global_metrics.csv |
Ajouter médiane, p90, p95 et écart-type par étape et par palier ; séparer les échecs par type |
| 🟠 | Correction empirique t_login - 1.5 dans le scénario |
Mesurer le temps réel ou documenter cette correction |
| 🟠 | Délai aléatoire de 10 à 120 s au démarrage de chaque poste (non reproductible) | Graine aléatoire fixe (random.seed) pour rejouer exactement le même profil de charge |
| 🟠 | Base régénérée à chaque campagne avec des utilisateurs aléatoires | Jeu de données figé (sauvegarde/restauration de la base Omnitrack avant chaque campagne) : même état de départ |
| 🟢 | Lancement en avant-plan, la campagne meurt si la session ssh tombe | Toujours setsid nohup (exemple dans le README) ; empêcher deux lancements simultanés (fichier verrou) |
| 🟢 | Process_results.py n'est plus appelé |
Rapport automatique par palier en fin de campagne |
5. Organisation et sécurité
| Constat | Proposition | |
|---|---|---|
| 🟢 | Mots de passe de test en clair dans les scripts (sa SQL Server, compte Windows installer). Ils ne servent qu'à cet environnement de test isolé : ils sont versionnés volontairement |
Pour le confort seulement : les regrouper dans un fichier de configuration unique, pour pouvoir les changer en un seul endroit |
| 🟠 | Jeton API root@pam utilisé partout (Packer, Tofu, Ansible). Il donne les droits complets sur pmx-002, c'est pourquoi il reste hors git (proxmox-secret.yml, *.tfvars, my.pkrvars.hcl) |
Utilisateur Proxmox dédié avec un rôle limité (VM.*, Datastore.AllocateSpace) sur un pool load-tests |
| 🟠 | beWeapon-LT est suivi par deux dépôts : o.gillet/beWeapon-LT et HEXA-H/stid-beweapon (qui contient une quinzaine de fichiers modifiés non commités) |
Garder un seul dépôt ; retirer beWeapon/beWeapon-LT de stid-beweapon (le chemin est maintenant un lien) |
| 🟢 | Nombreuses copies *.bak_*, *.v3_*, main3.tf.bak… |
Supprimer : git conserve l'historique |
| 🟢 | /usr/local/bin/Deploy : fonction follow_link inexistante, docker run -it incompatible avec un lancement automatisé |
Options en ligne de commande (Deploy deploy 30, Deploy start) pour enchaîner déploiement et campagne dans un script |