[Wapt] wapt 1.8 console qui freeze lors de sélections multiples de pc dans la console
Hubert TOUVET
htouvet at tranquil.it
Thu Mar 5 20:46:37 CET 2020
Bonsoir Jordi,
C'est toujours sur la dreamlist... oui.
La gestion type "greenlet" (multitache coopératif dans un seul Thread)
est très favorable pour la partie Websockets, car dans cette partie on a
beaucoup de connections établies en simultané, mais peu d'activité sur
chacune des connections. Si on était en multithreads pour cette partie,
l'OS passerait son temps à faire du context switching entre des threads
qui ne font rien d'autre qu'attendre la majeure partie du temps.
Par contre, effectivement, on utilise un seul coeur du processeur (pour
waptserver, postgresql en utilise d'autres j'imagine) quand des
"calculs" (dans wapt, à part la crypto, le problème est majoritairement
une sous-optimisation du process waptserver) est sont effectués par
le process python, qu'il n'y a pas d'attente d'I/O (réseau / disque..)
pour permettre de switcher sur les autres tâches... Il faudrait vérifier
quand on rencontre les problèmes si c'est plutôt les I/O ou la cpu...
Donc on peut configurer le serveur wapt avec deux services waptserver,
l'un qui est géré par uwsgi, en multithreads, pour tout ce qui n'est pas
lié au lancement d'actions vers les clients, par exemple les mises à
jour d'inventaire, de statut de paquets, les uploads de paquets...
L'autre service est en mode greenlet pour permettre l'envoi d'actions
aux clients.
Cela a pour conséquence de créer plus de process donc plus de
consommation mémoire et plus de connections base de données, mais doit
meux exploiter les capacités du serveur.
(Ce mode n'est pas documenté cependant..., on peut voir un exmple de
conf dans
https://github.com/tranquilit/WAPT/blob/branch-1.8.1/waptserver/scripts/wapt-with-uwsgi.nginxconfig
et le service
https://github.com/tranquilit/WAPT/blob/branch-1.8.1/waptserver/scripts/waptserver-uwsgi.service
, uwsgi :
https://github.com/tranquilit/WAPT/blob/branch-1.8.1/waptserver/scripts/waptserver.ini.j2
)
Le 05/03/2020 à 16:01, MORILLO Jordi a écrit :
> Bonjour Denis,
>
> J'avais entendu Hubert rêver d'une réécriture de certains bout de code en utilisant mORMot. Ce projet est-il toujours dans la DreamList ? :-)
> Merci pour tous ces infos, j'en apprend tous les jours :-)
> Jordi
>
> -----Message d'origine-----
> De : Denis Cardon <dcardon at tranquil.it>
> Envoyé : jeudi 5 mars 2020 15:52
> À : MORILLO Jordi <j.morillo at educationetformation.fr>; wapt at lists.tranquil.it
> Objet : Re: [Wapt] wapt 1.8 console qui freeze lors de sélections multiples de pc dans la console
>
> Bonjour Jordi,
>
>> Nginx gère très bien le multithreading, par conséquent, si vous avez
>> les ressources nécessaire sur votre hyperviseur, pouvez-vous monter
>> cette VM à 4 cœurs ?
> en effet pour le téléchargement de paquet Nginx et Postgre utilise d'une manière optimale le multiprocess. Pour ce qui est de la partie Python la gestion actuelle reste malheureusement mono-process et donc mono-coeur.
> On est entrain de voir pour ré-intégrer uWSGI [1] comme c'était le cas dans Wapt 1.3 pour mieux exploiter le multi-coeur au niveau du Python (uWSGI avait été enlevé dans Wapt 1.5 à cause de soucis avec les websockets).
>
> à bientôt,
>
> Denis
>
> [1] https://uwsgi-docs.readthedocs.io/en/latest/
>
>
>>
>>
>>
>>
>> *De :*WAPT <wapt-bounces at lists.tranquil.it> *De la part de* Pierre
>> Cosson *Envoyé :* jeudi 5 mars 2020 15:06 *À :* wapt at lists.tranquil.it
>> *Objet :* Re: [Wapt] wapt 1.8 console qui freeze lors de sélections
>> multiples de pc dans la console
>>
>>
>>
>> Bonjour
>>
>> Pour être plus précis sur le symptôme, si je lance une action sur 150
>> postes , je retrouve la main au bout de 2 sec mais par contre
>> impossible de faire autre chose sinon ma console time out.
>>
>> Je viens de tester avec Gaëtan quand je fais une requête sur 70 postes
>> ma console et la sienne sont freezées pendant 15 sec et notre CPU est
>> a 70% sur la VM qui a 1 CPU 2 cœurs dans notre hyperviseur. Le seul
>> vrai plantage apparait quand on lance sur 1000 postes avec le CPU au
>> max
>>
>> Autant attendre un peu ne me dérange autant pour une utilisation
>> mutualisée c'est un peu plus problématique si j'handicape mes collègues.
>>
>> cdlt
>>
>> On 05/03/2020 10:10, MORILLO Jordi wrote:
>>
>> Test de la matinée :
>>
>> Moins de 3sec pour lancer un upgrade sur 50 postes ou bien un update
>> sur 150 machines.
>>
>> Pour moi, aucun soucis de performance ou de freeze.
>>
>> Config de la VM serveur : 4 vCPU Xeon Silver 4110 at 2.10GHz
>> <mailto:4110 at 2.10GHz> / 2Go de Ram / 1Go de swap / disque sur baie
>> SAN
>>
>> Config du poste hébergeant la console : W10 1909 + Intel i7 4eme
>> génération
>>
>>
>>
>> Et pour tout vous dire, je n’avais même pas passé les optimisations
>> wapt-large.
>>
>>
>>
>>
>>
>> *De :*WAPT <wapt-bounces at lists.tranquil.it>
>> <mailto:wapt-bounces at lists.tranquil.it> *De la part de* MORILLO Jordi
>> *Envoyé :* mercredi 4 mars 2020 21:20
>> *À :* wapt at lists.tranquil.it <mailto:wapt at lists.tranquil.it>
>> *Objet :* Re: [Wapt] wapt 1.8 console qui freeze lors de sélections
>> multiples de pc dans la console
>>
>>
>>
>> Je viens de prendre connaissance de ce poste et demain je peux
>> compléter ces test.
>>
>> J'ai un parc de 850 postes dont environ 350 de connectés en simultané.
>>
>> Je ferai un petit benchmark demain et vous indiquerai le sizing de
>> la VM
>>
>> Bonne soirée
>>
>>
>>
>> Le 4 mars 2020 19:00, Gaëtan SEGAT <gaetan.segat at inserm.fr
>> <mailto:gaetan.segat at inserm.fr>> a écrit :
>>
>> On n'es pas à l’abri que j'ai mal mis en place un des paramètres.
>>
>> Bonne soirée,
>>
>> Gaëtan
>>
>> Le 04/03/2020 à 18:04, Pierre Cosson a écrit :
>>
>>
>>
>> *---> AVERTISSEMENT - WARNING*
>>
>> * *
>>
>> Cette bannière a été ajoutée par l'anti-spam de la
>> messagerie de l'Inserm. Le courrier suivant est soupçonné
>> d'être un phishing.
>>
>> Si vous n'avez pas sollicité ce message, *ne fournissez pas
>> votre nom d'utilisateur et mot de passe, y compris sur une
>> page Web.*
>>
>> En cas de doute ou de faux positif, contactez votre équipe
>> informatique régionale ou nous-même : messagerie at inserm.fr
>> <mailto:messagerie at inserm.fr>
>>
>>
>>
>> This banner has been added by the INSERM's anti-spam system.
>> The following mail is a suspected phishing message.
>>
>> If you have not requested it, *do not provide your username
>> and password, including on a Web page.*
>>
>> In case of doubt or false positive, ask your local IT team
>> or contact us : messagerie at inserm.fr
>> <mailto:messagerie at inserm.fr>
>>
>>
>>
>> Merci pour votre vigilance - Thank you for your vigilance.
>>
>>
>>
>> Voici à la suite, le message suspect - The suspected mail follows :
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>> Je viens de tester sur 53 machines de lancer un "lancer les
>> installations en attente pour les applications non lancées"
>> et j'ai eu un freeze de 15 secondes de ma console.
>>
>> Je testerais demain avec plus de pc connectés. Et je
>> testerais avec Gaetan pour voir si ca l'impacte quand je
>> lance ce genre de commande ou si c'est juste ma console qui
>> ramme derrière.
>>
>> Bonne soirée.
>>
>> cdlt
>>
>>
>>
>> On 04/03/2020 17:55, Hubert TOUVET wrote:
>>
>> C'est bizarre... en testant, on a eu quelque fois des
>> timeout coté console quand on lance les actions sur plus
>> de 500 postes à la fois (vraisemblablement parce que le
>> serveur en retour récupère et stocke les inventaires, et
>> est donc un peu occupé)
>> Mais pas avec 50 postes... ceci dit, tout dépend de ce
>> que l'on appelle poussif. Envoyer un update sur les 50
>> postes ne doit pas prendre globalement plus de 2 secondes.
>>
>>
>> Le 04/03/2020 à 17:29, Pierre Cosson a écrit :
>>
>> Je confirme c'est mieux mais la console reste
>> poussive quand on lance une commande sur 50 postes,
>> je vous rassure le nouveau workflow en multi
>> selection même en faisant ramer la console a de la
>> valeur ajoutée qui nous simplifie la gestion.
>>
>>
>>
>> On 04/03/2020 17:00, Gaëtan SEGAT wrote:
>>
>> Bonjour,
>>
>> merci pour les infos. Je l'ai mis en place c'est
>> bien mieux.
>>
>> Avec le multi dépôt cela allège aussi ?
>>
>> Merci,
>>
>> Gaëtan
>>
>> Le 04/03/2020 à 14:30, Pierre Cosson a écrit :
>>
>> Super merci
>>
>> J'ai transmit a Gaétan qui gère notre
>> serveur(il aura probablement vu le mail).
>>
>> Il faut demander a Simon d’arrêter de coder
>> sur son canapé vous avez pas le temps de
>> documenter et communiquer :)
>>
>> cdlt
>>
>>
>>
>> On 04/03/2020 12:13, Denis Cardon wrote:
>>
>> Bonjour Pierre,
>>
>> comme Vincent le disait on travaille sur
>> le sujet en ce moment. En plus des
>> modifs sur la console il y a aussi des
>> paramètres système qu'il est intéressant
>> de modifier au niveau
>> nginx/postgres/linux. Tu peux jeter un
>> coup d'oeil à la page
>>
>> https://www.wapt.fr/fr/doc/wapt-configuration/wapt-large/index.html
>>
>>
>> Ces paramètres devrait être modifiés
>> automatiquement par le postconf dans les
>> futures versions.
>>
>> à bientôt,
>>
>> Denis
>>
>> Le 03/04/2020 à 12:06 PM, Pierre Cosson
>> a écrit :
>>
>> 1.8.1
>>
>> Pour info votre changement m'a bien
>> perturbé au début ou je ne
>> comprenais pas pourquoi j'avais
>> plusieurs fois les paquets qui
>> apparaissaient dans l'onglet général
>> avant de comprendre ce que vous
>> aviez changé :p
>>
>>
>> On 04/03/2020 12:03, Vincent Cardon
>> wrote:
>>
>> Bonjour Pierre,
>>
>> Vous êtes en 1.8.0 ou 1.8.1 ?
>>
>> On a connaissance de ce
>> problème, il y a une solution de
>> mitigation en
>> 1.8.1 qui rend la console un peu
>> plus réactive pour de grands parcs.
>>
>> Ton mail tombe à pic car Denis,
>> Simon et Evan discutaient ce matin
>> précisément la stratégie à
>> suivre pour solutionner ce sujet
>> de manière
>> définitive et vous permettre de
>> penser à ce désagrément au passé.
>>
>> Affaire à suivre de près.
>>
>> Vincent
>>
>> Le 04/03/2020 à 11:47, Pierre
>> Cosson a écrit :
>>
>> Bonjour
>>
>> Depuis le 1.8 j'ai remarqué
>> que vous avez amélioré la
>> sélection
>> multiples de machines dans
>> la console, par contre j'ai
>> remarqué que
>> la console freeze beaucoup
>> et ca me force à faire des
>> sélections plus
>> petites de mon nombre de
>> machines quand je veux
>> lancer des actions
>> simultanées. Rien de
>> dramatique mais ça force a
>> ajuster le workflow
>> pour ne pas faire ramer ou
>> planter et je ne me rend pas
>> compte si
>> j'impacte mes collègues
>> quand ça rame de mon coté
>> sur notre serveur
>> mutualisé.
>>
>> cdlt
>>
>> --
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON
>> /Prestataire informatique /
>> *
>> Centre de Recherches en
>> Cancérologie de Toulouse (CRCT
>> <http://www.crct-inserm.fr>
>> <http://www.crct-inserm.fr>)
>> Inserm/Université Paul
>> Sabatier/CNRS UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>>
>> <mailto:informatique.langlade at inserm.fr>
>>
>> <mailto:informatique.langlade at inserm.fr>
>> <mailto:informatique.langlade at inserm.fr>
>> INSERM LOGO
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>> WAPT at lists.tranquil.it
>> <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>>
>>
>>
>> --
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON
>> /Prestataire informatique /
>> *
>> Centre de Recherches en Cancérologie
>> de Toulouse (CRCT
>> <http://www.crct-inserm.fr>
>> <http://www.crct-inserm.fr>)
>> Inserm/Université Paul Sabatier/CNRS
>> UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>>
>> <mailto:informatique.langlade at inserm.fr>
>>
>> <mailto:informatique.langlade at inserm.fr>
>> <mailto:informatique.langlade at inserm.fr>
>> INSERM LOGO
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>> WAPT at lists.tranquil.it
>> <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>>
>>
>> --
>>
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON **
>> /Prestataire informatique /
>> *
>> Centre de Recherches en Cancérologie de
>> Toulouse (CRCT <http://www.crct-inserm.fr>)
>> Inserm/Université Paul Sabatier/CNRS UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>> <mailto:informatique.langlade at inserm.fr>
>>
>>
>>
>> INSERM LOGO
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it
>> <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it
>> <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>> --
>>
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON **
>> /Prestataire informatique /
>> *
>> Centre de Recherches en Cancérologie de Toulouse
>> (CRCT <http://www.crct-inserm.fr>)
>> Inserm/Université Paul Sabatier/CNRS UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>> <mailto:informatique.langlade at inserm.fr>
>>
>>
>>
>> INSERM LOGO
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it
>> <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>> --
>>
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON **
>> /Prestataire informatique /
>> *
>> Centre de Recherches en Cancérologie de Toulouse (CRCT
>> <http://www.crct-inserm.fr>)
>> Inserm/Université Paul Sabatier/CNRS UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>> <mailto:informatique.langlade at inserm.fr>
>>
>>
>>
>> INSERM LOGO
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>>
>>
>>
>>
>> _______________________________________________
>>
>> WAPT mailing list
>>
>> WAPT at lists.tranquil.it <mailto:WAPT at lists.tranquil.it>
>>
>> http://lists.tranquil.it/listinfo/wapt
>>
>> --
>>
>>
>> ----------------------------------------------------------------------
>> --
>>
>> *Pierre COSSON **
>> /Prestataire informatique /
>> *
>> Centre de Recherches en Cancérologie de Toulouse (CRCT
>> <http://www.crct-inserm.fr>)
>> Inserm/Université Paul Sabatier/CNRS UMR1037
>> 2 Avenue Hubert Curien
>> CS 5317
>> 31037 Toulouse
>> Bureau : 05.82.74.16.90
>>
>> informatique.langlade at inserm.fr
>> <mailto:informatique.langlade at inserm.fr>
>>
>>
>>
>> INSERM LOGO
>>
>> ----------------------------------------------------------------------
>> --
>>
>>
>>
>>
>>
>> _______________________________________________
>> WAPT mailing list
>> WAPT at lists.tranquil.it
>> http://lists.tranquil.it/listinfo/wapt
>>
> --
> Denis Cardon
> Tranquil IT
> 12 avenue Jules Verne (Bat. A)
> 44230 Saint Sébastien sur Loire (FRANCE) tel : +33 (0) 240 975 755 http://www.tranquil.it
>
> Tranquil IT recrute! https://www.tranquil.it/nous-rejoindre/
> Samba install wiki for Frenchies : https://dev.tranquil.it WAPT, software deployment made easy : https://wapt.fr
> _______________________________________________
> WAPT mailing list
> WAPT at lists.tranquil.it
> http://lists.tranquil.it/listinfo/wapt
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 228 bytes
Desc: OpenPGP digital signature
URL: <http://lists.tranquil.it/pipermail/wapt/attachments/20200305/9288c606/attachment.sig>
More information about the WAPT
mailing list