Demande d'idées pour traiter un flux important de donnéesRésolu

Question

Bonjour tout le monde,
  
je suis à la recherche d'idées pour traiter un flux important de
données, provenant de serveurs. Je m'explique. Je suis en stage, et il
y a différents programmes écrits en PERL (que je devrais optimiser par
la suite), qui récupèrent des informations provenant de différents
serveurs et les envoient à un collecteur. Le problème se situe au
niveau de ce collecteur. A l'heure actuel, le collecteur écrit les
informations dans une pile de type FIFO, donc les premières qui
rentrent seront les premières à être traiter en sortie.


Le problème est qu'il y a saturation au niveau de cette pile. Je
cherche donc des idées pour améliorer le fonctionnement de cette pile.
J'avais penser écrire les informations à traiter dans une base MySQL,
ce qui m'aurait permis de traiter les infos identiques en les
regroupant.


Si vous avez des idées ou des pistes, n'hésitez pas.


Merci d'avance.

malalam · Accepted Answer

Hello,

il faudrait plus d'infos. Sous quelle forme se présente cette pile, quels sont les traitements, quand et comment ? Comment sature-t-elle ? etc

cs_johnkro · Answer

Je n'ai pas encore toutes les informations concernant cette pile.
 
Pour l'instant, je travaille sur l'amont, donc sur les serveurs (récupération des infos et envoi). Il y a déjà pas mal de boulot à ce niveau. Mais la plus grosse partie des objectifs se situera au niveau du traitement de la pile, qu'il faudrait remplacer par un système plus performant.

Donc ce que je sais c'est qu'il y a saturation de l'espace disque au niveau de cette pile, mais uniquement périodiquement, mais c'est déjà de trop. En fait, l'appli fonctionne persque toujours très correctement, mais par moment le volume de données entrant et bien trop supérieur à la vitesse de traitement en sortie...

Euh voilà pour l'instant, j'en sais pas vraiment plus, les infos vont venir au fur et à mesure, car là il y a déjà pas mal de chose (notamment de codes) à digérer. Mais je cherche plus des idées que des solutions aux problèmes...

Merci

Demande d'idées pour traiter un flux important de données

2 réponses

Votre réponse

Discussions similaires