Demande d'idées pour traiter un flux important de données

Résolu
cs_johnkro
Messages postés
2
Date d'inscription
lundi 14 mai 2007
Statut
Membre
Dernière intervention
14 mars 2008
- 13 mars 2008 à 17:15
cs_johnkro
Messages postés
2
Date d'inscription
lundi 14 mai 2007
Statut
Membre
Dernière intervention
14 mars 2008
- 14 mars 2008 à 14:11
Bonjour tout le monde,
 
je suis à la recherche d'idées pour traiter un flux important de
données, provenant de serveurs. Je m'explique. Je suis en stage, et il
y a différents programmes écrits en PERL (que je devrais optimiser par
la suite), qui récupèrent des informations provenant de différents
serveurs et les envoient à un collecteur. Le problème se situe au
niveau de ce collecteur. A l'heure actuel, le collecteur écrit les
informations dans une pile de type FIFO, donc les premières qui
rentrent seront les premières à être traiter en sortie.


Le problème est qu'il y a saturation au niveau de cette pile. Je
cherche donc des idées pour améliorer le fonctionnement de cette pile.
J'avais penser écrire les informations à traiter dans une base MySQL,
ce qui m'aurait permis de traiter les infos identiques en les
regroupant.


Si vous avez des idées ou des pistes, n'hésitez pas.


Merci d'avance.

2 réponses

malalam
Messages postés
10839
Date d'inscription
lundi 24 février 2003
Statut
Modérateur
Dernière intervention
2 mars 2010
25
14 mars 2008 à 07:48
Hello,

il faudrait plus d'infos. Sous quelle forme se présente cette pile, quels sont les traitements, quand et comment ? Comment sature-t-elle ? etc
3
cs_johnkro
Messages postés
2
Date d'inscription
lundi 14 mai 2007
Statut
Membre
Dernière intervention
14 mars 2008

14 mars 2008 à 14:11
Je n'ai pas encore toutes les informations concernant cette pile.
 
Pour l'instant, je travaille sur l'amont, donc sur les serveurs (récupération des infos et envoi). Il y a déjà pas mal de boulot à ce niveau. Mais la plus grosse partie des objectifs se situera au niveau du traitement de la pile, qu'il faudrait remplacer par un système plus performant.

Donc ce que je sais c'est qu'il y a saturation de l'espace disque au niveau de cette pile, mais uniquement périodiquement, mais c'est déjà de trop. En fait, l'appli fonctionne persque toujours très correctement, mais par moment le volume de données entrant et bien trop supérieur à la vitesse de traitement en sortie...

Euh voilà pour l'instant, j'en sais pas vraiment plus, les infos vont venir au fur et à mesure, car là il y a déjà pas mal de chose (notamment de codes) à digérer. Mais je cherche plus des idées que des solutions aux problèmes...

Merci
3