Concatenation de fichier, compression et autre idee

Question

Bonjour à tous

J'ai un petit probleme sur un programme, c'est plus un probleme fondamental que purement de programmation:

Mon programme doit gerer enormement de données qui sont separées en une quantité impressionnante de fichier XML. Ces fichiers sont regroupés par essais : pour un essais je peux avoir 50 fichiers et pour un autre 3500. ce que je voudrais faire c'est regrouper tous les fichiers d'un meme essai dans un seul fichier. mon programme n'aurait ensuite qu'a traiter le fichier unique en deballant les autres fichiers.

En fait a y regarder un peu plus pres ca ressemble un peu à l'encapsulage du format ODF (open document le truc de la suite openoffice) qui consiste en des fichiers XML regroupés dans un container *.odf

J'ai regardé plusieurs solutions pour ca : la compression et decompression par librairies, concatenation de fichier ... mais rien ne me satisfait car je ne trouve pas un moyen simple avec une documentation simple de le faire en VB.NET (je ne suis clairement pas un expert en programmation surtout quand il faut faire des wrappers pour utiliser des dll ecrites en C ou autre)

si quelqu'un a une idée a me soumettre, des exemples avec une librairie facile a utiliser en vb.net ca serait ... genial

je ne suis pas trop pour utiliser un soft externe en ligne de commande pour faire ce boulot j'aimerais que ca soit integré.

Merci

Renfield · Answer

a quoi ressemblent ces fichiers ?

alligo · Answer

C'est des fichiers xml qui contiennent des données numeriques, donc c'est vrai que la compression serait egalement une bonne idée pour eviter d'avoir des fichiers de 192 meg (c'est la taille supposée maximale pour un essai)

Les fichiers XML respectent tous les standard qui existent.

tu as une idée ?

Renfield · Answer

tu pourais pas me filer un exemple de la structure (vires les données, si tu veux)

et de ce que tu souhaites faire.

je me dit que si tu dois fusionner des fichiers Xml, y'a du tout pret dans le framework pour le faire

alligo · Answer

Le probleme c'est que je suis encore dans la phase de conception de la structure XML. j'en suis au debut de ce projet et je liste tous les problemes que je pourrais rencontrer. Basiquement c'est des fichiers qui servent a contenir des données fournies par un spectrophotometre donc je vais avoir dans chaque fichier : valeur de la longueur d'onde valeur d'absorbance et ces données sont a multiplier par 630 pour chaque longueurs d'onde avec les header XML qui vont avec. des fichiers XSL aussi pour les verifications. donc en fait tous les fichiers vont se ressembler enormement. Est ce que c'est de ca dont tu avais besoin ?

cs_EBArtSoft · Answer

On peux oussi tout virer et faire de la bouilli de donnée le probleme va etre de revenir dessus et traiter les données archivé !!

Donc la vrai question est comment seront lu les données stockées ?
Par qui, par quoi, sous quelle forme... (est ce qu'un seul gros fichier xml pourra etre lu et compris ?)

E.B.

alligo · Answer

c'est bien ca mon probleme... comme j'en suis dans la phase de conception je me demande.

j'avais pensé a la base de donnee mais limité a 4Go (access et sql express) je ne sais pas si c'est raisonnable vu le grand nombre de donnees (20000000 de float pour un essai)

quand a la lecture des données je pensais qu'une fois archivées on les desarchive quand on en a besoin puisque elles ne vont pas etre lues en continu. un des avantages de ce systeme serait aussi le traitement des données sur une autre machine avec un programme legerement modifié

si il est bien structuré je pense qu'il n'y aura pas trop de probleme a lire un gros fichier. mais au niveau du temp de traitement je vais en prendre un coup est ce qu'il est plus rapide de traiter un fichier de 200 Mo en sachant qu'a chaque access je n'aurais besoin que d'une petite partie de l'information (3-4 Mo) ou bien traiter 60 fichiers de 4 Mo

qu'en penses tu ?

Concatenation de fichier, compression et autre idee

6 réponses

Votre réponse

Discussions similaires