Rapatriement d'un CSV assez volumineux

rickless Messages postés 16 Date d'inscription mercredi 5 janvier 2005 Statut Membre Dernière intervention 22 décembre 2005 - 6 oct. 2005 à 16:15
padsou Messages postés 121 Date d'inscription jeudi 24 janvier 2002 Statut Membre Dernière intervention 13 avril 2010 - 7 oct. 2005 à 09:03
Mesdames, Messieurs, bien le bonjour.

Jusqu'à présent je n'ais pas eu beaucoup de problème avec la gestion des fichiers textes. En effet je découpais mes zones que je mettais dans un stringrid et j'en faisais ce que je voulais.

Hors, je me retrouve à importer journalièrement un fichier CSV avec délimiteur ';' d'environ 90000 lignes (quatre vingt dix mille eh oui) à mettre dans une base pour traitement.

Ce qui rend ma méthode complètement obsolète.

Mon chef qui ne jure que par DBase, me fait cette manip en une seule ligne : append from c:\fichier.csv delimited with ";"

Et hop 10 secondes après le 90000 lignes sont dans la table !

J'ai essayé par readln, par stringgrid, par plusieurs méthode sans arriver à la rapidité et la simplicité d'un DBase outrecuidant !

Je souhaite une aide de la communauté afin de réduire au silence le méprisable DBase travaillant en 3 bit et demi au lieu du superbe et flamboyant Delphi en 32 et magnifique bits !

Vous aurez compris que sous la plaisanterie se cache l'importation simplifiée d'un fichier CSV avec délimiteur point-virgule d'une taille qui peut atteindre 1 millon de lignes !

Merci beaucoup par avance.

Rickless

2 réponses

rickless Messages postés 16 Date d'inscription mercredi 5 janvier 2005 Statut Membre Dernière intervention 22 décembre 2005
6 oct. 2005 à 16:35
Encore moi, j'ai oublier de signaler que lez zones du fichier ne sont pas tous de la même taille.

Exemple de 2 lignes :

...........;...............;.....;.............;.....
...;........;..........................;...;...........

Si cela peut-être utile

Rickless
0
padsou Messages postés 121 Date d'inscription jeudi 24 janvier 2002 Statut Membre Dernière intervention 13 avril 2010
7 oct. 2005 à 09:03
personnellement, pour avoir moi aussi travaillé avec des gros fichiers CSV de 9000000 de lignes, oui oui, neuf millions... enfin bon c'était une fois par mois donc je n'étais pas obsédé par le temps de traitement... toutefois j'ai essayé d'optimiser le processus mais jamais, ô grand jamais, je n'ai approché la rapidité d'un LoadFromFile de MySql (oui c'était mysql) qui ne durait qu'une petite minute alors qu'avec mon soft Delphi, par les jours de grand vent je pouvais espérer au mieux faire ce process en 30 minutes....
0
Rejoignez-nous