Supprimer les doublons d'un fichier texte ?Résolu

Question

Bonjour,

Je vient de coder un petit programme en C++, qui me permet de supprimer les doublons de mon fichier texte (qui contient près de 200000 lignes). Le problème c'est que c'est vraiment très très lent. Je crois me souvenir qu'il existe une commande Linux qui permet de faire ça tout seul, un truc du genre "sort -u in.txt > out.txt" !
Bon, tout ça c'est bien sympa, mais je bosse sous Windows. Je me demande donc si il n'existe pas un equivalent windows ? 

Cordialement

K. Pierre

BruNews · Accepted Answer

Code ici:
TXT SUPPRIMER LIGNES DOUBLONS (WIN32)
http://www.cppfrance.com/code.aspx?id=48570

ciao...
BruNews, MVP VC++

fregolo52 · Answer

Salut,

Tu fais erreur, la commande "sort" existe sous Windows.
Je viens de faire un text avec un fichier qui contient les noms des pays, ça à l'air de marcher :
sort pays.txt > pays2.txt

Ouvre une fenêtre DOS et tape : help sort.

chtitpierre78 · Answer

Effectivement, cette commande existe bel et bien sous DOS, mais elle ne semble pas remplir la meme fonction que sous Linux. La seul chose que j'ai reussie a faire avec cette commande là, c'est reorganiser mon fichier par ordre alphabetique. De plus, l'aide n'indique rien concernant les doublons ... :(

BruNews · Answer

Par "doublon", tu entends ligne complète ?

ciao...
BruNews, MVP VC++

chtitpierre78 · Answer

Oui, j'entend ligne compléte. Voila a quoi ressemble mon fichier : 

C:\Program Files	oto\a.exe
C:\Program Files	ata\b.exe
C:\Documents and Settings	utu\moi.jpg
C:\Program Files	oto\a.exe
C:	est.mp3
...

Donc de temps en temps, j'ai 2 chemins qui sont identiques. Comme ici avec "C:\Program Files	oto\a.exe" qui apparait 2 fois. Je souhaiterais donc supprimer ce doublon, pour ne voir apparaire cette ligne qu'une fois. J'ai bien un petit programme en C++ qui me fait, mais ca prend des heures (des vrais heures, celle de 60 minutes hein !  ) ... !

Cordialement

K. Pierre

BruNews · Answer

OK, j'ai un creux dans l'emploi du temps.
Vois si tu peux zipper un fichier exemple (super BIG, genre 200 000 lignes) et le mettre sur un FTP pour que je puisse tester les perfs en situation réelle.
PS: Pas envie de me burner avec la casse, sera case sensitive.

ciao...
BruNews, MVP VC++

chtitpierre78 · Answer

Bah en fait, un simple "dir /b /s >  tonfichier.txt" dans la console DOS suffit. Je fait comme ca pour tester. Tu prends 10 ou 20 lignes au pif dans le fichier de sortie, tu copies / colles ici et la dans le fichier, tu obtiens a peu de chose prés mon cas de figure. Actuellement ma procedure en C++ est la suivante : 

- Lecture d'une ligne de mon fichier liste
   - Je regarde si la ligne lue est presente dans mon fichier de sortie (celui où chaque ligne sera unique)
      - Si elle n'est pas presente, je l'ecris dans ce fichier de sortie et je passe la la ligne suivante de ma liste
      - Si elle est presente, je n'ecris rien et je passe a la ligne suivante de ma liste

Je ne pourrais poster mes sources que demain, le tout est au boulot ;)

Cordialement

K. Pierre

BruNews · Answer

Laisse tomber tes sources, en heures pas utile...
Je vais tester sur petit et je te dirai quand sera dispo, tu testeras en situation réelle.

ciao...
BruNews, MVP VC++

BruNews · Answer

http://brunews.com/LignDbl.zip



exe de 2.5 Ko dans le zip.
J'ai juste testé sur petit fichier, tu nous diras si va bon je donnerai le code.

ATTENTION: il faut mettre le fichier à traiter dans dossier du exe et le nommer a.txt, si tout ok on mettra le nom de fichier en param de la fonction (ou de l'exe).

ciao...
BruNews, MVP VC++

BruNews · Answer

OUPS,
oublié de préciser que le fichier est refait sur place, pas de fichier 2 de fait.

ciao...
BruNews, MVP VC++

chtitpierre78 · Answer

Bonjour et merci du temps que tu as consacré a mon post.
Âpres quelques tests, il semblerais que tout fonctionne, et ceci a vitesse grand V. Pour un fichier de 200 000 lignes, le traitement est effectué en moins d'une minute) 
Je suis assez surpris par la rapidité de ton programme, j'ai hâte de mettre le nez dans le source. 

Merci encore pour ton aide précieuse, j'attends ton code :)

Cordialement.
K. Pierre

chtitpierre78 · Answer

Merci encore, c'est parfait ;)

Supprimer les doublons d'un fichier texte ?

12 réponses

Votre réponse

Discussions similaires