Supprimer les doublons d'un fichier texte ?

Résolu
Signaler
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008
-
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008
-
Bonjour,

Je vient de coder un petit programme en C++, qui me permet de supprimer les doublons de mon fichier texte (qui contient près de 200000 lignes). Le problème c'est que c'est vraiment très très lent. Je crois me souvenir qu'il existe une commande Linux qui permet de faire ça tout seul, un truc du genre "sort -u in.txt > out.txt" !
Bon, tout ça c'est bien sympa, mais je bosse sous Windows. Je me demande donc si il n'existe pas un equivalent windows ?

Cordialement

K. Pierre

12 réponses

Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
Code ici:
TXT SUPPRIMER LIGNES DOUBLONS (WIN32)
http://www.cppfrance.com/code.aspx?id=48570

ciao...
BruNews, MVP VC++
Messages postés
1115
Date d'inscription
mercredi 15 juin 2011
Statut
Membre
Dernière intervention
6 mai 2021
4
Salut,

Tu fais erreur, la commande "sort" existe sous Windows.
Je viens de faire un text avec un fichier qui contient les noms des pays, ça à l'air de marcher :
sort pays.txt > pays2.txt

Ouvre une fenêtre DOS et tape : help sort.
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008

Effectivement, cette commande existe bel et bien sous DOS, mais elle ne semble pas remplir la meme fonction que sous Linux. La seul chose que j'ai reussie a faire avec cette commande là, c'est reorganiser mon fichier par ordre alphabetique. De plus, l'aide n'indique rien concernant les doublons ... :(
Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
Par "doublon", tu entends ligne complète ?

ciao...
BruNews, MVP VC++
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008

Oui, j'entend ligne compléte. Voila a quoi ressemble mon fichier :

C:\Program Files\toto\a.exe
C:\Program Files\tata\b.exe
C:\Documents and Settings\tutu\moi.jpg
C:\Program Files\toto\a.exe
C:\test.mp3
...

Donc de temps en temps, j'ai 2 chemins qui sont identiques. Comme ici avec "C:\Program Files\toto\a.exe" qui apparait 2 fois. Je souhaiterais donc supprimer ce doublon, pour ne voir apparaire cette ligne qu'une fois. J'ai bien un petit programme en C++ qui me fait, mais ca prend des heures (des vrais heures, celle de 60 minutes hein !  ) ... !

Cordialement

K. Pierre
 
Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
OK, j'ai un creux dans l'emploi du temps.
Vois si tu peux zipper un fichier exemple (super BIG, genre 200 000 lignes) et le mettre sur un FTP pour que je puisse tester les perfs en situation réelle.
PS: Pas envie de me burner avec la casse, sera case sensitive.

ciao...
BruNews, MVP VC++
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008

Bah en fait, un simple "dir /b /s >  tonfichier.txt" dans la console DOS suffit. Je fait comme ca pour tester. Tu prends 10 ou 20 lignes au pif dans le fichier de sortie, tu copies / colles ici et la dans le fichier, tu obtiens a peu de chose prés mon cas de figure. Actuellement ma procedure en C++ est la suivante :

- Lecture d'une ligne de mon fichier liste
   - Je regarde si la ligne lue est presente dans mon fichier de sortie (celui où chaque ligne sera unique)
      - Si elle n'est pas presente, je l'ecris dans ce fichier de sortie et je passe la la ligne suivante de ma liste
      - Si elle est presente, je n'ecris rien et je passe a la ligne suivante de ma liste

Je ne pourrais poster mes sources que demain, le tout est au boulot ;)

Cordialement

K. Pierre
Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
Laisse tomber tes sources, en heures pas utile...
Je vais tester sur petit et je te dirai quand sera dispo, tu testeras en situation réelle.

ciao...
BruNews, MVP VC++
Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
http://brunews.com/LignDbl.zip



exe de 2.5 Ko dans le zip.
J'ai juste testé sur petit fichier, tu nous diras si va bon je donnerai le code.

ATTENTION: il faut mettre le fichier à traiter dans dossier du exe et le nommer a.txt, si tout ok on mettra le nom de fichier en param de la fonction (ou de l'exe).

ciao...
BruNews, MVP VC++
Messages postés
21041
Date d'inscription
jeudi 23 janvier 2003
Statut
Modérateur
Dernière intervention
21 août 2019
30
OUPS,
oublié de préciser que le fichier est refait sur place, pas de fichier 2 de fait.

ciao...
BruNews, MVP VC++
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008

Bonjour et merci du temps que tu as consacré a mon post.
Âpres quelques tests, il semblerais que tout fonctionne, et ceci a vitesse grand V. Pour un fichier de 200 000 lignes, le traitement est effectué en moins d'une minute)
Je suis assez surpris par la rapidité de ton programme, j'ai hâte de mettre le nez dans le source.

Merci encore pour ton aide précieuse, j'attends ton code :)

Cordialement.
K. Pierre
Messages postés
30
Date d'inscription
lundi 24 février 2003
Statut
Membre
Dernière intervention
29 décembre 2008

Merci encore, c'est parfait ;)