suppression de chaines entre guillemet dans un fichier texteRésolu

Question

Salut &#224; tous,

je suis en train de faire une routine pour traiter les fichiers PGN (parties d'&#233;checs).

Le but serait de supprimer les commentaires des parties pour qu'elles soient plus lisibles.
Les commentaires sont dans le fichier pgn (fichier texte) entre des guillemets, exemple :

1.e4 {(e2e4) +0.02/99} c5 2.Nc3 {(Cb1c3) +0.02/99} Nc6 3.g3 {(g2g3) +0.02/99}
Nf6 {(Cg8f6 Cg1f3 d7d5 e4xd5 Cf6xd5 Ff1c4 e7e6 00 Ff8e7 d2d3) 0.00/10 1} 4.Bc4
{(Ff1c4 e7e6 Cg1f3 d7d5 e4xd5 e6xd5 Dd1e2+ Fc8e6) -0.14/7 4} e6 {(e7e6 d2d3 d7d5 Fc4b5
Fc8d7 Cg1f3 d5d4 Fb5xc6 Fd7xc6 Cc3e2) +0.25/10 2} 5.Bb5 etc...

devient :

1.e4 c5 2.Nc3 Nc6 3.g3 Nf6 4.Bc4 e6 5.Bb5 etc...

&#231;a tient moins de place

Voil&#224;, si quelqu'un a une piste....

@+

cs_philcam · Accepted Answer

Bon, finallement je me suis creusé la tête (j'avais la flemme aujourd'hui) J'ai donc réalisé le truc avec une RichTextBox (RT) Option Explicit Private Sub Form_Load() RT.LoadFile App.Path & " est.pgn" Dim I As Long Dim Deb As Long Dim Fin As Long While Deb <> -1 Deb = RT.Find("{", I) Fin = RT.Find("}", Deb) If Deb <> -1 Then RT.SelStart = Deb RT.SelLength = Fin - Deb + 2 RT.SelRTF = "" End If I = Deb + 1 Wend End Sub C'était pas si compliqué, mais fallait se concentrer, et c'est une méthode rapide par rapport à prendre tous les caractères un par un (la RTbox le fait à notre place) @++

cs_DARKSIDIOUS · Answer

Ben le plus simple, c'est de rechercher la position de chaque { auquel
il y a un } correspondant, et de supprimer le tout. Tu peux le faire en
utilisant les fonction InStr (recherche dans une cha&#238;ne), et Mid
(r&#233;cup&#232;ration d'une sous-cha&#238;ne &#224; partir d'une cha&#238;ne, de la position
de d&#233;part, et de la longueur &#224; r&#233;cup&#232;rer).

DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

ashboody · Answer

faire du parsage de texte en VB c'est pas forc&#233;ment le plus rapide, mais une technique serait de tester chaque caract&#232;re successivement et de positionner un flag &#224; 1 lorsque tu recontre une accolade { et de reseter se flag &#224; 0 lorsque tu rencontre une accolage } afin de reprendre l'enregistrement du texte,
si mon algo a 2&#8364; te conviens tant mieux

sur ce bonne continuation

cs_philcam · Answer

Oui, j'ai pens&#233; &#224; ce genre de m&#233;thode mais &#231;a va &#234;tre lourd &#224; mettre en place....


J'avais pens&#233; aussi &#224; ouvrir le fichier dans une richtextbox pour pouvoir mieux s&#233;lectionner automatiquement chaque partie entre les guillemets et les supprimer ensuite, par contre je ne connais pas les m&#233;thodes pour faire &#231;a, donc si quelqu'un connait bien les richtextbox et a une id&#233;e merci.

cs_DARKSIDIOUS · Answer

Ton code serait plus optimis&#233; si tu avais utilis&#233; les fonctions que je
t'ai donn&#233; ! Le code serait grosso-modo le m&#234;me, sauf qu'&#224; la place de
la fonction Find, il faut utiliser InStr, et au lieu de faire des
s&#233;lections comme tu le fait, il faudrait d&#233;couper la cha&#238;ne du d&#233;but &#224;
la position de d&#233;part, et de la position de fin &#224; la fin de la cha&#238;ne.



Avec ta m&#233;thode, il faut utiliser un RichTextBox (attention au
d&#233;ploiement de l'application et les incompatibilit&#233;s qui peuvent
appara&#238;trent, notamment avec Win98 !!!) ce qui prend d&#233;j&#224; bien plus de
ressources !

DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

cs_CanisLupus · Answer

Salut, pour appuyer DARKSIDIOUS, un tit bout de code, sans parcours de la chaine et qui ressemble au tien (sans rtb) :

Dim s As String
Dim deb As Long
Dim lng As Long
Dim nFic As Integer


nFic = FreeFile


Open App.Path & "	est.pgn" For Input As #nFic
s = Input(LOF(nFic), #nFic)
Close #nFic


Do While InStr(s, "{") > 0
  deb = InStr(s, "{")
  lng = InStr(s, "}") + 2 - deb
  s = Replace(s, Mid(s, deb, lng), "")
Loop


MsgBox s

Seule restriction, comme pour ton code, &#231;a ne g&#232;re pas les accolades imbriqu&#233;es. Je sais bien que, normalement, dans ce genre de notation &#231;a ne doit pas arriver mais sait-on jamais ?

PS : inter&#233;ressant cette variante de la Sicilienne ferm&#233;e.

-------------------------------------------------
Dresseur de puces, .... normal pour un loup  !?

cs_philcam · Answer

Salut, 

j'essaye ton code, qui est en en train de tourner en ce moment et qui n'a pas fini son calcul pendant que j'&#233;cris.

Heureusement que j'ai supprimer la msgbox car j'imagine pas la gueule qu'elle aurait eu pour afficher des milliers de lignes 
Et oui, car il y a 139 parties dans ce fichier et il p&#232;se 931Ko.

Avec la richtextbox il met environ 15secondes (P4, 3Ghz) pour supprimer les commentaires, je sais c'est &#233;norme mais pour l'instant c'est juste un programme pour moi, &#231;a va qd m&#234;me + vite qu'&#224; la main 

Sinon, merci pour votre aide, je vais creuser ces id&#233;es.

Merci et @+

Gobillot · Answer

&#231;a m'&#233;tonnerais !

c'est les "Replace" qui prennent du temps







    Dim s As String

    Dim c As String

    Dim i As Integer

    Dim j As Integer

    

    s = "1.e4 {(e2e4) +0.02/99} c5 2.Nc3 {(Cb1c3)
+0.02/99} Nc6 3.g3 {(g2g3) +0.02/99} Nf6 {(Cg8f6 Cg1f3 d7d5 e4xd5
Cf6xd5 Ff1c4 e7e6 00 Ff8e7 d2d3) 0.00/10 1} 4.Bc4 {(Ff1c4 e7e6 Cg1f3
d7d5 e4xd5 e6xd5 Dd1e2+ Fc8e6) -0.14/7 4} e6 {(e7e6 d2d3 d7d5 Fc4b5
Fc8d7 Cg1f3 d5d4 Fb5xc6 Fd7xc6 Cc3e2) +0.25/10 2} 5.Bb5"

    

    For i = 1 To Len(s)

        c = Mid$(s, i, 1)

        If c "{" Then j j + 1

        If j > 0 Then Mid$(s, i, 1) = Chr$(164)

        If c "}" Then j j - 1

        Next

    s = Replace(s, Chr$(164), "")

    MsgBox s


Daniel

cs_philcam · Answer

Je suis d&#233;sol&#233; mais le fichier que je prends pour faire mes tests fait pas loin d'1Mo
Donc forc&#233;ment &#231;a prend du temps
de plus y a tellement de caract&#232;res &#224; mettre dans "s" que 'integer' ne suffit pas, il me met "d&#233;passement de capacit&#233;"
j'ai mis en "long" au lieu d'"integer", &#231;a marche mais &#231;a met + de 15 secondes.

o&#249; alors je suis

Gobillot · Answer

s c'est la chaine, donc c'est pas limit&#233; en Longueur

i et j peuvent &#234;tre remplac&#233;s par des Long



avec boucle d'attente 3507 fois 299 caract&#232;res soit 1048593 j'ai un temps total de 1,047 secondes.

et encore sans &#234;tre compil&#233;.

Daniel

cs_DARKSIDIOUS · Answer

Et encore, tu fais des replace, si tu enl&#232;ve les replace (remplac&#233;s par des Mid), ca doit &#234;tre encore plus rapide !

DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

cs_DARKSIDIOUS · Answer

Alors apr&#232;s quelques petites recherches, voici le verdict : avec ta
proc&#233;dure, 7,5 s de temps de traitement avec un richtextbox non visible
en mde compil&#233; (donc traitement bien optimis&#233;) sur un fichier de 500 Ko.



Avec la proc&#233;dure que je donne dessous, 3 s (toujours en mode compil&#233;
sinon, c'est VB qui bride la rapidit&#233;, mais reste tout de m&#234;me plus
rapide que le RTB sous mode interpr&#234;t&#233;) en utilisant uniquement les
fonctions InStr et Mid. Bon ma proc&#233;dure n'est pas parfaite, il reste
encore quelques petites rectif &#224; faire s&#251;rement pour obtenir des
r&#233;sultats fiables (je sais pas si dans ton fichier il y a des saut de
lignes par exemple qui emp&#234;che mon script de bien fonctionner), mais la
rapidit&#233; y est, et le r&#233;sultat est bon sans saut de ligne.



Voici le code :



Dim sText As String

Dim sFinishText As String

Dim lPosition(3) As Long

Dim iFileNumber As Integer



    Let iFileNumber = FreeFile

    Open App.Path & "	est.pgn" For Input As #iFileNumber

        

        While Not EOF(iFileNumber)



            Line Input #iFileNumber, sText

            Let lPosition(0) = InStr(1, sText, "{")

            Let lPosition(1) = InStr(1, sText, "}")

            Let lPosition(2) = lPosition(0)

            Let lPosition(3) = lPosition(1)

            If
lPosition(0) > 0 Then Let sFinishText = sFinishText &
Left(sText, lPosition(0) - 1)



            While lPosition(0) > 0 And lPosition(1) > 0



               
Let lPosition(2) = InStr(lPosition(0) + 1, sText, "{")

               
Let lPosition(3) = InStr(lPosition(2) + 1, sText, "}")

               
If lPosition(2) > 0 And lPosition(3) > 0 Then Let sFinishText =
sFinishText & Mid(sText, lPosition(1) + 1, lPosition(2) -
lPosition(1) - 1)

                Let lPosition(0) = lPosition(2)

                Let lPosition(1) = lPosition(3)



            Wend



        Wend

        

    Close #iFileNumber

DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

Gobillot · Answer

j'ai qu'un seul Replace &#224; la fin

je vais d&#233;j&#224; plus vite en nom compil&#233;.

et comme a dit CannisLupus les cha&#238;nes imbriqu&#233;es sont trait&#233;es.

Daniel

cs_CanisLupus · Answer

C'est vrai que le replace est pas tr&#232;s performant dans ce cas.
Et comme &#231;a, avec parcours de la chaine ? :

For i = 1 To Len(s)
  temp = Mid(s, i, 1)
  Select Case temp
    Case "{"
      test = True
    Case "}"
      test = False
    Case Else
      If Not test Then s1 = s1 & temp
  End Select
Next

MsgBox s1

Il risque d'y avoir des espaces en trop et il faudra faire un :
s1 = replace(s1,"  "," ")

Dans ce cas, c'est le s1 = s1 & temp qui prendra le plus de temps. A tester, je n'ai pas de fichier png de 1 Mo sous la main.

-------------------------------------------------
Dresseur de puces, .... normal pour un loup  !?

cs_DARKSIDIOUS · Answer

Tu es plus rapide ? Remplacer autant de Chr(164) sur un fichier de 500
Ko est plus rapide que jouer avec la fonction mid ? Je demande &#224; voir
tout de m&#234;me... ;)



C'est pour cette raison que j'ai compar&#233; ton code avec le mien sur le
fichier de 500 Ko que j'ai reconstitu&#233; en collant plusieurs fois (pas
mal de fois quand m&#234;me) ta ligne exemple.



Verdict ?

En mode compil&#233;, richtextbox non visible : 7 s

En mode compil&#233;, ton code : 7,5 s

En mode compil&#233;, mon code : 2,5 s



Le replace sera toujours plus lent que plusieurs appel &#224; Mid car il
doit rechercher la cha&#238;ne plusieurs fois et la remplacer par une
nouvelle s&#251;rement !


DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

cs_CanisLupus · Answer

AIe, quand j'ai post&#233;, il n'y avait pas les posts de DARKSIDIOUS et de Daniel.

-------------------------------------------------
Dresseur de puces, .... normal pour un loup  !?

cs_DARKSIDIOUS · Answer

D&#233;sol&#233; canis lupus, mais tu m&#233;rite la palme de la lenteur ;)



Avec ton code, il faut 9.5 secondes pour obtenir le m&#234;me r&#233;sultat (mode
compil&#233; bien entendu), c'est donc le code le plus lent. Il ne faut pas
non plus appeler trop souvent la fonction Mid quand m&#234;me, faut pas
exag&#233;rer lol.


Bon allez, il faut que j'arr&#234;te l&#224;, car c'est bien beau tout c&#224;, mais mon boulot n'avance pas :(


DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

Gobillot · Answer

c'est ce que je fais appel &#224; Mid$

il est utilis&#233; en tant que changement de caract&#232;res donc sans changement de longueur de cha&#238;ne.

mais comme je ne peux pas tester, n'ayant pas de fichier png,

le temps d&#233;pend fortement du nombre d'accolade { } dans le fichier

&#231;a varie de 0,3 s &#224; 11 s

Daniel

cs_DARKSIDIOUS · Answer

Ce ne sont pas tes mid qui prennent du temps daniel, c'est ton replace
de fin qui prend beaucoup de temps &#224; s'&#233;x&#233;cuter car il y a beaucoup de
Chr(165) &#224; remplacer au final !



Sans le replace final, tu tombe &#224; 5 s => tu retombe sur le probl&#232;me
de canis lupus : tu appelle trop souvent la fonction Mid en parcourant
toutes la cha&#238;ne et en testant tout les caract&#232;res !

DarK Sidious

Un API Viewer (pour le VB, VB.NET, C, C# et Delphi) : www.ProgOtoP.com/popapi/

cs_CanisLupus · Answer

lol, pour une fois que j'ai une palme, c'est celle de la lenteur   !
Cela dit, je pense que c'est &#224; notre ami philcam de choisir.

-------------------------------------------------
Dresseur de puces, .... normal pour un loup  !?

cs_philcam · Answer

Salut,
bon, j'avais mis un extrait du fichier ici mais comme &#231;a fesait 500Ko &#231;a a d&#251; merder.
Tout &#231;a pour dire qu'avec ce morceau de 500Ko le calcul met moins de 3secondes avec la m&#233;thode RTbox.


@+

Suppression de chaines entre guillemet dans un fichier texte

21 réponses

Discussions similaires