Remplacement caractèresRésolu

Question

Bonjour,

Je fais un programme de traitement de donnée via une source en CSV

Toutes les colonnes sont séparé par des ","

Cependant dans certaines colonnes il y a des morceaux de Json donc des "," qui ne devraient pas être compris comme des séparateurs de colonnes.

Comment je peux remplacer ses virgules qui sont entre ses balises [{ "blabla", "blabla"},{ "blabla", "blabla"}] par un ";" afin de ne pas séparer cette partie en deux colonnes.

j'ai pensé à dire que mon CSV sépare les colonnes par un ; mais la source ne vient pas de moi je ne peux donc pas allez vers cette option

Bien à vous

Whismeril · Answer

Bonjour

je pense que les regex sont une bonne solution à ton problème.

Avec cet outil tu pourras soit

faire ce que tu as demandé dans ta question 
	directement parser la ligne de ton csv

Un tuto là https://devstory.net/10795/csharp-regular-expression et ici un site de test http://regexstorm.net/

vb95 · Answer

Bonjour

En testant si la virgule est comprise entre { et } . Si c'est le cas cette virgule appartient à un bloc Json sinon c'est un séparateur de colonnes .

vb95 · Answer

Bonjour

Pour mieux cerner votre problème pouvez-vous nous indiquer une ligne réelle de votre fichier source en CSV ?

Autre chose : toutes les lignes de ce fichier CSV ont-elles le même nombre de colonnes ( en principe cela devrait être le cas ) ?

Merci

vb95 · Answer

Bonsoir

J'ai testé votre code et je me retrouve avec 173 colonnes !

Les balises Json sont bien entre crochets [ ] ?

Pour moi il y en a 2 dans la ligne que vous montrez

[4.570720633,50.69253469]

[{""key"":""1978-01-01T09:22:00.000Z"",""value"":""HPL 125""}]

Par contre

"0,2 - 0,7"

doit-il être compté comme un bloc Json ?

Quel est le caractère de début et de fin d'un bloc Json ?

vb95 · Answer

Ah ok !

Donc il ne faut pas compter les virgules qui sont entre [ et ]  ou entre " et " tout simplement .

C'est très clair comme ceci .

vb95 · Answer

Les chiffres avec une virgule sont entre " et " ( je l'ai rajouté ensuite )

Les Regex c'est bien mais ici cela complique les choses . Mieux vaut splitter toute la ligne avec la virgule et ensuite vérifier si le split est à conserver ou non . Cela nous donnera un code plus simple à gérer à mon avis .

Whismeril · Answer

Bonsoir

alors si je comprends bien, y'a quand même un gars qui te fourni un CSV séparé par des virgules avec des nombres décimaux à virgules (et pas à points).

Il est pas un peu c** lui ? C'est juste pas compatible, un CSV séparé par virgules doit obligatoirement avoir des nombres décimaux avec points.

C'est pour ça d'ailleurs que le CSV séparé par points virgules a ensuite été inventé.

Je te propose 2 replace par regex, avec le premier, on met un autre séparateur dans le json (dans l'exemple, ce sera | )

(?<="$$)(.*?),(.*?)(?=$$")

Et remplacement

$1|$2

Voir exemple ici

Dans le second, on met un point pour les nombres décimaux (pour l'exemple, j'ai pris le texte modifié par la regex précédente)

(?<=,")([\d -.]*?),(.*?)(?=",)

Et remplacement

$1.$2

Voir exemple ici

On constate que la première passe ne capture pas le 0,7, c'est parce qu'il fait partie de $2 de la capture qui prend le 0,2.

L'option la plus simple est de faire ce remplacement 2 fois ( exemple, une fois les 2 premières captures changées ici )

On peut aussi trouver une regex qui s'adapte aux 2 cas, mais, il faudra gérer les remplacements "à la main", comme tu l'as fait plus haut, en fonction des groupes qui seront capturés.

(?<=,")([\d.]*?),(?:(\d+ - \d+?),(\d)|(.*?))(?=",)

Et donc pas de remplacement directement en regex.

Exemple ici

Regarde la partie "Match information", tu verras que pour "0.2 - 0,7", il y a les groupes 1, 2 et 3, alors que pour "9,29002E+11" il y a les groupes 1 et 4
Ensuite, tu peux faire un split avec les virgules.

Pourquoi dans ce sens, parce que là, les 2 regex replaces sont simples, et qu'il peut y avoir des décimaux dans le json, alors il faut commencer par lui.

Alors que si on veut remplacer les virgules de colonnes par des points virgules, c'est beaucoup plus complexe.

vb95 · Answer

Bonsoir

Bien joué Whismeril

Et voici ma version sans Regex ( une Listbox et une Textbox pour la Form et pour visualiser les 170 colonnes pour la ligne en exemple )

Et elle a l'avantage de garder les virgules qui ne servent pas de séparateur dans le libellé des colonnes .

Et j'obtiens bien les 170 colonnes .

using System.Collections.Generic;
using System;
using System.Windows.Forms;
using System.Linq;

namespace TestRegex
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

private string Ligne;

private void Form1_Load(object sender, System.EventArgs e)
        {
            listBox1.Items.Clear();
            Ligne = "9315c4ce-a467-4d70-98dc-85d5c3b3cfd6,A1T-0032-0,LightPoint,LIMAL/AVENUE-13EME-TIRAILLEURS/,false,,,AVENUE 13EME TIRAILLEURS,LIMAL,1300,Belgique,[],Point,\"[4.570720633,50.69253469]\",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,33,100000,2019-01-01T09:22:00.000Z,Philips-929001573506-SR-C133,,4000,4100,,2019-01-01T09:22:00.000Z,Lightwell,LUXIS SMALL,lum8,,,6,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,REW,7704578,15094,M4,1843,,4040,\"0,2 - 0,7\",25 - 77,0,425,Potelet,Aluminium,Enfoui,-,-,-,4X10,EXVB,,211595323,0,0,13 TIRAILLEUR,5820,LED,Philips,,,545108,Voirie,127,LED 24,33,\"9,29002E+11\",SR,C133,40,TCC,2019-01-01T09:22:00.000Z,faux,,,,lum8,Pas de contrÃ´leur,\"[{\"\"key\"\":\"\"1978-01-01T09:22:00.000Z\"\",\"\"value\"\":\"\"HPL 125\"\"}]\",,,,,,,,,,";
            textBox1.Text = Ligne;
        }

private void Form1_Shown(object sender, EventArgs e)
        {
            string Colonne, FinColonne;
            List<string> ListColonnes = Ligne.Split(',').ToList();
            int IndexLigne = 0;
            while (IndexLigne < ListColonnes.Count)
            {
                Colonne = ListColonnes[IndexLigne];
                if (Colonne == string.Empty || Colonne.StartsWith("\"") == false)
                    // ligne vide ou ligne ne commençant pas par des guillemets
                    IndexLigne++;
                else
                {
                    // la ligne commence par "[ ( début code Json ) la fin du bloc Json est ]"
                    // ligne commençant par " ( valeurs numériques avec virgule ) la fin de ces valeurs numériques est "
                    FinColonne = Colonne.StartsWith("\"[") == true ? "]\"" : "\"";
                    do
                    {
                        Colonne = Colonne + "," + ListColonnes[IndexLigne + 1];
                        ListColonnes.RemoveAt(IndexLigne + 1);
                        if (Colonne.EndsWith(FinColonne))
                        {
                            // fin du bloc Json ou fin du bloc valeurs numériques avec virgule
                            ListColonnes[IndexLigne] = Colonne;
                            IndexLigne++;
                            break;
                        }
                    } while (true);
                }
            }
            listBox1.Items.Clear();
            for (int i = 0; i < ListColonnes.Count; i++)
                listBox1.Items.Add(i.ToString() + "   " + ListColonnes[i]);
        }
    }
}

LoicRenard · Answer

Bonsoir a tous,

et merci pour votre aide,

j'ai adopté la méthode de vb95

merci à tous

vb95 · Answer

Bonsoir

La solution de Whismeril respecte plus le "standard international" au niveau des fichiers CSV alors que ma solution ne modifie nullement les colonnes du fichier CSV d'origine .

Si le sujet te semble traité prière de le "mettre en résolu" avec les 3 ... de ton premier message .

Merci

Remplacement caractères

10 réponses

Votre réponse

Discussions similaires