Import de données d'un SGBD à un autre

Question

Salut tout le monde

Afin d'importer des donn&#233;es d'un SGBD &#224; un autre (SQL Serveur &#224; PostgreSQL), j'ai fait un petit programme d'import.
Dans ce programme j'initialise 2 connection (CnnSQL et CnnPG) et je r&#233;cup&#232;re ma liste de table &#224; importer dans une collection de type Queue (PoolTable).
J'appelle ensuite la proc&#233;dure suivante afin d'importer mes donn&#233;es :

private 
void TraiterTable(
)
{

      string NomTable;

      SqlDataAdapter SqlDA;

      DataSet SqlDS = 
new 
DataSet();

      OleDbDataAdapter PGDA;

      while (PoolTable.Count > 0)
      {
            NomTable = PoolTable.Dequeue();

            try
            {
                  SqlDA = 
new 
SqlDataAdapter(
"Select * From " + NomTable, CnnSql);
                  SqlDA.Fill(SqlDS,NomTable);
                  PGDA = 
new 
OleDbDataAdapter(
"Select * From " + NomTable, CnnPG);
                  PGDA.Update(SqlDS, NomTable);
             }
            
catch {}
      }
}

Je n'ai aucune erreur mais aucune donn&#233;es n'est copi&#233;e. Je ne suis pas sur &#224; 100% que mes structures sont &#233;quivalentes car j'ai utiliser un programme externe pour les importer.
Une suggestion pour importer la structure des tables pourraient aussi m'&#234;tre utile.

Merci.

Arthenius · Answer

qd tu creer ton dataadapter tu ne fourni pas les procedure d'update et d'insert l'erreur vient de la...

il faut definir le PGDA.InserCommand

Pour avoir une chance de faire un insert

deplus tu fais un fill d'un dataset et tu update ce meme dataset, il faudrait plutot remplir un dataset avec tes donnes SQL
parcourir ce dataset et copier les donner dans un autre dataset 
et faire l'update vers prosgress de ton autre dataadapter....

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Merci pour ta r&#233;ponse.

Par contre je ne connais pas tr&#232;s bien ADO .Net alors pourrais tu m'expliquer comment cr&#233;er la commande insert sachant qu'elle change suivant la table &#224; copier.

J'espererais que cette m&#233;thode de Update d'un dataset dans un autre DataAdapter fonctionnerait afin de m'&#233;viter une copie ligne &#224; ligne de mon DataSet, pas terrible en performance.

Arthenius · Answer

de toute facon tu va etre oblige de faire un boucle pour parcourir ton premier dataset pour copier chaque element dans ton 2eme dataset

pour la requete insert je t'invite a regarder mes sources ou j'ai un exemple sur l'utilisation des dataadapter et notament un exemple avec des commande avec des parametres :)

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Sinon tant qu'on y est; il y aurait pas un moyen de reprendre simplement la strucutre de mes tables, avec les cl&#233;s, index et contraintes m&#234;me si possible ?
Ca m'aiderai parce que la syntaxe SQL Server et PostgreSQL c'est pas la m&#234;me chose et quand y'a plus de 150 tables c'est long &#224; tranformer.

Merci.

Arthenius · Answer

le glisse deplace des tables sur un dataset....

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Bon alors je vais r&#233;capituler.
Si j'ai bien compris le mieux pour copier une nombre important de tables (structure, donn&#233;es, relations, cl&#233;s, index et contraintes) est de remplir un 1er dataset &#224; partir de la base d'origine puis de copier chaque table une par une dans un autre dataset li&#233; &#224; la base de destination.
Est-ce bien &#231;a ou je fais une erreur ?
Si tu as la commande qui permet de copies des tables ainsi d'un dataset &#224; un autre je suis preneur sinon je trouverai bien.

Merci pour toute ton aide.

Arthenius · Answer

oui c ca...
voila un exemple de code qui transfert des donnees d'un dataset a l'autre :

foreach(DataRow row in ds.TS_DEPOT_VENTE.Rows)
                    {
                        if(Convert.ToBoolean(row["A_FACTURER"]))
                        {
                            DataRow newRow = ds_A_Facturer.TS_DEPOT_VENTE.NewRow();
                            newRow["DVNUM"] = row["DVNUM"];
                            newRow["FCNUM"] = row["FCNUM"];
                            newRow["DFCNUM"] = row["DFCNUM"];
                            newRow["CLNUM"] = row["CLNUM"];
                            newRow["ARTNUM"] = row["ARTNUM"];
                            newRow["DVLIG"] = row["DVLIG"];
                            newRow["DVART"] = row["DVART"];
                            newRow["DVLIB"] = row["DVLIB"];
                            newRow["DVQTE"] = row["DVQTE"];
                            newRow["DVDMP"] = row["DVDMP"];
                            newRow["DVDFAC"] = row["DVDFAC"];
                            newRow["DVFAC"] = row["DVFAC"];
                            ds_A_Facturer.TS_DEPOT_VENTE.Rows.Add(newRow);

                        }
                    }

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Donc apr&#232;s tes conseils j'en suis arriv&#233; l&#224; :

private 
void TraiterTable(
)
{
      
string NomTable;
      
while (PoolTable.Count > 0)
      {
            NomTable = PoolTable.Dequeue();
            
try
            {
                    
SqlDataAdapter SqlDA = 
new 
SqlDataAdapter();
                    
DataSet SqlDS = 
new 
DataSet();
                    
OleDbDataAdapter PGDA = 
new 
OleDbDataAdapter();
                    
DataSet PGDS = 
new 
DataSet();
                    SqlDA.SelectCommand = 
new 
SqlCommand(
"Select * From " + NomTable, CnnSql);
                    SqlDA.Fill(SqlDS, NomTable);
                    PGDA.SelectCommand = 
new 
OleDbCommand(
"Select * From "" + NomTable + 
""",CnnPG);
                    PGDA.Fill(PGDS, NomTable);
                    
foreach (
DataRow row 
in SqlDS.Tables[0].Rows)
                    {
                           
DataRow newRow = PGDS.Tables[0].NewRow();
                           
foreach(
DataColumn Col 
in SqlDS.Tables[0].Columns)
                           {
                                 newRow[Col.ColumnName] = row[Col.ColumnName];
                           }
                           PGDS.Tables[0].Rows.Add(newRow);
                     }
                     PGDA.Update(PGDS, NomTable);
                 }
                 
catch (
Exception Ex) { 
Console.WriteLine(Ex.Message); }
         }
      }

J'ai toujours une erreur sur l'update puis qu'il me manque la commande insert.
Je ne vois pas comment je peux la g&#233;n&#233;rer dynamiquement.
Saurez-tu me dire comment faire ?

Merci.

Arthenius · Answer

tu ne peux pas la faire dynamiquement...

System.Data.OleDb.OleDbDataAdapter PGDA = new System.Data.OleDb.OleDbDataAdapter(  "select * From " + NomTable, CnnPG);
                        PGDA.InsertCommand = new System.Data.OleDb.OleDbCommand("INSERT INTO "+ nomTable + " (CHAMP1, CHAMP2, CHAMP3, CHAMP4) VALUES (@VALEUR_CHAMP1, @VALEUR_CHAMP2, @VALEUR_CHAMP3, @VALEUR_CHAMP4)", CnnPG);
                        PGDA.InsertCommand.Parameters.Add("@VALEUR_CHAMP1", Valeur_champ1);
                        PGDA.InsertCommand.Parameters.Add("@VALEUR_CHAMP2", Valeur_champ2);
                        PGDA.InsertCommand.Parameters.Add("@VALEUR_CHAMP3", Valeur_champ1);
                        PGDA.InsertCommand.Parameters.Add("@VALEUR_CHAMP4", Valeur_champ4);
                        //et la tu pourra faire ton update...

faut te faire tout tes insert pour TOUTE tes TABLES A LA main...
pas le choix...je pense...

je ne pense pas que tu puisse faire mieux que ton foreach...

l'insert est specificaque a chacune de tes tables...
si tu a 150 table a migrer....
ben 150 insert....

apres si postgres gere les procedure stockee ca peu simplifier ton code..mais les parametre variront qd meme d'une procedure a l'autre...donc...tjs du spe...

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Est-ce que je ne pourrais pas faire un truc du genre :

string ListeChamp = "";
string ListePm = "";
foreach(DataColumn Col in SqlDS.Tables[0].Columns)
{
      if (ListeChamp == "")
      {
            ListeChamp = Col.ColumnName;
            ListePm = "@" + Col.ColumnName;
      }
      else
      {
            ListeChamp += ", " + Col.ColumnName; 
            ListePm += ", @" + Col.ColumnName;
      }
}
PGDA.InsertCommand = new OleDbCommand("Insert Into "" + NomTable + "" (" + ListeChamp + ") values (" + ListePm + ")", CnnPG);
PGDA.Update(PGDS, NomTable);

L&#224; j'arrive bien &#224; g&#233;n&#233;rer ma commande dynamiquement mais apr&#232;s je comprends pas trop &#224; quoi correspondent les param&#232;tres ?
Pourrais-tu m'&#233;clairer sur le sujet ?
Merci.

Arthenius · Answer

si ca pourrait le faire...
les parametre serve a mettre a jour ta base...attend je crois que g oublie un truc...

PGDA.InsertCommand.Parameters.Add("@"+Col.ColumnName, typeof(Col.GeType()), ???la taille du champ???, Col.ColumnName);

la seul inconu reste la taille du champ

col.columnname sert de sourcecolumn qui permet de faire le lien entre le DS et la table...

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Chez moi l'instruction  typeof(Col.GeType())  ne passe pas.
J'utilise un viusal studio 2005 avec un framework 2.
Est-ce un probl&#232;me li&#233; &#224; &#231;a ou alors une autre erreur ?

Sinon pour la taille je pourrais &#233;ventuellement all&#233; la chercher dans les tables systemes de SQL Server mais &#231;a devient usine &#224; gaz.

Merci pour toute ton aide.

Arthenius · Answer

heu GetType()...

oui il reste la solutiojn d'aller chercher dans les tables systeme....

mais la cho solution
<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

J'avais bien mis GetType(), c'&#233;tait juste une erreur de copie et j'ai donc toujours l'erreur.

Une id&#233;e ?

Arthenius · Answer

tu a bien mis ton col.gettype dans le foreach ??

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Voila ce que j'ai :

string ListeChamp = 
"";

string ListePm = 
"";

foreach(
DataColumn Col 
in SqlDS.Tables[0].Columns)
{
      
if (ListeChamp == 
"")
      {
            ListeChamp = Col.ColumnName;
            ListePm = 
"@" + Col.ColumnName;
      }
      
else
      {
            ListeChamp += 
", " + Col.ColumnName; 
            ListePm += 
", @" + Col.ColumnName;
      }
}
PGDA.InsertCommand = 
new 
OleDbCommand(
"Insert Into " + NomTable + 
" (" + ListeChamp + 
") values (" + ListePm + 
")", CnnPG);

foreach(
DataColumn Col 
in SqlDS.Tables[0].Columns[0].ExtendedProperties)
{

      PGDA.InsertCommand.Parameters.Add(
"@" + Col.ColumnName,
typeof(Col.GetType()), 20 , Col.ColumnName);
}
PGDA.Update(PGDS, NomTable);

J'ai mit 20 en longueur pour tester mais d&#233;j&#224; comme &#231;a &#231;a se compile pas erreur sur la ligne :  PGDA.InsertCommand.Parameters.Add("@" + Col.ColumnName,
typeof(Col.GetType()), 20 , Col.ColumnName);

Qu'est-ce que j'ai fait de travers ?

Neow26 · Answer

Heu le 2&#232;me foreach est sur foreach(DataColumn Col in SqlDS.Tables[0].Columns
) aussi.
Le reste c'&#233;tait un test pour voir si je trouvais la longueur, d&#233;sol&#233;.

Arthenius · Answer

je seche.....
je vois pas ou est le pb...dsl....

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

cs_coq · Answer

Salut,

Tu as fait un l&#233;ger m&#233;lange l&#224; : d&#233;j&#224; typeof sert &#224; r&#233;cup&#233;rer l'instance de System.Type caract&#233;risant un type, et n'aurais pas fonctionner sur une instance de DataColumn.
Ensuite le type attendu par la m&#233;thode n'est pas une instance de System.Type, mais une valeur de System.Data.OledDb.OleDbType.

/*
coq
MVP Visual C#
*/

Neow26 · Answer

Ok c'est juste &#231;a, mais tu saurais comment passer d'un System.Type &#224; un System.Data.OleDb.OleDbType ?
De plus tu saurais comment conn&#226;itre la longueur d'un champ ?
Merci.

cs_coq · Answer

Lit les pages que j'ai lier et tu t'appercevras qu'on ne passe pas de l'un &#224; l'autre, c'est 2 choses diff&#233;rentes.
Et sur la page consacr&#233;e &#224; DataColumn tu remarqueras aussi la propri&#233;t&#233; DataType ;-)

/*
coq
MVP Visual C#
*/

Neow26 · Answer

C'est bien tout &#231;a mais je veux faire l'inverse j'ai mon Type mais je ne connais pas le OleDbType &#224; renseigner pour le param&#232;tre.

cs_coq · Answer

foreach(DataColumn Col in SqlDS.Tables[0].Columns[0].ExtendedProperties)
{
      PGDA.InsertCommand.Parameters.Add("@" + Col.ColumnName,Col.DataType, 20 , Col.ColumnName);
}

?

/*
coq
MVP Visual C#
*/

Neow26 · Answer

Ca ne marche pas car &#231;a prends un OleDbType

cs_coq · Answer

Ah oui j'ai compl&#232;tement zapp&#233; le type de la propri&#233;t&#233; DataType -_-

L&#224; en dehors de la m&#233;thode utilitaire faite maison pour "mapper" les types .Net &#224; leur &#233;quivalent OleDb, je ne vois pas trop.

Mis &#224; part naturellement l'int&#233;rogation du sch&#233;ma OleDb afin d'obtenir cette information via Columns : 

Exemple basique de r&#233;cup&#233;ration colonne par colonne, avec filtrage par table et colonne donc : (conn est une instance de OleDbConnection)
DataTable oleDbInfosTable = conn.GetOleDbSchemaTable(OleDbSchemaGuid.Columns, new object[]{null, null, NomTable, Col.ColumnName});
OleDbType type = (OleDbType)oleDbInfosTable.Rows[0]["DATA_TYPE"];
...

/*
coq
MVP Visual C#
*/

Arthenius · Answer

merci coq de venir a notre secours :)

<hr>Arthenius
http://blogs.developpeur.org/Arthenius/

"Ce qui ne me tue pas, me rend plus fort..."

Neow26 · Answer

Quand j'essaie de faire "
DataTable oleDbInfosTable = CnnPG.GetOleDbSchemaTable(OleDbSchemaGuid.Columns, new object[]{null, null, NomTable, Col.ColumnName});" j'obtient une erreur : "Unspecified error: E_OUTOFMEMORY(0x8007000E)".

Ma connection CnnPG est bien ouverte, je r&#233;cup&#232;re m&#234;me un dataset avant, mon non de table est bien rensign&#233;e et mon non de colonne aussi.
J'ai la m&#234;me erreur si je ne pr&#233;cise ni la table ni la colonne.

Une id&#233;e pour cette erreur ?

cs_coq · Answer

Tiens, &#231;a me fait penser au driver Oracle qui finissait en StackOverflow.
Dans mon cas la solution avait &#233;t&#233; de passer par celui que fournis MS, mais pour PostgreSQL je ne sais pas si il y a une alternative &#224; celui de l'&#233;diteur.

Ca te le fait aussi sur d'autres Guid ?

/*
coq
MVP Visual C#
*/

Neow26 · Answer

Oui &#231;a me le fait sur d'autres Guid.
C'est vrai que par contre pour la connection je suis pas sur &#224; 100%

J'utilise la chaine de connection suivante : Provider=PostgreSQL.1;Password=monPass;User ID=monId;Data Source=localhost;Location=maBase;

Je n'arrive pas &#224; me connecter par l'intermediaire d'un lien odbc.

Import de données d'un SGBD à un autre

29 réponses

Votre réponse

Discussions similaires