Extraction de données d'une base oracle [Résolu]

Signaler
Messages postés
8
Date d'inscription
vendredi 30 janvier 2009
Statut
Membre
Dernière intervention
7 septembre 2011
-
Messages postés
6063
Date d'inscription
dimanche 13 avril 2003
Statut
Modérateur
Dernière intervention
15 juillet 2011
-
bonjour
je doit alimenter mon entrepot de données par une base de données oracle
je doit ecrire un programme en c# donc puisque je debute je cherche a avoir des
explications ou doit je charger ces données puisque ils necessitent un traitement
avant chargement finale dans l'entrepot. comment ecrire un programme qui se connecte a cette base oracle. ( c'est le processus ETL) 
-extraction (depuis la base oracle dans une zone que je doit definir)
-traitement (pour que ces données soient aux format de mon entrepot)
-chargement (dans mon entrepot) merci pour toute contribution

 

5 réponses

Messages postés
6063
Date d'inscription
dimanche 13 avril 2003
Statut
Modérateur
Dernière intervention
15 juillet 2011
28
Salut,

Si tu as une license SQL server, tu as tout ce qu'il faut dedans.

Sinon tu peux utiliser talend (open source)

Sinon logiciel à la main (mais il risque d'avoir des problemes de performances)
car les ETL gere mieux la //isation des taches et le multithread

Tu peux te baser sur un sytem de worflow pour faire ton ETL maison
avec WF (disponible a partir de .net 3.0) ca permet de structurer tes actions.

Dans ton logiciel,
Tu peux utiliser plusieurs librairies pour attaquer oracle

D'ou viennent les données

regardes http://www.connectionstrings.com/
et tu auras pleins d'infos

 
Messages postés
6063
Date d'inscription
dimanche 13 avril 2003
Statut
Modérateur
Dernière intervention
15 juillet 2011
28
Je ne comprends pas ta question?

STP reformule ?

Normalement tu as deux connections

Source

traitement (plus ou moins complexe)
agregation, mise a plat

Destination

Apres tout dépend de ton architecture et de tes besoins
Messages postés
8
Date d'inscription
vendredi 30 janvier 2009
Statut
Membre
Dernière intervention
7 septembre 2011

un lien trés interessant merci bcp. mais si tu as des notions sur le processus (etl) merci de m'eclaircir comment faut faire. la definition de la zone intermediaire ou je doit ranger les données avant traitement?. comment la definir est ce que ça sera une bd identique a la source?.
merci de me repondre a ces question.
Messages postés
8
Date d'inscription
vendredi 30 janvier 2009
Statut
Membre
Dernière intervention
7 septembre 2011

bon. avant de charger les données extraites des bases de productions dans l'entrepot il faut les garder dans une zone intermediaire pour subir des traitement avant chargement final dans l'entrepot.


db production======>zoneintermediaire======>entrepot

dans la zone intermediaire les données subissent des traitements
donc il faut definir cette zonne (est ce que ça sera une base de données de méme type et de méme format que la base source ( bd production) ou ça sera autre chose que ça. a ton avis?

merci pr tes reponses nhervagault
a +
Messages postés
6063
Date d'inscription
dimanche 13 avril 2003
Statut
Modérateur
Dernière intervention
15 juillet 2011
28
La zone intermédiaire peut etre ce que tu veux.

La mémoire de l'ordinateur si les transformations sont rapides
une table de l'entrepot
une view
une table temporaire
une base de données propre
un fichier txt

le choix dépend de tes données et de tes traitements
(il faut que ca soit le plus rapide, le moins consommateur de ressources (memoire, disque, temps))
Apres c'est a toi de choisir en fonction de tes ressources et de tes contraintes et objectifs

Enregistrer dans un entrepot des million d'enregistrement / jour
(il faut en général faire des agrégats ou des mises à plats)
n'est pas la meme chose que mille / jour

http://www.atolcd.com/actualites/detail-actualite/actualite/2/comparatif-etl-open-source-1.html

http://www.microsoft.com/france/technet/prodtechnol/sql/2005/mgngssis.mspx

Bonne lecture