extraction de données d'une base oracleRésolu

Question

bonjour
je doit alimenter mon entrepot de données par une base de données oracle
je doit ecrire un programme en c# donc puisque je debute je cherche a avoir des
explications ou doit je charger ces données puisque ils necessitent un traitement
avant chargement finale dans l'entrepot. comment ecrire un programme qui se connecte a cette base oracle. ( c'est le processus ETL) 
-extraction (depuis la base oracle dans une zone que je doit definir)
-traitement (pour que ces données soient aux format de mon entrepot)
-chargement (dans mon entrepot) merci pour toute contribution

nhervagault · Accepted Answer

Salut,

Si tu as une license SQL server, tu as tout ce qu'il faut dedans.

Sinon tu peux utiliser talend (open source)

Sinon logiciel à la main (mais il risque d'avoir des problemes de performances)
car les ETL gere mieux la //isation des taches et le multithread

Tu peux te baser sur un sytem de worflow pour faire ton ETL maison
avec WF (disponible a partir de .net 3.0) ca permet de structurer tes actions.

Dans ton logiciel, 
Tu peux utiliser plusieurs librairies pour attaquer oracle

D'ou viennent les données 

regardes http://www.connectionstrings.com/
et tu auras pleins d'infos

amrouche015 · Answer

un lien trés interessant merci bcp. mais si tu as des notions sur le processus (etl) merci de m'eclaircir comment faut faire. la definition de la zone intermediaire ou je doit ranger les données avant traitement?. comment la definir est ce que ça sera une bd identique a la source?.
merci de me repondre a ces question.

nhervagault · Answer

Je ne comprends pas ta question?

STP reformule ?

Normalement tu as deux connections

Source

traitement (plus ou moins complexe) 
agregation, mise a plat 

Destination

Apres tout dépend de ton architecture et de tes besoins

amrouche015 · Answer

bon. avant de charger les données extraites des bases de productions dans l'entrepot il faut les garder dans une zone intermediaire pour subir des traitement avant chargement final dans l'entrepot.


db production======>zoneintermediaire======>entrepot

dans la zone intermediaire les données subissent des traitements
donc il faut definir cette zonne (est ce que ça sera une base de données de méme type et de méme format que la base source ( bd production) ou ça sera autre chose que ça. a ton avis?

merci pr tes reponses nhervagault 
a +

nhervagault · Answer

La zone intermédiaire peut etre ce que tu veux.

La mémoire de l'ordinateur si les transformations sont rapides
une table de l'entrepot 
une view 
une table temporaire
une base de données propre
un fichier txt

le choix dépend de tes données et de tes traitements 
(il faut que ca soit le plus rapide, le moins consommateur de ressources (memoire, disque, temps))
Apres c'est a toi de choisir en fonction de tes ressources et de tes contraintes et objectifs

Enregistrer dans un entrepot des million d'enregistrement / jour 
(il faut en général faire des agrégats ou des mises à plats)
n'est pas la meme chose que mille / jour

http://www.atolcd.com/actualites/detail-actualite/actualite/2/comparatif-etl-open-source-1.html

http://www.microsoft.com/france/technet/prodtechnol/sql/2005/mgngssis.mspx

Bonne lecture

Extraction de données d'une base oracle

5 réponses

Votre réponse

Discussions similaires