Een stapje verder met data warehouse automation

Gegevens over je klanten, je financiële situatie en salarisadministratie. Het zijn allemaal databronnen met vaak een andere structuur. In een data warehouse voeg je de gegevens uit deze bronnen samen. Eerst worden de gegevens opgehaald, de bruikbare gegevens worden weggeschreven en vervolgens worden ze omgezet naar gecombineerde informatie en inzichten. Dit proces wordt steeds complexer door het toenemende aantal bronnen en soorten data. Met een geautomatiseerd proces zou dit veel makkelijker gaan. Dit kan met data warehouse automation.

Wat is data warehouse automation?

Zoals altijd beginnen we gewoon weer bij de basis. Voordat je de wereld van data warehouse automation induikt, is het handig om eerst te weten wat dit nu precies is. In ons eerdere blog heb je uitgebreid kunnen lezen wat een data warehouse is. Dit is namelijk een systeem dat data uit al je bedrijfsapplicaties kan combineren en om kan zetten tot managementinformatie. Een data warehouse bestaat uit allerlei componenten. Bijvoorbeeld een ETL-proces, een of meerdere databases en dashboards.

Al deze componenten bestaan uit scripts in verschillende talen. Het met de hand schrijven en bijhouden van deze scripts is arbeidsintensief en foutgevoelig. Het genereren van deze scripts biedt dus een uitkomst. Onze DWH Automation tool zorgt ervoor dat alle code op de juiste plek staat én doet wat het moet doen. Dan kan het niet meer foutgaan, en we zijn veel sneller klaar.

Hoe gaat het in zijn werk?

Het doel van datawarehouse automation is het automatisch genereren van de ETL-code voor het aanmaken van tabellen, het wijzigen ervan en voor het ophalen en omzetten van de data. Dit gebeurt vanuit metadata. Dit is informatie over je gegevens en over de structuur van je DWH en zorgt ervoor dat er verbinding gelegd kan worden tussen de databronnen en dat het ETL-proces automatisch verloopt. Dit is veel handiger want nu is het niet meer nodig om de code met de hand uit te schrijven.

Dit zijn de voordelen

Je hebt vast al een paar voordelen opgemerkt, maar toch zetten we ze graag nog even op een rijtje. Allereerst scheelt het veel tijd, waardoor een project of nieuwe functionaliteit sneller opgeleverd kan worden. Daarnaast maakt het de ontwikkeling veel eenvoudiger: in sommige gevallen kan je namelijk als klant zelf onderhoud en kleine uitbreidingen doorvoeren. Zoals bijvoorbeeld het toevoegen van velden aan een bestaande tabel of het aanpassen van een business rule.

Daarnaast zorgt DWH Automation dat we minder fouten maken, omdat het hierdoor niet meer nodig is om alle codes met de hand uit te schrijven.

Ben je na het lezen van dit blog helemaal verkocht óf zijn er nog dingen onduidelijk voor je? Neem vooral contact met ons op. We nemen de tijd voor je en beantwoorden al je vragen!