MicrosoftSolutions Partner
Axelio BI · Beheer · Orkestratie & logging

Orkestratie & logging
weten dat de cijfers klaar zijn

Eén metadata-gestuurde orkestratie die bronnen, transformaties en modellen
in de juiste volgorde laadt, en van elke stap vastlegt wat er gebeurde.

Waarom orkestratie en logging?

Een dashboard is zo goed als de laatste run. Achter elk rapport lopen 's nachts, en vaak ook overdag, tientallen stappen: extracts uit het ERP en andere bronnen, transformaties naar feiten en dimensies, het verversen van de semantische modellen. Orkestratie zorgt dat ze in de juiste volgorde en op het juiste moment lopen; logging legt vast wat er liep, hoe lang, hoeveel rijen en welke fouten. Zonder die twee hoor je pas dat er iets mis is als een gebruiker het merkt.

Voor beheer en IT

Eén beeld van elke run

  • Alle jobs op één plek, in plaats van per tool in Data Factory, Databricks en Power BI
  • Fouten met de oorspronkelijke melding, gekoppeld aan de stap en het object
  • Herhaalpogingen vastgelegd, dus een waarschuwing is zichtbaar ook als de run slaagde
  • Trends in doorlooptijd en volumes, en de traagste stappen om te optimaliseren
Voor de business

Weten dat de cijfers klaar zijn

  • Vóór het ochtendoverleg: zijn de cijfers van vandaag compleet?
  • Een afgesproken tijd waarop data klaar is, en zicht op of die wordt gehaald
  • Geen beslissingen op half geladen data
  • Minder verrassingen rond de maandafsluiting
Zo ziet het eruit
Axelio Orchestration-dashboard, laatste 24 uur: KPI's, job runs op een tijdlijn, waaronder de daily load die vier keer per dag loopt, de stappen van de run van 01:00 per fase en de fouten en waarschuwingen met hun melding.
Het orchestration-dashboard, pagina 'Laatste 24 uur': job runs op een tijdlijn, waaronder de daily load die vier keer per dag loopt, de stappen van de run van 01:00 per fase (extract in Data Factory, transform in Databricks, load in Power BI), en de fouten en waarschuwingen met de oorspronkelijke melding. De structuur komt uit de referentie-implementatie; doorlooptijden, aantallen en fouten zijn demodata.
Twee blikken: vandaag en de trend
1

Laatste 24 uur: ging het goed?

  • Job runs per job op een tijdlijn, gekleurd naar resultaat
  • De stappen van een run per fase, met de duur van elke stap
  • Tot op de activiteit: welke tabel, welk notebook, welke refresh
  • Fouten en waarschuwingen met de melding uit de tool zelf
  • Rijen geëxtraheerd en geschreven, en het moment waarop de data klaar was
2

Trend: wordt het beter of slechter?

  • Duur van de dagelijkse load per dag, verdeeld over extract, transform en load
  • Het tijdstip waarop de data klaar was, tegen de afgesproken tijd
  • Fouten en waarschuwingen per dag, over alle jobs
  • Rijen geëxtraheerd per connector en geschreven naar het warehouse
  • De traagste mapping-notebooks en de grootste extracts
?

De vraag die ertoe doet: is de data klaar?

Een gebruiker wil niet weten welke pipeline faalde, maar of de cijfers van gisteren erin staan. Daarom staat bovenaan het dashboard het moment waarop de data klaar was, en laat de trend zien of de afgesproken tijd is gehaald. Het technische detail zit één klik verder, voor wie het moet oplossen.

Hoe het Axelio BI Framework het organiseert
Metadata bepaalt de volgorde, de logging volgt vanzelf
1 · Configuratie, geen code
Welke bronnen, tabellen, transformaties en semantische modellen meedoen, staat in configuratietabellen: per connector de tabellen en de laadwijze, per stap de plek in de volgorde.
2 · Eén hoofdpipeline
Data Factory start de extracts per connector, dan de transformatiestappen in vaste volgorde, dan de verversing van de semantische modellen. Triggers plannen de jobs.
3 · Logging in Log Analytics
Elke pipeline, elk notebook en elke refresh schrijft begin, einde, duur, rijen ingevoegd, bijgewerkt en verwijderd, en foutmeldingen naar Azure Log Analytics.
4 · Een dashboard op de log
Het orchestration-dashboard leest die log: de laatste 24 uur en de trend over een week, maand of kwartaal.

Waarom het framework het verschil maakt: omdat de volgorde in metadata staat en elke stap op dezelfde manier logt, is een nieuwe tabel of bron een regel in een configuratietabel, geen nieuwe pipeline met eigen logging. In de referentie-implementatie achter de screenshot: 5 connectors, waaronder Infor CloudSuite LN en Dynamics BC, 333 brontabellen, 29 transformatiestappen, 125 mapping-notebooks en 11 semantische modellen, aangestuurd door 18 pipelines.

Zo richten we het in
1

Jobs en volgorde vastleggen

Welke bronnen, welke tabellen en welke stappen, met hun afhankelijkheden en hun planning.

2

Logging op elke stap

Extract, transform en load schrijven allemaal naar dezelfde log, in hetzelfde formaat.

3

Afspreken wanneer data klaar moet zijn

Eén afgesproken tijd per job, zodat de trend laat zien of die wordt gehaald.

4

Afspreken wie handelt bij een fout

Een dashboard laat het probleem zien; een eigenaar zorgt dat het wordt opgelost.

Problemen eerder dan de gebruiker

Een mislukte refresh is bekend voordat iemand een rapport opent.

Sneller herstel

De mislukte stap, het object en de melding in één regel.

Grip op doorlooptijd en kosten

De traagste notebooks en grootste extracts zijn de eerste kandidaten voor optimalisatie.

Aantoonbare betrouwbaarheid

Slagingspercentage en klaartijd over maanden, in plaats van een gevoel.

Voor wie?
BI-manager Applicatiebeheer Data engineer IT-manager Controller / CFO Key users

De screenshot toont het Axelio Orchestration-dashboard. De structuur (jobs, pipelines, tabellen, notebooks, semantische modellen) en de aantallen komen uit de referentie-implementatie van het Axelio BI Framework op Azure Data Factory, Azure Databricks en Power BI, met logging in Azure Log Analytics. Doorlooptijden, rijaantallen en fouten in de screenshot zijn demodata. Stand oktober 2026.