Fabric wordt volwassen
Vier van onze Data Solutions collega’s – Willem Holthuis, Oscar Koster, Sebastiaan van den Brink en Niek Kremers – waren onlangs aanwezig bij de European Microsoft Fabric Community Conference in Wenen. Daar hebben ze zich volgezogen met de nieuwste ontwikkelingen in Microsoft Fabric, een relatief nieuw onderdeel van het Azure Data & AI ecosysteem.
In dit blog delen we de belangrijkste inzichten en laten we zien waarom en hoe we klanten met ons eigen Fabric Basis Framework nu nog beter kunnen helpen bij de realisatie van hun datastrategie.
Fabric als basis voor een robuust dataplatform
Een van de belangrijkste conclusies die we na de conferentie kunnen trekken, is dat Microsoft Fabric van een verzameling nieuwe features is opgeschoven naar een volwassen en robuust dataplatform. Microsoft blijft voortdurend nieuwe functionaliteiten uitrollen, maar er is nu meer focus op het versterken en stabiliseren van bestaande functionaliteiten en een gebruiksvriendelijke user interface. Dit zorgt ervoor dat organisaties voortaan kunnen bouwen op een solide basis die schaalbaar en beheersbaar is.
Zonder een duidelijke werkwijze en architectuur kun je al snel verzuipen in chaos
Slimme architectuur en betere performance
Ttijdens de conferentie werden veel praktische inzichten gedeeld over het optimaliseren van de architectuur en performance binnen Microsoft Fabric. Sebastiaan van den Brink, Data Architect bij New Nexus, benadrukt dat het juist door de vele mogelijkheden van het platform belangrijk is om een duidelijke architectuur en werkwijze te hebben en zo chaos te voorkomen. Een fijne verbetering is daarom de grote update aan de user interface van Fabric, waarmee het voor de admin eenvoudiger en overzichtelijker is geworden om de Fabric-omgeving op tenant-, capaciteit- en werkruimteniveau strak te organiseren en te monitoren.
Er was veel aandacht voor het gebruik van Git en CI/CD om de hele Fabric-architectuur slim onder versiebeheer te zetten. Door het gebruik van tools zoals de Fabric-cicd Python library en Azure DevOps pipelines kunnen ontwikkelteams gemakkelijk werken aan nieuwe uitbreidingen en deze veilig uitrollen. Dit zorgt ervoor dat het ontwikkel- en implementatieproces soepeler verloopt en je geen kostbare tijd verliest met handmatige stappen.
Daarnaast werden er nieuwe features gepresenteerd, zoals User Data Functions, Shortcut Transformations en Materialized Lakeviews, maar ook (eindelijk!) de MERGE functie en identity columns in een Warehouse, die de architectuur eenvoudiger maken en de overhead in de data-orchestratie verminderen. Dit maakt databeheer niet alleen makkelijker, maar ook kostenefficiënter voor onze klanten.
Aan de engineering‑kant kunnen custom Spark profielen, live pools en Python notebooks worden ingezet om wachttijd én CU‑verbruik te verminderen. Ook dit is een belangrijke verbetering, vooral voor klanten die werken met goedkopere licenties of efficiënter en duurzamer willen werken.
Met Fabric data agents kun je in ‘gewone mensen taal’ allerlei vragen stellen over je data
Integratie van AI en de rol van data-agents
Opvallend was de enorme focus op de integratie van AI binnen Fabric, vindt Oscar Koster, Data & AI engineer bij New Nexus. Door de ontwikkeling van agents als specialist op je eigen data kun je deze nu in ‘gewone taal’ allerlei vragen stellen. Dit maakt het voor gebruikers veel gemakkelijker om met hun data te communiceren en hier snel waardevolle inzichten uit te halen. Je kunt de agents eenvoudig koppelen aan Lakehouses en Warehouses, maar ook aan Eventhouses voor real-time data en Semantic Models in Power BI. Door de agents vervolgens te koppelen aan Teams of Copilot creëer je een nog gebruiksvriendelijkere interface, wat de adoptie van AI vergemakkelijkt.
Alle collega’s zijn het er over eens dat het goed preppen van je data een belangrijke voorwaarde is voor effectief gebruik van AI. Want zonder goed beschreven semantische modellen (context, definities, voorbeelden) blijft het oppervlakkig en duur. Gelukkig zetten wij standaard al in op duidelijke semantische modellen, want daarmee haal je veel meer waarde uit je data en wordt alles verderop efficiënter. Daarnaast zagen we hoe je met slim gebruik van MCP-tools AI nog beter voor je kunt laten werken en kosten kunt besparen.
Verbeterde beveiliging en governance
Wie AI zegt, denkt beveiliging en governance, wat cruciaal is voor elke organisatie die met data werkt. Microsoft heeft aanzienlijke stappen gezet in het verbeteren van deze aspecten binnen Fabric. Zo werd veel nadruk gelegd op de OneLake security, die nu geavanceerdere beveiligingsmogelijkheden biedt: van folder- en tabelbeveiliging tot kolom- en rijbeveiliging. Daarmee kunnen organisaties de toegang tot gegevens op een veel gedetailleerder niveau beheren om te voldoen aan strenge privacy- en compliance-eisen.
Daarnaast werden er nieuwe governance-tools gepresenteerd, zoals de OneLake catalog. Hiermee kun je je data niet alleen beter beheren, maar ook de complexiteit van je datamanagement verminderen.
We kregen veel bevestiging én nieuwe ideeën om ons eigen Fabric Basis Framework te versterken en versnellen
Integratie tussen analytisch en operationeel
Een andere interessante ontwikkeling is de integratie van operationele en analytische processen. Sebastiaan ziet veel potentie in deze ’translytical’ beweging. De komst van SQL DB, CosmosDB en de write‑back via UDF maken het mogelijk om operationele en analytische data op één platform te verwerken en zo besluitvormingsprocessen voor de organisatie te versnellen.
Natuurlijk zijn er nog verbeterpunten, zoals het ontbreken van backup/restore functionaliteit, trage opstart bij private link en te veel user-owned objecten. Fabric mag dan zo goed als volwassen zijn, maar ook volwassenen zijn nooit uitgeleerd. Dus ook aan deze oplossingen wordt door Microsoft en door ons gewerkt.
Fabric Basis Framework als gebruiksklare oplossing
Bij New Nexus hebben we niet alleen kennis van de nieuwste ontwikkelingen binnen Microsoft Fabric, maar hebben we ook ons eigen Fabric Basis Framework ontwikkeld. Dit framework biedt een voorgeconfigureerde, gebruiksklare oplossing voor de implementatie van Fabric en is gebaseerd op de best practices die we de afgelopen jaren hebben opgedaan met governance, prestatieoptimalisatie en AI-integratie. Dit betekent dat klanten snel met Fabric kunnen starten om waarde uit hun data te halen, zonder dat ze zich zorgen hoeven te maken over de technische details of beperkingen van het platform.