Azure voor Beginners - Een Azure Data Factory maken

Als u onze Azure voor Beginners-serie volgt, heeft u al kennis gemaakt met Azure Storage Account en Azure SQL Database. Nu zullen we u een andere service voorstellen, genaamd Azure Data Factory. Net als de eerder genoemde services is Azure Data Factory een cloudgebaseerde dataservice die wordt aangeboden door Microsoft Azure. Waar Azure Data Factory van de andere twee verschilt, is dat het u helpt bij het verplaatsen en transformeren van uw data, en bij het automatiseren en plannen hiervan. Met behulp van Azure Data Factory kunnen we bijvoorbeeld de gegevens die we naar ons Azure Storage Account hebben geüpload, transformeren en verplaatsen naar onze Azure SQL Database. In dit deel van de handleiding Azure voor Beginners leiden we u door de stappen voor het maken van een Azure Data Factory.

Let op: het uiterlijk van Azure verandert regelmatig. Uw scherm ziet er mogelijk net iets anders uit dan op de afbeeldingen in deze handleiding. Sommige functies zijn bijvoorbeeld mogelijk naar een ander tabblad verplaatst, maar de algemene stappen zullen hetzelfde zijn.

Let op: deze beginnershandleiding is gemaakt op basis van de Engelstalige UI. Om deze reden zullen wij in dit artikel de Engelse benamingen hanteren.

Let op: houd er rekening mee dat de services binnen Azure betaalde services zijn. De kosten zijn afhankelijk van uw gebruik en configuratie. (Meer informatie vindt u hier.) Het is verstandig om dit te doen onder toezicht van een databasebeheerder of een data-engineer.

Nadat u bij Azure bent ingelogd, navigeert u naar Azure Data Factory. Dat kan op verschillende manieren. Een van de gemakkelijkste manieren is door op de knop 'Create a resource' in de linkerbovenhoek van het startscherm te klikken.

Vervolgens klikt u op Analytics in het menu links, en daarna op Create onder Data Factory.

Net als bij het gebruik van andere functies in het Azure-ecosysteem, leidt het maken van een Azure Data Factory ons door verschillende tabbladen. We beginnen met het tabblad Basics.

Selecteer uw subscription en daaronder uw resource group. Als u nog geen resource group heeft, maakt u er een aan via de link 'Create new' eronder.

Vervolgens zullen we onze nieuwe Data Factory instance een naam moeten geven. Net als bij het maken van een Azure Storage-account en een Azure SQL Database, zullen we ook een regio moeten kiezen. Ten slotte zullen we ook een Data Factory-versie moeten kiezen. Op het moment van schrijven zijn er slechts twee versies uitgebracht, waarbij V2 een verbeterde versie van V1 is. Als u de keuze heeft, raden wij u aan de nieuwste versie te kiezen.

Na het Basics tabbad gaan we verder naar het tabblad Git configuration. Git is een versiebeheersysteem dat veranderingen bijhoudt. Voor het instellen Git-integratie zult u uw Azure Data Factory met een Git-repository verbinden, wat een soort map in de cloud is waar u projectbestanden (over de structuur en organisatie van uw Data Factory) kunt opslaan, evenals de volledige revisie geschiedenis. Wanneer u in Azure Data Factory gaat werken worden de wijzigingen die u aanbrengt automatisch opgeslagen (als JSON-bestanden) in de aangesloten Git-repository, waardoor u versiebeheer kunt uitvoeren, gemakkelijker met anderen kunt samenwerken en kunt terugkeren naar een eerdere staat (indien nodig). Ook kunt u afzonderlijke branches in Git maken om aan verschillende delen van uw project te werken zonder de hoofdtak te beïnvloeden.

Door 'Configure Git later' uit te schakelen, krijgt u de mogelijkheid om een ​​repository (Azure DevOps of GitHub) te selecteren en te configureren.

We gaan verder naar het tabblad Networking waar we netwerktoegang tot de Data Factory kunnen definiëren.

U heeft de mogelijkheid om Managed Virtual Network on the default AutoResolveIntegrationRuntime in te schakelen. Als u deze functie inschakelt, wordt er een privé, geïsoleerde netwerkruimte gecreëerd welke wordt beheerd door Azure Data Factory, zodat alle door Azure Data Factory geregelde verplaatsingen en transformaties van uw data binnen deze netwerkomgeving worden uitgevoerd. Dit is eigenlijk een extra beveiligingslaag. Voor onze beginners handleiding vinken we deze optie niet aan.

Daarna zullen we moeten kiezen hoe we Azure Data Factory toegang tot onze data willen geven. Dit kan via een openbaar of privé-eindpunt. De eerste optie gebruikt het openbare internet om verbinding te maken met onze data, terwijl de laatstgenoemde optie een privé-IP-adres binnen het beheerde virtuele netwerk gebruikt, wat het veiliger maakt omdat onze data niet via het openbare internet zal reizen. Voor onze beginnershandleiding kiezen we voor 'Public endpoint'.

Op het tabblad Advanced kunnen we de encryptie configureren met behulp van een door de klant beheerde sleutel. Standaard wordt uw data versleuteld met door Microsoft beheerde sleutels. Op dit tabblad heeft u de mogelijkheid om uw eigen sleutels te gebruiken, welke in een sleutelkluis in dezelfde regio moeten worden opgeslagen. Voor onze beginnershandleiding laten we deze optie uitgeschakeld en gaan we naar het tabblad Tags.

Vergelijkbaar met wat we hebben gezien tijdens het maken van het Storage Account en de SQL-database, kunnen we op het tabblad Tags de tags instellen om onze bronnen te categoriseren. Tags worden toegepast op onze bron, in dit geval onze Data Factory. Als we meerdere Data Factories hebben, kunnen we met behulp van deze tags snel en efficiënt alle bronnen met specifieke tags vinden. Tags worden opgeslagen in sleutel-waardeparen. Als we bijvoorbeeld 'Department' in het veld Name en 'Finance' in het veld Value invoeren, vormen ze een sleutel-waardepaar. Of wat dacht u van 'Project' als Name en 'YourProjectName123' als Value. Als we vervolgens de kosten van dit project voor de financiële afdeling willen volgen, kunnen we via deze tags nu filteren op 'Department = Finance' en 'Project = YourProjectName123'. Voor onze beginnershandleiding slaan we de tags over en gaan we naar het tabblad Review + create.

Uiteindelijk zijn we aangekomen bij het tabblad Review + create, een overzicht van alle keuzes die we tot nu toe hebben gemaakt.

Nadat u uw antwoorden heeft gecontroleerd, klikt u op 'Create' om het proces te voltooien. Azure zal vervolgens starten met de implementatie van uw Data Factory. (Dit duurt meestal ongeveer 3 tot 4 minuten.) Zodra dit is gelukt zult u een soortgelijk scherm als hieronder te zien krijgen.

U heeft nu een Azure Data Factory aangemaakt. Om uw Data Factory te openen, klikt u op de 'Go to resource' knop.