Azure voor Beginners - Een Azure Storage Account maken
Waarschijnlijk heeft u de namen Azure en/of AWS wel eens voorbij horen komen, maar wat zijn ze eigenlijk? En waar worden ze voor gebruikt? Azure en AWS (Amazon Web Services) zijn twee van de meest toonaangevende cloud computing-platformen die respectievelijk door Microsoft en Amazon worden aangeboden. Zowel Azure als AWS worden zakelijk veel gebruikt voor onder andere dataopslag, data verwerking en data analyse. Een veelvoorkomend probleem voor beginners is dat deze platformen erg veel functies bevatten. Sterker nog, ze bevatten zoveel functies dat het overweldigend kan zijn om een start te maken.
In dit artikel richten we ons op Azure. We helpen u bij het maken en gebruiken van een van de meest fundamentele functies van Azure: een storage-account (opslagaccount).
Let op: het uiterlijk van Azure verandert regelmatig. Uw scherm ziet er mogelijk net iets anders uit dan op de afbeeldingen in deze handleiding. Sommige functies zijn bijvoorbeeld mogelijk naar een ander tabblad verplaatst, maar de algemene stappen zullen hetzelfde zijn.
Let op: deze beginnershandleiding is gemaakt op basis van de Engelstalige UI. Om deze reden zullen wij in dit artikel de Engelse benamingen hanteren.
Let op: houd er rekening mee dat de services binnen Azure betaalde services zijn. De kosten zijn afhankelijk van uw gebruik en configuratie. (Meer informatie vindt u hier.) Het is verstandig om dit te doen onder toezicht van een databasebeheerder of een data-engineer.
Azure Storage Account
Een van de eerste dingen die u in Azure wilt doen, is een storage account maken. Een Azure storage account biedt toegang tot een schaalbare en veilige objectopslagservice voor uw data. Het biedt verschillende typen opslagservices, waaronder blobs, files, queues en tables. In de praktijk worden dergelijke accounts vaak gebruikt om bestanden op een beveiligde te delen met zakelijke klanten of tussen verschillende teams binnen een organisatie. Ook kan het een goede uitkomst zijn voor een geautomatiseerde gegevensopslag.
Navigeer na het inloggen naar Storage accounts. U kunt dit op verschillende manieren doen. Een van de makkelijkste manieren is dit via de knop 'Create a resource' in de linkerbovenhoek van het startscherm te doen.
Klik vervolgens linksonder op 'Storage' en vervolgens op de knop 'Storage account'.
Als dit uw eerste Azure storage account is, klikt u op de blauwe knop in het midden van het scherm. Als u al een opslagaccount heeft klikt u op de knop '+ Create' in de linkerbovenhoek.
De setup van uw nieuwe opslagaccount zal u door verschillende stappen leiden, verdeeld over meerdere categorieën. Deze categorieën worden weergegeven op de tabbladen bovenaan. (Basics, advanced, networking, etc.) Uiteraard beginnen we op het tabblad Basics. Selecteer uw abonnement en klik op 'Create new' om een nieuwe Resource group te maken.
Hier verzint u een naam voor uw nieuwe resource group.
Vervolgens zult u ook een naam moeten verzinnen voor uw nieuwe storage account. De naam mag alleen kleine letters en cijfers bevatten. (Dus geen spaties.) Deze naam moet ook uniek zijn; u kunt dus geen naam gebruiken die al door een andere gebruiker is ingenomen.
Na het kiezen van een naam zult u een regio moeten selecteren voor uw storage account. Dit is een zeer belangrijke stap, omdat u in feite de locatie van het datacenter voor uw data kiest. Wanneer u toegang wilt tot uw bestanden wordt dat vanuit dat specifieke datacenter gedaan. Als u een regio kiest die ver van u verwijderd is zal het ophalen van uw data uiteraard langer duren.
Het kiezen van een regio is echter niet altijd zo makkelijk als het kiezen van de regio het dichts bij u in de buurt. Als u bijvoorbeeld een storage account wilt aanmaken namens uw klant zult u uiteraard ook rekening moeten houden met de lokatie van uw klant. Wat als u met andere teams verspreid over de hele wereld werkt en de data vanaf verschillende locaties moet worden opgevraagd? Dergelijke factoren kunnen zo'n keuze behoorlijk lastig maken. Afhankelijk van de behoeften van uw bedrijf is het ook heel goed mogelijk dat er meerdere datacenters in verschillende regio's moeten worden gekozen. Voor onze beginnershandleiding kiezen u de locatie die het dichtst bij u in de buurt ligt. Als u geen idee hebt welke regio u moet kiezen, kunt u deze tool gebruiken om te zien welke regio u de hoogste snelheden geven. (Lagere latency is beter.)
Vervolgens zult u een aantal beslissingen moeten nemen over het type storage account dat u nodig zult hebben. Ten eerste zult u moeten kiezen tussen een standard of premium storage account.
• Standard accounts zijn ideaal voor de meeste scenario's. In een standaard V2-account voor algemeen gebruik heeft u toegang tot alle vier storage subresources: blobs, files, queues, and tables.
• Premium accounts zijn bedoeld voor lage latency scenario's. Hiermee zult u uw bestanden dus heel snel kunnen ophalen. Als u kiest voor een premium account, zult u moeten kiezen welke service u premium wilt maken (block blobs, file shares, or page blobs) en het redundancy type (locally- or zone-redundant storage).
Voor deze beginnershandleiding kiezen we voor een standard account, omdat dit in de meeste situaties genoeg zal zijn. Als u echter klanten of services hebt die sterk afhankelijk zijn van deze opslag, kunt u beter voor een premium account kiezen. Hier hangt uiteraard een hoger prijskaartje aan vast.
De laatste beslissing op voor het Basics tabblad gaat over het niveau van redundancy voor de data in uw storage account. Data redundancy komt neer op het opslaan van uw data op minimaal twee plekken binnen een data storage, zodat wanneer er iets gebeurt met uw data (bijv. tijdelijke hardwarestoringen, netwerk- of stroomuitval of zelfs natuurrampen) u een kopie van uw data heeft om op terug te vallen. Microsoft geeft aan om deze reden standaard altijd meerdere kopieën van uw data op te slaan, maar afhankelijk van uw behoeften biedt Microsoft u verschillende opties als het gaat om redundancy. Dit komt uiteindelijk neer op afwegingen tussen lagere kosten en hogere beschikbaarheid:
• Locally-redundant storage (LRS) - Uw data wordt drie keer synchroon gekopieerd binnen één fysieke locatie in de primaire regio. Dit biedt een sterke weerstand tegen hardwarestoringen zoals serverrack en drive storingen, maar als er iets gebeurt met het data center zelf, zoals een natuurramp, kan uw data verloren gaan. LRS is niet de beste optie als u een hoge beschikbaarheid of duurzaamheid van uw data nodig heeft. Het is de goedkoopste optie van alle redundancy opties.
• Zone Redundant Storage (ZRS) - Uw data wordt synchroon gekopieerd over drie Azure-beschikbaarheidszones in de primaire regio. Elke beschikbaarheidszone is een data center op een afzonderlijke fysieke locatie, met zijn eigen onafhankelijke stroomvoorziening, koeling en netwerk. Dit biedt sterke bescherming binnen één Azure-regio. Dit wordt aanbevolen voor scenario's die een hoge beschikbaarheid vereisen.
• Geo-redundant storage (GRS) - Uw data wordt drie keer synchroon gekopieerd binnen een enkele fysieke locatie in de primaire regio met behulp van LRS, waarna uw data asynchroon wordt gekopieerd naar een enkele fysieke locatie in een secundaire regio die honderden kilometers verwijderd is van de primaire regio. Dit is een uitstekende keuze voor failoverscenario's. Het biedt read-only toegang tot data in de secundaire regio, wat bescherming biedt in gevallen van regionale onbeschikbaarheid van de primaire regio. (Bijvoorbeeld natuurramp of stroomuitval.)
• Geo Zone Redundant Storage (GZRS) - Uw data wordt gekopieerd over drie Azure-beschikbaarheidszones in de primaire regio. De data wordt vervolgens ook gerepliceerd naar een secundaire geografische regio. Dit biedt een goede bescherming tegen regionale rampen. Het combineert in principe GRS en ZRS. Het is de optimale gegevensbeschermingsoplossing op het Azure-platform en biedt ook read-only toegang tot gegevens in de secundaire regio. Dit is de duurste optie.
Voor onze beginnershandleiding kiezen we Locally-redundant storage (LRS).
Advanced Tab
Op Advanced tabblad zult u belangrijke beveiligingsinstellingen voor uw storage account kunnen configureren, evenals instellingen die specifiek zijn voor de blobs en bestandsservices. Tenzij uw situatie specifiek om een uitzondering vraagt, kunt u de meeste instellingen ongewijzigd laten.
Als uw situatie bijvoorbeeld vraagt om een veilige manier om bestanden te verplaatsen, zult u mogelijk een vinkje zetten naast Enable SFTP en een vinkje naast Enable hierarchical namespace. Voor deze beginnershandleiding laten we ze echter leeg.
Hierna zult een keuze moeten maken voor de standaard toegangslaag voor uw blob storage. Tenzij u uw blob storage gebruikt voor het opslaan van back-ups van uw data, wat betekent dat u deze bestanden niet regelmatig gebruikt, kunt u het beste kiezen voor hot storage. Hoewel de opslagkosten voor hot storage wel hoger zijn dan dan die voor cold storage zijn de toegangskosten voor hot storage dan weer lager dan die voor cold storage.
Daaronder vindt u een optie om het delen van grote bestanden in te schakelen voor uw storage account. Als deze optie is aangevinkt, kan dit worden opgeschaald tot 100 terabyte. Dit geldt alleen voor standaard file shares, omdat alle premium file shares standaard al kunnen opschalen tot 100 terabyte.
Networking Tab
Op het Networking tabblad kunt u de netwerktoegang tot het opslagaccount instellen.
Eerst zult u moeten kiezen hoe u wilt dat uw storage account kan worden benaderd. Wilt u dat uw storage account kan worden benaderd vanaf alle netwerken, vanaf een specifieke set virtuele netwerken (u kunt hier het virtuele netwerk en het subnet toevoegen) of alleen via een privé-eindpunt? Voor deze beginnershandleiding kiezen we Enable public access from all networks.
Vervolgens zult u moeten kiezen hoe uw verkeer naar uw storage account zal worden geleid. In de meeste situaties is het verstandig om hier Microsoft network routing te kiezen, omdat het de netwerkmogelijkheden van Microsoft zelf gebruikt om uw gegevens veilig te verzenden. Als u voor Internet routing kiest, houdt u uw data tot het laatste mogelijke moment uit het Azure-netwerk (en op het openbare Internet). Als u niet zeker weet welke optie u moet kiezen, is het goed om te weten dat u de instellingen op dit tabblad nog kunt wijzigen nadat u uw storage account heeft aangemaakt. Voor onze beginnershandleiding kiezen we Microsoft network routing.
Data Protection Tab
Het volgende tabblad heet Data protection, wat gaat over het beschermen van uw gegevens tegen onbedoelde verwijdering of wijzigingen, en over versiebeheer en het bijhouden van wijzigingen. Alle instellingen op dit tabblad kunnen later worden gewijzigd indien nodig.
De eerste instellingen die we zien, gaan over het herstellen van uw gegevens na onbedoelde of foutieve verwijdering of wijziging. Standaard zijn soft delete-instellingen voor blobs, containers en file shares ingeschakeld, met een bewaartermijn van zeven dagen. Dit betekent dat als de data in uw blob is verwijderd (soft-deleted) of overschreven zijn, of als uw container of data is verwijderd door u of een andere gebruiker van het storage account, u de data kunt herstellen naar de staat waarin het zich bevond op het moment dat het werd verwijderd. U zult dit echter wel binnen de specifieke bewaartermijn doen. Wanneer de bewaartermijn verloopt, wordt de data permanent verwijderd en kan het niet meer worden hersteld.
Indien u nog meer bescherming nodig heeft, kunt u point-in-time restore for containers inschakelen. Hiermee kunt u een of meer containers terugzetten naar een eerdere staat. Hiervoor zult u ook een bewaartermijn moeten opgeven (tussen 1 en 19 dagen). Om deze optie in te schakelen, moet u ook versioning, blob change feed en blob soft delete inschakelen. (Zie hieronder.)
Hierna zult u moeten kiezen of u moeten we kiezen of we versioning (versiebeheer) en change feed voor blobs wilt inschakelen. Met versioning zult u eerdere versies van een blob kunnen openen om uw gegevens te herstellen als deze zijn gewijzigd of verwijderd. Omdat elke write operation naar een blob resulteert in de creatie van een nieuwe 'versie', kan het inschakelen van versioning behoorlijk duur worden als u geen lifecycle management-beleid heeft ingesteld om oude versies automatisch te verwijderen. Voor deze beginnershandleiding laten we beide opties uitgeschakeld.
• Versioning geeft u toegang tot eerdere versies van een blob om uw gegevens te herstellen als deze zijn gewijzigd of verwijderd.
• Door change feed in te schakelen worden transactielogs aangemaakt wanneer u een wijziging aanbrengt in de blob (en blob-metadata) in uw storage account.
Ten slotte heeft u de optie om version-level immutability support op account-niveau in te schakelen. Met deze betaalde optie kunt u uw bedrijfskritische data opslaan in een WORM-status (Write Once, Read Many). Wanneer deze gegevens in een WORM zijn opgeslagen, kunnen ze gedurende een bepaald interval niet worden gewijzigd of verwijderd. Er zijn twee varianten: time-based retention policies en legal hold policies. Met het voorgenoemde kunt u beleid instellen om gegevens gedurende een bepaald interval op te slaan, waarna ze kunnen worden verwijderd maar niet overschreven. Met het laatstgenoemde kunt u een wettelijke bewaarplicht opgeven, waarbij uw gegevens onveranderlijk zijn totdat de wettelijke bewaarplicht expliciet wordt gewist. Tijdens de wettelijke bewaarplicht kunnen objecten worden gemaakt en gelezen, maar niet worden gewijzigd of verwijderd. Voor deze handleiding laten we deze optie uitgeschakeld.
Encryption Tab
Vervolgens gaan we naar het tabblad Encryption, dat gaat over, u raadt het al, encryptie van uw data. Ongeacht uw keuze zal uw data in uw Azure storage account worden versleuteld met 256-bit AES met GCM mode encryptie. Dit geldt ongeacht uw performance tier (standaard of premium), access tier (hot of cool), deployment model (Azure Resource Manager of classic) en resource type (blobs, disks, files, queues en tables).
U kunt ervoor kiezen om uw encryptiesleutels door Microsoft te laten beheren of dit zelf te doen:
• Microsoft-managed keys (MMK) - De data in uw storage account wordt versleuteld met door Microsoft beheerde sleutels.
• Customer-managed keys (CMK) - De data in uw storage account is versleuteld met uw eigen sleutels. Deze sleutels moeten worden opgeslagen in Azure Key Vault of Azure Key Vault Managed Hardware Security Model (HSM). U zult ook een user-assigned identity moeten aanmaken, welke helpt u om toegang te bieden tot andere bronnen, zoals Azure Key Vault.
Als u een tweede laag encryptie op hardwareniveau nodig heeft, plaatst u een vinkje naast enable infrastructure encryption. Hiermee wordt uw data versleuteld via 256-bits AES met CBC-encryptie op het Azure Storage-infrastructuurniveau. Deze extra laag encryptie beschermt uw data in het geval dat een van de encryptie-algoritmen of -sleutels wordt gecompromitteerd.
Voor onze beginnershandleiding kiezen we voor Microsoft-managed keys en laten we Enable infrastructure encryption uitgeschakeld.
Tags Tab
Op het Tags tabblad kunt u uw indextags instellen (indien nodig). Het gebruik van blob-indextags kan een goede optie zijn als u met veel data werkt. Als u veel blobs in uw opslagaccount heeft, kan het vinden van de exacte gegevens die u zoekt erg tijdrovend zijn. Met blob-indextags kunt u uw gegevens (dynamisch) categoriseren met behulp van key-value indextags, zodat u snel objecten in uw opslagaccount kunt vinden, zelfs in verschillende containers. Als u bijvoorbeeld alle data van een specifiek project ergens in uw opslagaccount wilt vinden, kunt u dit met tags snel en efficiënt doen. Voor onze beginnershandleiding gebruiken we geen tags.
Review + Create Tab
Finally we have arrived at the Review + create tab. Dit is een overzicht van alle keuzes die u tot nu toe heeft gemaakt m.b.t. uw storage account.
Uw antwoorden zullen automatisch worden gevalideerd wanneer u naar dit tabblad overschakelt. Als een antwoord niet aan de vereisten voldoet, ziet u een bericht, samen met een rood kruis naast het tabblad waar het foute antwoord zich in bevindt.
Nadat u alles heeft gecontroleerd klikt u op 'Create' om uw nieuwe storage account aan te maken.. Het kan even duren voordat de implementatie is voltooid. Als dit is gelukt, ziet u het onderstaande scherm. Hier kunt u op Go to resource klikken om naar uw nieuwe storage account te gaan. Gefeliciteerd!
Bestanden naar onze Azure Storage Account uploaden
Na het openen van uw bron zult u gebombardeerd worden met opties, waarvan u de meeste waarschijnlijk nooit zult gebruiken. Wat we wel willen is bestanden opslaan in onze Azure Storage Account, waarvoor we een container zullen moeten maken. In Azure worden containers gebruikt om ongestructureerde data te organiseren en op te slaan. Wanneer we onze bestanden uploaden naar onze storage account, zullen ze in een container naar keuze worden geplaatst. Onze bestanden worden vervolgens opgeslagen als zogenaamde blobs (Binary Large Objects). De inhoud en indeling van onze bestanden blijven precies zoals ze voorheen waren, maar worden nu beheerd als blobs binnen de Azure infrastructuur. Indien we de bestanden weer naar onze computer zouden downloaden, zullen ze in hun originele bestandsformaat worden gedownload. Elke container kan een onbeperkt aantal blobs bevatten, maar de namen van de blobs binnen een container moeten uniek zijn. Om een analogie te gebruiken: als een opslagaccount op een harde schijf lijkt in onze computer lijkt, is een container als een (top-level) map, en is een blob een afzonderlijk bestand in die map.
Om een container aan te maken, klikt u op Containers in de zijbalk aan de linkerkant, en klikt u op de knop '+ Container'.
Hier zult u een naam moeten verzinnen voor uw nieuwe container, waarna u op de knop 'Create' klikt.
Als het u is gelukt een nieuwe container aan te maken, verschijnt deze in het containeroverzicht. Om de inhoud van uw container te zien, klikt u op de naam van uw nieuwe container.
In de linkerbovenhoek kunnen we zien dat we nu in onze nieuwe container zitten. We zullen nu enkele bestanden uploaden. In ons geval uploaden we de beroemde Northwind-dataset (in CSV-formaat), welke gratis beschikbaar is op Kaggle.com. Klik op de knop Upload.
Er zal een nieuw scherm verschijnen. Om onze bestanden te uploaden kunnen we ze eenvoudigweg naar het nieuw verschenen veld slepen, of we kunnen naar de locatie van deze bestanden op onze computer bladeren door op Browse for files' te klikken. Wanneer u dit heeft gedaan, klikt u op de blauwe knop 'Upload'.
Onze nieuwe zullen nu zichtbaar zijn in het overzicht. Hiermee zijn we aan het einde gekomen van dit deel van de Azure voor Beginners handleiding.
