Azure Purview Installation und Konfiguration
In diesem Deep Dive befassen wir uns mit der Data Governance Lösung von Microsoft und demonstrieren die Azure Purview Installation und Konfiguration.
Was ist Azure Purview?
Data Governance steht für das ganzheitliche Management von Daten, die in einer beliebigen Organisation verwendet werden. Richtlinien und Vorgehensweisen werden eingerichtet, um die Qualität, den Schutz und die Sicherheit der Daten zu gewährleisten. Gleichzeitig soll die Data Governance für die Einhaltung rechtlicher Vorgaben sorgen.
Microsoft Azure Purview ist ein Cloud-Dienst von Microsoft und das Werkzeug, um die im Rahmen der Data Governance definierten Richtlinien, Rollen und Standards zu realisieren. Mit dem entstehenden Datenkatalog kann jeder Mitarbeiter der Organisation schnell und effektiv die für ihn relevanten Daten identifizieren.
Azure Purview verschafft der Organisation einen detaillierten Überblick über die gesamte Daten-Wertschöpfungskette des Unternehmens – unabhängig davon, ob die Ausgangsdaten im eigenen Rechenzentrum oder in Cloud-Speichern und -Anwendungen liegen. Sämtliche Daten lassen sich automatisiert ermitteln und klassifizieren. Zudem wird ein Daten-Stammbaum erstellt, der transparent alle Verarbeitungs- und Transformationsschritte von den Ursprungsdatendaten bis zum aggregierten Datenobjekt darstellt.
Installation
Sofern noch kein Azure Konto existiert, legen Sie ein Konto an. Anderenfalls loggen Sie sich in Ihr Azure-Konto ein. Im Azure Konto ist zunächst eine Ressourcengruppe anzulegen. Klicken Sie im Folgenden oben in die Suchleiste und wählen in der darunter auftauchenden Gruppe die Option "Ressourcengruppe" und "Erstellen" anschließend die Ressourcengruppe:
Wählen Sie anschließend das Abonnement aus und vergeben "Namen" und "Region".
Erstellen Sie innerhalb dieser Ressourcengruppe eine Azure Purview Ressource:
Suchen Sie dazu in den Ressourcen nach "Azure Purview" und klicken "erstellen":
Erfassen Sie nun folgende Felder: Abonnement, wählen die zuvor erstellte Ressourcengruppe, Name und Region/Standort. Der Name der verwaltenden Ressourcengruppe wird automatisch erstellt und kann beibehalten werden.
In Azure sieht man nun das neue Purview Konto und kann dazu das Purview Studio öffnen.
Direkter Zugriff auf Azure Purview ist über die Ressource oder die URL möglich: https://web.purview.azure.com
Azure validiert die verwendeten Parameter. Nach erfolgreicher Prüfung klicken Sie im Anschluss auf "Erstellen".
Azure Purview Installation - Schlüsseltresor erstellen
Um verschiedene Verbindungen zu lokalen (On-Premise) oder Azure SQL-Datenbanken (Azure Cloud) zu ermöglichen, legen wir einen Schlüsseltresor an.
Im folgenden Schritt wählen wir "Abonnement" und "Ressourcengruppe" aus, wie zuvor definiert:
Im neu angelegten Schlüsseltresor muss eine Zugriffsrichtlinie erstellt werden. Hier wird das Purview Konto hinzugefügt. Dies ist für den Zugriff auf die jeweiligen Daten erforderlich und erlaubt anschließend das Abrufen und das Reporting über Daten.
Wählen Sie daraufhin in den Schlüsselverwaltungsvorgängen "Abrufen" und "Auflisten" aus.
Unter "Prinzipal" ist das Purview Konto auszuwählen und hinzuzufügen.
Azure Purview Installation - registrieren einer neuen Quelle
Im nächsten Schritt können nun verschiedene Quellen / Sources registriert werden. Dazu navigieren wir im Purview Studio zu Data Map | Quellen | Registrieren.
Im Folgenden werden ein lokaler SQL-Server (eigene Domäne), ein Azure SQL Server und PowerBi registriert. Damit liegt ein Testdatenbestand vor, mit dem die Purview Funktionalität genutzt werden kann.
Wählen Sie nun einen Quellentyp aus. In unserem Beispiel entscheiden wir uns zunächst für einen lokalen SQL Server.
Füllen Sie das Formular auf der Seite Quellen registrieren - Register Sources (SQL Server) aus. Legen Sie einen Namen fest, bestimmen den Server endpoint und wählen anschließend ggf. eine Collection aus.
Darstellung in der Data Map
Azure Purview Data Map bildet die Grundlage für die Datenermittlung und eine effektive Datengovernance. Purview Data Map ist ein cloudnativer PaaS (Platform-as-a-Service) Dienst, der Metadaten zu Unternehmensdaten in Analyse- und Betriebssystemen erfasst – sowohl lokal als auch in der Cloud. Durch das integrierte automatisierte Überprüfungs- und Klassifizierungssystem wird Purview Data Map automatisch auf dem neuesten Stand gehalten. Geschäftsbenutzer können Purview Data Map über eine intuitive Benutzeroberfläche konfigurieren und verwenden, während Entwickler mithilfe Open-Source-basierter Apache Atlas 2.0-APIs programmgesteuert mit Data Maps interagieren.
Azure Purview Data Map bildet die Grundlage für Purview Data Catalog und Purview-Datenerkenntnisse als einheitliche Umgebungen innerhalb von Purview Studio.
Installation der Self-hosted Runtime
Um eine erfolgreiche Verbindung zwischen Azure und dem lokalen SQL-Server zu erstellen, ist die Self-Hosted Integration Runtime auf dem Zielsystem zu installieren.
Vergeben Sie einen Namen und / oder eine Beschreibung und klicken "Erstellen".
Im nächsten Schritt laden Sie den Installer herunter. Halten Sie zur Installation den Authentication Key bereit und führen anschließend den Installer aus:
Stimmen Sie der Lizenzvereinbarung zu und klicken auf weiter. Anschließend bestimmen Sie den Pfad und klicken weiter.
Führen Sie daraufhin die Installation durch.
Tragen Sie nun den Authentication Key ein und registrieren damit die Integration Runtime (Self-hosted):
Nach der Eingabe des Keys klicken Sie auf "Finish":
Den Authentication Key ist im Purview Studio unter Data Maps | Integration Runtimes einsehbar:
Während die Integration Runtimes im Purview Studio wie folgt angezeigt werden:
Der Microsoft Integration Runtime Configuration Manager sollte sich nun wie folgt darstellen:
Die Verbindung zwischen lokalem SQL Server und Azure Purview ist damit zunächst abgeschlossen.
Anlegen von Credentials im Purview Studio
Zunächst ist die Verbindung zum Schlüsseltresor herzustellen:
Einen Namen vergeben, die Subscription des entsprechenden Schlüsseltresors wählen und erstellen klicken:
Nun kann für die Connection ein neues Credential angelegt werden:
Für das neue Credential vergeben Sie einen Namen und wählen in diesem Fall eine "SQL Authentication" als Authentifizierungsmethode. Für das Passwort wird der Schlüsseltresort genutzt. Dazu wählend wir den zuvor verbundenen Schlüsseltresor aus und vergeben einen "Secret name" (in diesem Fall verwenden wir den gleichen Namen wie User-Name):
Erstellen Sie nun im Schlüsseltresor ein neues Geheimnis (Secret). Dazu wechseln Sie zum Tresor und klicken unter "Geheimnisse" auf "Generieren":
Verwenden Sie denselben Namen wie im Purview Studio zuvor als Usernamen und legen ein Passwort fest.
Geben Sie in der SQL-Authentifizierung den zuvor erstellten Usernamen/Passwort an:
Für jede Datenbank, die Sie in Azure Purview analysieren lassen möchten, muss der User die "Database role membership" db_datareader zugeteilt bekommen.
Scan durchführen
Nun können Sie den Scan durchführen und dazu einen Namen vergeben, die Integration Runtime und das neu erstellte Credential auswählen:
Prüfen Sie die Verbindung zur Datenbank unter Test Connection. Dieser Test sollte erfolgreich durchgeführt werden.
In einem Azure Purview-Katalog können Sie Überprüfungsregelsätze erstellen, damit Sie die Datenquellen Ihrer Organisation schnell überprüfen können.
Ein Überprüfungsregelsatz ist ein Container zum Gruppieren eines Satzes mit Überprüfungsregeln, damit Sie diese leicht einer Überprüfung zuordnen können. Beispielsweise können Sie einen Standard-Überprüfungsregelsatz für jeden Datenquellentyp erstellen und diese Sätze dann standardmäßig für alle Überprüfungen in Ihrem Unternehmen verwenden. Ggf. möchten Sie auch zulassen, dass Benutzer mit den passenden Berechtigungen je nach geschäftlicher Anforderung weitere Überprüfungsregelsätze mit anderen Konfigurationen erstellen können.
Nach "Continue" wählen Sie den zu verwendenden Überprüfungsregelsatz aus:
Im folgenden Schritt wählen Sie, ob Sie den Scan einmalig durchführen möchten bzw. automatisch, zyklisch aktualisieren lassen wollen. Für unser Testszenario wählen wir einen einmaligen Scan.
Nach erfolgreichem Scan gibt ein Insights-Dialog eine erste Übersicht:
Mit dem Data Catalog von Azure Purview maximieren Sie den geschäftlichen Nutzen von Daten für Ihre Datenconsumer. Hier können Sie vertraute geschäftliche und technische Suchbegriffe verwenden, um Daten problemlos auffindbar zu machen. Dabei unterstützt Sie die interaktive Visualisierung in der Nachvollziehbarkeit der Datenherkunft. Stellen Sie Ihren Analysten Daten zur Verfügung, die sie für BI, künstliche Intelligenz oder maschinelles Lernen benötigen.
Das Durchsuchen eines Data Catalog eignet sich hervorragend für die Datenermittlung, wenn der Datenconsumer weiß, wonach er sucht. Häufig wissen Benutzerinnen jedoch nicht genau, wie ihre Daten strukturiert sind. Aus diesem Grund bietet der Azure Purview Data Catalog eine Suchfunktion, mit der Benutzerinnen untersuchen können, welche Daten für sie verfügbar sind. Dies erfolgt nach Sammlung oder durch Durchlaufen der Hierarchie jeder Datenquelle im Data Catalog.
Azure Purview - Was ist ein Data Catalog?
Power BI mit Azure Purview verbinden
Sowohl das Volumen als auch die Geschwindigkeit der Enterprise Data Landschaft nimmt weiter zu. Unternehmen nutzen Daten, um fundierte Geschäftsentscheidungen zu treffen und auf dem sich entwickelnden Markt von heute zu bestehen. Es ist wichtig, sich einen genauen und zuverlässigen Überblick über die Daten des Unternehmens zu verschaffen, da anhand dieser Daten geschäftskritische Entscheidungen getroffen werden. Die Integration zwischen Azure Purview und Power BI ermöglicht eine größere Datenagilität. Mit der Power BI Integration sind Datenkonsumenten in der Lage, wertvolle, vertrauenswürdige und sensible Daten zu finden und Analytikern eine End-to-End-Datenherkunft bereitszustellen, auf deren Basis wichtige Geschäftsmetriken erstellt werden können.
Power BI in der Data Map registrieren
Zunächst ist Power BI in der Data Map zu registrieren:
Im Active Directory muss für Power BI eine neue Sicherheitsgruppe angelegt und das Azure Purview Konto als Mitglied hinzugefügt werden. Passen Sie die Gruppe wie folgt an und wählen unter "Besitzer" das entsprechende Purview Konto aus:
Für die Konfiguration benötigen Sie Admin-Rechte in Power BI. Fügen Sie die neue angelegte Sicherheitsgruppe nun im Power BI hinzu.
Wählen Sie Administrator-API-Einstellungen > Dienstprinzipalen die Verwendung schreibgeschützter Power BI – Administrator-APIs gestatten aus, dann sie Sicherheitsgruppe angeben
Wählen Sie Admin-API-Einstellungen > Admin-API-Antworten mit Metadatendetails erweitern aus. Aktivieren Sie dann den Schalter, damit Purview Data Map automatisch die Metadatendetails von
Power BI-Datensätzen als Teil seiner Scans erkennt.
Nach dem die Einstellungen angepasst wurden, warten Sie ca. 15 Minuten. In dieser Zeit wird ein neuer Scan angelegt. Standardmäßig findet das System den Power BI-Mandanten, der in demselben Azure-Abonnement vorhanden ist. In der Data Map unter der registrierten PowerBI Quelle den Scan starten.
Vergeben Sie einen Namen für den auszuführenden Scan. Die Testconnection muss auch in diesem Fall "grün" sein.
Der Scan Trigger setzen wir auf "Once" und warten auf das Ergebnis der Purview Scans:
Erweiterte Metadaten in Power BI DataSets
Wählen Sie ein Power BI-Dataset aus Ihrem Suchergebnis aus, um die sensiblen Bezeichnungen und die Empfehlungsmetadaten anzuzeigen. Zu den zusätzlichen Geschäftsmetadaten gehören die Dataset-Benutzerkonfiguration, die Erstellung von Datum und Uhrzeit und die Beschreibung.
Auf der Registerkarte Schema sehen Sie die Liste aller Tabellen, Spalten und Kennzahlen, die im Power BI-Dataset erstellt wurden.
Nachverfolgen der Datenherkunft
Zusätzlich zu den technischen und geschäftlichen Metadaten bringt der Scan des Power BI-Mandanten in Purview eine End-to-End-Datenherkunft, sodass Datenkonsumenten eine Vielzahl von zukunfts- und rückwärtsgerichteten Szenarien durchführen können, z. B. eine Root-Cause- bzw. eine Impact-Analyse.
Das Purview Studio zeigt unter Data Catalog | Browse Assets nun die Inhalte an.
Beginnen Sie einfach mit der Eingabe des Namens des Power BI-Assets in das globale Suchfeld oder verwenden Sie die strukturierte Suchfunktion, um die richtigen Power BI-Assets in Purview zu finden. Geben Sie einfach das Schlüsselwort Ihres Power BI-Datasets, -Datenflusses, -Berichts oder -Dashboards an, damit die intuitive Suche von Purview automatisch abgeschlossen und das Asset nach Relevanz basierend auf Bestätigung und Vertraulichkeitsbezeichnung gefunden wird. Mit wenigen Klicks können Sie die Suchergebnisse auf bestimmte Power BI-Assets in Purview eingrenzen.
Hinzufügen einer Azure SQL Datenquelle zu Azure Purview
Neben der bereits gezeigten Berücksichtigung einer lokalen SQL-Server Instanz in unserem Azure Purview Data Catalog, zeigen wir zum Abschluss noch die Registrierung eines Azure SQL Servers:
Vergeben Sie einen Namen, wählen ggf. eine Subscription, selektieren dann den Azure SQL-Server. Der Endpoint wird automatisch hinzugefügt.
Im folgenden Schritt legen Sie eine Credential und ein neues Geheimnis im Schlüsseltresor an. Die Konfiguration erfolgt wie zuvor beim lokalen SQL-Server. Nach der Konfiguration erfolgt der Scan über das Symbol des Azure SQL-Servers:
Benennen Sie den durchzuführenden Scan, wählen die Runtime aus. Der Endpoint wird aus dem zuvor gewählten Server bestimmt. Wählen Sie die Datenbank und die neuen Credentials aus und bestätigen Sie mit "Continue", sofern der Test der Verbindung erfolgreich war und ein grüner Haken angezeigt wird.
Wählen Sie ein eigenes oder das Default Rule-Set für die Azure SQL Datenbank aus und setzen den Trigger auf "Once":
Die Ergebnisse des Scans stehen wie zuvor im Data Catalog zur Verfügung und können nun zu Analysezwecken genutzt werden.
Mit Microsoft Azure Purview zu einer besseren Data Governance
Azure Purview ist eine Data-Governance-Lösung, die Ihnen zu einem ganzheitlichen Überblick über Ihre Daten verhilft und somit die Verwaltung Ihrer Unternehmens-Datenlandschaft enorm vereinfacht und wie eine zentrale Clearingstelle fungiert.
Purview ist kompatibel mit On-Premises, Hybrid Cloud, Multi Cloud oder Public Cloud Setups wie Azure Synapse und kann so sicherstellen, dass alle Daten entlang der Datenpipeline – von IoT-Rohdaten bis zu verarbeiteten Daten aus Power BI – berücksichtigt werden. Azure Purview erkennt, dokumentiert im Data Catalog und verfolgt diese Daten und analysiert, wie sie geteilt werden und wer Zugriff auf sie hat. So können beispielsweise Zugriffsberechtigungen dynamisch angepasst werden und Daten in Ihrem Unternehmen stets sicher und konform sind.
Vor allem datenintensive Technologien wie Big Data und Business Intelligence können aufgrund von Azure Purview mit einem deutlich höheren Maß an Vertrauen eingesetzt werden.
Autor: DEHU/LED