Dienstag, 24. März 2015

Data Vault in der SQL Server Data Warehouse Welt

Meine Session auf der SQL Server Konferenz 2015 in Darmstadt zeigte mir, dass das Thema Data Vault durchaus polarisiert. Und da ich bei immer mehr Kundensituationen von uns auf Interesse zum Thema Data Vault treffe bzw. auch schon erste Architekturen vorfinde, möchte ich hier mal wieder ein paar Worte zu meiner Sicht der Lage äußern.

Meinem Verständnis nach brachte die Diskussion der letzten Monate um die Vor- bzw. Nachteile des Einsatzes der Data Vault Modellierung einen notwendigen frischen Wind in die Data Warehouse Welt. Und zwar jenseits des allgemeinen Big Data Hypes.

Data Vault kann durchaus als eine besondere Form des Stagings verstanden werden, wobei ich DV eher als einen Ansatz für die Modellierung eines Core Data Warehouses verstanden habe. Des Weiteren stellt Data Vault die rohen, unveränderten Daten in den Vordergrund. Die Idee dahinter ist, dass es keine einheitliche Wahrheit in einem Data Warehouse geben kann. Diese “Wahrheit” ist häufig durch eine Interpretation geprägt. Gerade die Suche nach der vermeintlich vorhanden Wahrheit in den Daten lässt viele Data Warehouse und Business Intelligence Projekte scheitern oder zumindest in Schönheit sterben.

Inwieweit passt nun die Data Vault Modellierung (& Nutzung) in die Microsoft Welt?

Das klassische Data Warehouse basiert auf relationalen Datenbanken. Die Bewirtschaftung mittels ETL- oder ELT-Strecke erfolgt meist mit einem Mix von SSIS und T-SQL Komponenten. Im Übrigen liegen häufig gerade in der Konzeptionierung der Strecke viele zukünftige (und zum Teil versteckte und damit nicht wahrgenommene) technische Schulden.

Eine bekannte Herausforderung bei DWH Projekten ist, dass sich diese häufig nicht wirklich eignen für agile Projektstrukturen. Auf der anderen Seite sterben viele DWH Projekte gerade wegen den sonst häufig starren Steuerungsstrukturen einen grausamen und meist auch teuren Tod. Es gibt mittlerweile eine Reihe von valide Ansätze den agilen Ansatz in die Data Warehouse Welt zu tragen, dennoch empfinde ich viele Ansätze, welche ich so vorfinde, als eher einen agil geprägten Projektverlauf, sprich völliges Chaos.

Data Vault kann tatsächlich mehr Agilität in DWH Projekte bringen. Ein Grundsatz im DV ist, dass es nur zusätzliche Objekte geben kann und keine Änderungen an bestehenden Strukturen durchgeführt werden. Durch diese und andere klare Regeln ist die Modellierung eines Data Vault erstaunlich stringent und passt sich dennoch dem unruhigen Fahrwasser im Datengeschäft an. 

Wichtig ist es dennoch nochmals hervorzuheben, dass ein Data Vault eben gerade nicht die traditionellen Data Warehouse Modellierungsmethoden ablösen will oder sollte. Meinem Verständnis nach ist es eine sinnvolle Ergänzung einer DWH Architektur. Primär wird sie von mir genutzt, um Quellen zu harmonisieren und ihre Strukturen homogen zu gestalten. Das vereinfacht die weitere Nutzung dieser Daten in der DWH Strecke ungemein. Gerade im Kontext Verarbeitung von Daten in Echtzeit kann diese Investition helfen.

Braucht nun wirkliches jedes (neue) Data Warehouse ein Data Vault? Eher nicht. Es kommt wie so häufig mal wieder drauf an.

Für mich ist der Grad an Stabilität eines geplanten Data Warehouses entscheidend. Inwiefern werden die Quellen als auch die Anforderungen stabil bleiben oder ist mit diversen Erweiterungen und Änderungen zu rechnen? Sofern diese Frage nicht beantwortet werden können oder die Antwort nicht belastbar genug ist, empfehle ich den Einsatz eines Data Vaults, um ein wenig Ruhe in die Strukturen zu bekommen.

In Abgrenzung zu klassischen DWH Modellierungen liefert das Data Vault Konzept auch Muster für die Bewirtschaftung mit. Unter anderem ist die Wiederholbarkeit von Bewirtschaftungsjobs möglich ohne sich mit der Herausforderung von möglichen Dubletten beschäftigen zu müssen. Wer sich schon länger mit DWH Umgebungen beschäftigt, weiß diese Eigenschaft durchaus schätzen zu lernen. 

Wenn wir kurz noch gedanklich in der SQL Server Welt bleiben, stellen sich natürlich Fragen, wie denn nun ein Data Vault zum Beispiel mittels der Analysis Services genutzt werden können. Diese erwarten ja einen klassischen Stern als Quelle. Meiner Erfahrung nach nutzen hier viele Anwender zurzeit die Option den Zugriff direkt mittels Views zu realisieren. Mit einer solchen Architektur bin ich nicht immer einverstanden, da ich gerade bei größeren Cubes hier durchaus Probleme bei der Verarbeitung erlebt habe. Häufig wird das Persistieren des Data Mart für einen Würfel als zu umständlich und zeitraubend angesehen. Es gilt noch belastbare Konzepte durch Lab Arbeit und Projekt Erfahrung zu sammeln, um diese Frage zufriedenstellend beantworten zu können.

Freitag, 6. Februar 2015

Dienstag, 9. Dezember 2014

10 Jahre SQL Server Usergroup in Hamburg – PASS Deutschland e.V. feiert !

Hallo PASS’ler im Norden,

hiermit möchten wir zu einem besonderen Treffen der Regionalgruppe Hamburg einladen!

Es gibt etwas zu feiern! Die PASS Deutschland besteht seit 10 Jahren, im Oktober haben wir uns in der Regionalgruppe zum 100. Mal getroffen und wir wollen mit Euch gemeinsam das Jahr gemütlich ausklingen lassen. Deswegen gibt es leckeres Essen und eine Verlosung von Überraschungspreisen.

Bitte bringt gern Kollegen und Freunde mit, die sich auch mit dem SQL Server beschäftigen. Wir freuen uns auf Euch!

Donnerstag, 11. Dezember 2014,
18:00 Uhr bis ca. 20:30 Uhr,
(Vortrag beginnt ab 18:30 und geht bis ca. 20:30 Uhr, davor sorgen wir dafür, dass ihr nicht verhungert…)

in der MICROSOFT Niederlassung Hamburg (Adresse unten)

Thema: SQL Server Data Tools für Datenbankentwickler von Peter Horst
”Wir werden das Entwickeln von Datenbankanwendungen mit den Microsoft SQL Server Data Tools kennenlernen. Themen wie Delta-Deployment auf unterschiedliche Datenbankschemaversionen, Refactoring, Code-Analyse & Datenbank Unit Test werden nicht fehlen.”

Wir treffen uns bei:
Microsoft Deutschland GmbH
Geschäftsstelle Hamburg
Gasstraße 6a
22761 Hamburg

Kostenlose Parkplätze befinden sich hinter dem Gebäude. Der Parkplatz ist
über die Rampe mit dem Schild "Microsoft Kunden" erreichbar.

Nur wenige Minuten zu Fuß ist der S-Bahnhof Bahrenfeld entfernt (S1/S11).

Ansprechpartner vor Ort: MS Empfangs-Team, Cornelia Matthesius und Sascha Lorenz.

Wir bitten um eine vorherige Anmeldung per Email an: slo@sqlpass.de

Wichtig: Wir benötigen die Anmeldungen 2 Tage vor dem Treffen, da wir uns
2014 bei Microsoft treffen können und dort Besucherausweise ausgestellt
werden! Spontane Teilnehmer sind dennoch willkommen. ;-)

Power BI - SQL Server Konferenz 2015

120x600_SQL_Server_Konferenz7[4][4]Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event. Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen.

Microsoft BI vNext (Neues aus der Welt von Power BI)
”In den letzten hat Microsoft stark im Bereich Self Service BI investiert und die diversen Produkte unter dem Label PowerBI zusammengefasst. In diesem einführenden Vortrag stellt Frank Geisler die Produkte PowerQuery, PowerPivot, PowerView und PowerMap vor. Es wird gezeigt wie man über PowerQuery Daten in eine PowerBI Lösung importieren kann, wie man dann mit Hilfe von PowerPivot ein Datenmodell aufbaut um dieses dann mit PowerView und PowerMap zu visualisieren. Zum Schluss des Vortrages wird noch gezeigt wie man die fertige Lösung auf der PowerBI Website bereitstellen und mit Q&A abfragen kann.”

Von:

Frank Geisler ist geschäftsführender Gesellschafter der GDS Business Intelligence GmbH und beschäftigt sich in seinem Unternehmen mit dem Microsoft BI Stack und SharePoint Lösungen. Dabei legt er als MCSE – Business Intelligence und MCSE – Data Plattform sowohl Wert auf die Administration als auch die Entwicklung von BI Systemen und kennt den SQL-Server seit der Version 6.5 und SharePoint seit dem Projekt „Tahoe“. Frank hält des Öfteren Vorträge auf Konferenzen, an Universitären oder Usergroup-Treffen und schreibt regelmäßig Artikel für verschiedene deutsche Fachzeitschriften. Außerdem hat er schon einige Bücher veröffentlicht, unter anderem hat er ein grundlegendes Buch zum Thema „Datenbanken“ geschrieben und ist Mitautor der „SharePoint für Dummies“-Bücher. Er gehört zu den Gründungsmitgliedern der PASS Deutschland e.V. und ist zusammen mit Klaus Höltgen Chapter Leader der Regionalgruppe Ruhrgebiet. Für seine Community Arbeit ist Frank im Juli 2014 zum MVP SQL Server ernannt worden.

&

Volker Hinz ist führender Lösungsberater für Business Intelligence im Großkundenvertrieb der Microsoft Deutschland GmbH. Architekturberatung rund um SQL, BI und Office-Themen sowie deren Integration in heutige Kundenumgebungen gehört zu seinen Schwerpunkten.

Montag, 8. Dezember 2014

Azure ML (Machine Learning) – SQL Server Konferenz 2015

120x600_SQL_Server_Konferenz7[4]Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event. Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen.

”How to do Analytics with Azure ML
Diese Session zeigt End-to-End wie man große Datenmengen mit Azure ML analysiert, Vorhersagen generiert und diese in Power BI visualisieren und aus Geschäftsanwendungen nutzen kann. Demo-lastig. “

Von:

Artus Krohn-Grimberghe
Dr. Artus Krohn-Grimberghe has spent the past 6 years immersed in advanced data mining topics. He currently works as assistant professor for Analytic Information Systems and Business Intelligence in Germany. His research focuses on data mining algorithms for e-commerce and mobile business. When he isn’t researching new algorithms or teaching, he is consulting for predictive analytics clients.

Martin Vach
Martin Vach ist führender Lösungsberater für Business Intelligence im Großkundenvertrieb der Microsoft Deutschland GmbH. Architekturberatung rund um SQL, BI und Office-Themen sowie deren Integration in heutige Kundenumgebungen gehört zu seinen Schwerpunkten.

Freitag, 5. Dezember 2014

Azure Search – SQL Server Konferenz 2015

120x600_SQL_Server_Konferenz7Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event. Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen.

“Looking for Answers with Azure Search
Want to learn how to search your massive data repositories in Azure?
Want to learn how to find value from your data quickly?
Azure search is a new offering from Microsoft. Being able to search your data repositories at scale is something Azure cloud users have been screaming for. Well now it is here so come to this session and learn how to use Azure search.”

Von Allan Mitchell

“I work with companies helping them to decide how best to store their data
Key/Value (Redis)
Document (DocumentDB, Mongo)
Relational (SQL Server)
NoSQL (Hadoop/HBase)
I also help customers to decide on whether a move to cloud based offerings makes sense. The Azure platform from Microsoft has a lot to offer and it isn't necessarily a Cloud/On Premise binary choice. Hybrid scenarios make a lot of sense too. I also work with customers who have large scale or interesting data movement requirements. This could be batch processes which are complex or real-time sensor and telemetry data.”

Montag, 1. Dezember 2014

Azure Data Factory und SSIS – SQL Server Konferenz 2015

120x600_SQL_Server_Konferenz

Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event. Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen.

Azure Data Factory und SSIS: Neue Wege zur Ochestrierung von Cloud und On Prem

Mit der Azure Data Factory (ADF) hat Microsoft einen neuen Managed Service in Azure herausgebracht, welcher für das Laden und Aufbereiten von Datenströmen aus der Cloud und on Prem neue Wege geht. In dieser Session werden wir einen tieferen Einblick in die Technologie erlauben, schauen uns LIVE an wie man mit JSON und PowerShell eine "Fabrik" erstellt, Pipelines baut und den Betrieb monitored. Natürlich blicken wir auch in Richtung Zukunft und auf das was ADF im Unterschied zu unserem "Liebling" SSIS bietet.

Von Tillmann Eitelberg & Oliver Engels :

Tillmann Eitelberg ist Geschäftsführer der oh22information services GmbH und hat sich mit seinem Unternehmen auf die Themengebiete Datenqualität, Datenintegration und Master Data spezialisiert. Er schreibt regelmäßig über diese Themen sowie seine kleine Leidenschaft Spatial Data in seinem Blog unter www.ssis-components.net und hat verschiedene SSIS Komponenten bei Codeplex veröffentlicht. Tillmann ist SQL Server MVP. Den PASS Deutschland unterstützt er als 2. Vorsitzender, als Chapter Leader für die Region Köln/Bonn/Düsseldorf sowie als Regional Mentor Germany für PASS Global.

Oliver Engels ist Vorstandsvorsitzender der oh22data AG, Bad Camberg im Taunus. Er gehört zur Spezies der Betriebswirte, die es nicht lassen können, sich mit IT Themen auseinander zu setzen. Das macht er jetzt bereits seit über 20 Jahren mit dem Schwerpunkt auf Marketing- und Vertriebssystemen.
Er beschäftigt sich intensiv mit CRM, Datenqualität, Business Intelligence, Enterprise Reporting und der Analyse von Marketing- und Vertriebsdaten. Den MS SQL Server beschäftigt er seit der Version 4. Er gehört zu den Gründungsmitgliedern der PASS Deutschland, ist 1. Vorsitzender, Chapter Leader Rhein/Main sowie Regional Mentor Germany für PASS Global. Oliver ist SQL Server MVP und im Microsoft Advisory Board für SQL Information Services. Wenn er sich mal nicht mit Daten beschäftigt, dann ist er draußen in der Natur, sei es mit seinen Golden Retrievern im Wald oder mit den Wanderstiefeln auf matschigen Trails.

Sonntag, 30. November 2014

SQL Server Konferenz 2015 – I’m speaking

SQL_Server_Konferenz_ImSpeaking

Die Zeit rennt mal wieder. Die nächste SQL Server Konferenz ist schon wieder komplett geplant. Am 03. – 05.02.2015 in Darmstadt im darmstadtium gibt es wieder zahlreiche Sessions zum Thema Microsoft SQL Server und Data Plattform.

Die SQL Server Konferenz in Zahlen zusammengefasst: 40 Sessions, 4 Tracks, 38 Sprecher, 20 MVPs, 17 internationale Sprecher und damit ist die SQL Konferenz ein internationale Format geworden und für unsere Region einmalig. Und das Ganze zu einem Hammerpreis!! 

Ich bin wieder als Sprecher für die Konferenz ausgewählt worden, was mich sehr freut. Es wird um das sehr spannende Thema Data Vault gehen. Den Vortrag werde ich gemeinsam mit meinem PSG Kollegen Jan Streblow halten, welcher auch Erfahrung in Projekten mit diesem Data Warehouse Ansatz sammeln konnte.

“Data Vault in der Praxis mit dem SQL Server

Data Vault ist als alternativer Modellierungsansatz für Data Warehouse Umgebungen mittlerweile sehr bekannt geworden. Dennoch fehlt vielen Teams noch die Praxis zur Bewertung der Methode, um in der Architekturphase eines Data Warehouse eine Entscheidung begründen zu können.

Diese Session gibt Entscheidern und Entwicklern einen Überblick über die in der Methode vorgeschlagenen Artefakte, skizziert einen Architekturansatz für das sogenannte Core Data Warehouse und zeigt die Vorteile auf gegenüber der klassischen Denormalisierung im Data Warehouse in der Realisierung mit dem SQL Server und den SQL Server Integrationen Services.

Gezeigt werden Beispiele aus den Bereichen der privaten Wirtschaft und der öffentlicher Verwaltung.”

Dienstag, 8. Juli 2014

SQL Server Usergroup Emsland in Lingen – PowerShell 101 für SQL Admins

Am 24.07.14 werde ich die neue SQL Server Usergroup in Lingen im Emsland mit einem Vortrag unterstützen. Die Gruppe wird von William Durkin moderiert.

Start ist um 17:30 Uhr bei der IT-Emsland, Kaiserstraße 10B, 49809 Lingen (Ems). Dort soll es auch Parkplätze geben. Im Anschluss an das Treffen ist noch ein wenig Socializing in einem Lokal geplant.

Mein Vortrag wird “PowerShell 101 für Administratoren” sein, welchen ich auch bereits auf dem SQLSaturday #313 gezeigt hatte. Da ich mehr Zeit habe, werde ich auch ein wenig mehr ins Detail gehen können. ;-)

Und als kleine Besonderheit ist das wohl mein erster Vortrag, welchen ich als SQL Server MVP halten werde. Mal schauen, wie das so ist. Ich freue mich auf Lingen!

Donnerstag, 3. Juli 2014

SQL Server MVP (Microsoft Most Valuable Professional)

Es ist tatsächlich passiert. So sieht sie also aus, die Mail von Microsoft, welche einem zum MVP macht.

image

Diese Auszeichnung ist eine ganz besondere Ehre für mich. Vielen Dank an Alle die mich vorgeschlagen und in das Programm “geschubst” haben! ;-)

Seit nun fast genau 10 Jahren organisiere ich Usergroup Treffen (Im September das 100. Treffen in Hamburg), spreche auf Veranstaltungen und erstellen Online-Inhalte wie Blogposts und Webcasts. Meinen neuen Status als MVP und die damit verbundenen Möglichkeiten möchte ich nutzen, um der SQL Server Community noch mehr zur Seite zu stehen mit meinen Ideen und Erfahrungen aus dem SQL Server Alltag.

Hier ein wenig Erläuterung direkt von Microsoft zum MVP Award.