Review und Reflektion meiner Data Warehouse Beiträge der letzten Jahre

2014 wird das Jahr der Jubiläen für mich. 20 Jahre eigene Firma, PSG Projekt Service – The SQL Server Company. 10 Jahre PASS Deutschland e.V. und das 100. PASS Treffen in Hamburg.

Da blickt man doch gerne mal zurück und schaut, was man so die letzten Jahre gemacht hat. Hier meine Reflektion meiner Blogposts zum Thema Data Warehouse. Einige davon sind laut den Statistiken zu echten Klassikern geworden und viele Kontakte sprechen mich heute noch auf diese an. Dauerbrenner ist natürlich das Mysterium des Repositorys in DWH/BI Projekten. Dazu habe ich auch international Vorträge gehalten.

Speziell die von mir vorgeschlagene Architektur eines Job Pools bzw. einer Job Queue für die automatische Skalierung von Aufgaben im Rahmen einer ETL/ELT-Strecke hat in vielen Projekten Anwendung gefunden und wurde über meine Vorträge auch außerhalb meines Kundenkreises in vielen Unternehmen adaptiert.

Vielleicht ist es mal an der Zeit einen Post zu verfassen, welcher die wichtigsten Designpunkte zusammenfasst, um eine entsprechende Führung in Projekten zu geben. Mal schauen.

Hier in chronologischer Reihenfolge die Blogposts zum Thema Data Warehouse Architektur. Jeweils mit einem Kommentar aus heutiger Sicht dazu.

2013 - SQL Server Data Warehouse – One Queue Pattern (OQP)
Für mich mittlerweile die Grundlage einer skalierbaren DWH Architektur.
Noch lesenswert? Definitiv ja!

2012 - SQL Server Data Warehouse - Ein erster Entwurf
Hier habe ich den Titel eventuell ungünstig gewählt. Es ging mir hier primär um die SQL Server Technologien, welche ein DWH ausmachen sollten.
Noch lesenswert? Auf jeden Fall, da vieles von dem am Anfang häufig ausgelassen wird.

2012 - SQL Server Data Warehouse - Mehr als nur SSIS !
Da hatte ich gerade mal wieder die Erfahrung gemacht, dass SSIS mit einem DWH verwechselt wird und dem Trend, dass DWHs bei der richtigen Auswahl eines BI Tools eigentlich total überflüssig sind.
Noch lesenswert? Leider ja.

2012 - Datenvirtualisierung vs. ETL / ELT Prozess
Ein weiteres Standort Statement zum Thema Datenvirtualisierung.
Noch lesenswert? Ja.

2012 - Datenvirtualisierung mit Master Data Services (und weiteren SQL Server Diensten) unterstützen
Das Thema Datenvirtualisierung war da gerade in einem Projekt Thema geworden bzw. das Verständnis dafür, da diese Disziplin eigentlich in jedes ernsthafte DWH gehört.
Noch lesenswert? Nur zu, ja!

2012 - Change Data Capture (CDC) mittels Metadaten Strukturen steuern
Eigentlich eine Einladung zu einem Vortrag von mir, dennoch der Hinweis, dass man doch bitte alle seine technischen Prozesse, wie zum Beispiel CDC, auch gern mittels eines mehrstufigen Repositorys steuern darf und vielleicht sogar sollte, um sich die Verwaltung bzw. die Beherrschbarkeit seiner Lösung zu vereinfachen.
Noch lesenswert? Nun ja, Thema ja, nur steht da in Summe wenig im Detail. Für mehr Informationen einfach fragen.

2011 - MERGE in T-SQL – Der unbekannte Befehl im BI Projekt für ELT
Grundlagen zum MERGE Befehl für ELT Skripte. Ein Klassiker!
Noch lesenswert? Natürlich!

2011 - MDXScript Service – Repository driven calculations
Ein kurzer Artikel, welcher aber eine sehr gute Idee skizziert, welche ich in einigen “komplexeren” Analysis Services Projekten verwende, um fast schon magische Dinge mit einem multidimensionalen Raum zu machen.
Noch lesenswert? Auf jeden Fall!

2011 - SSIS (Integration Services) – ETL vs. ELT Lösung?
Ein Klassiker aus vielen Meetings! Was ist ETL und ELT? Und warum sind wohl viele SSIS Lösungen eher ein ELT als ein “echtes” ETL? Und was ist gut oder schlecht daran? Es kommt eigentlich nur auf die bewusste Entscheidung in der Architektur an, dann ist alles gut!
Noch lesenswert? Definitiv Ja! Immer noch aktuell.

2011 - SSIS (Integration Services) als ETL Lösung – Entscheidungen vor dem Einsatz
Hier ging es mir um Grundlagen vor einem überstürzten Beginn einer Lösung mit den SSIS.
Noch lesenswert? Leider ja.

2011 - Landing Area (Zone) im SQL Server Data Warehouse
Ein Plädoyer für die Nutzung einer Landing Area/Zone im DWH bzw. ETL/ELT. Nenne das auch gern mal Stage-0.
Noch lesenswert? Klar! 

2011 - Der Presentation Layer im Allgemeinen und speziell in einem SQL Server Data Warehouse
Hier hatte ich ein paar Visualisierungen aus einem Proof-of-Concept wiederverwendet und mir Gedanken über die notwendige Abstraktion im DWH gemacht.
Noch lesenswert? Nicht wegen der Grafiken. Die Abstraktion ist immer noch wichtig!

2011 - Die reine Lehre vom SQL Server Data Warehouse Entwurf…
Okay, der Titel war eine gewollte Provokation. Dennoch ging es mir hier um die notwendige Granularität für ein DWH in Kontext eines SQL Server BI Projektes. Attribute stehen auch noch heute im Mittelpunkt meiner Architekturen.
Noch lesenswert? Sicherlich.

2011 - Meine Top 10 Ratschläge für komplexere SQL Server BI Projekte aus dem PASS Vortrag vom 9.3.2011 in Hamburg
Kurze Top 10 Liste für BI Projekte. Und ja, diese Ratschläge gebe ich heute noch genau in dieser Form.
Noch lesenswert? Klar.

2011 - Coaches’ Hell: Wie entwickle ich denn jetzt so ein Vorgehensmodell für Microsoft Business Intelligence Projekte?
Hier kam ich vom Vorgehensmodell zum Cube. Und dabei meinte ich eigentlich wieder mal das einzelne Attribute.
Noch lesenswert? Bedingt, dazu gab es zwischenzeitlich wesentlich bessere Vorträge von mir. Gut als Einstieg in Cube Räume.

2011 - Coaches’ Diary: Wie verwende ich SSIS & SSAS in Business Intelligence Projekten mit dem SQL Server denn nun wirklich richtig?
Und hier wieder das beliebte Thema: Wie macht man es denn nun richtig?
Noch lesenswert? Sicher!

2011 - Wieder einmal das Repository… oder auch Repository driven BI / everything in SQL Server FAQ…
Hier ging es mir um meinen Liebling, das Repository. Und um DSL bzw. meine PSLs. Da ich häufig in Projekten mit einer großen Anzahl von Servern etc pp unterwegs bin, hat sich dieses Vorgehen bewährt. Steuerung von über 1000 SQL Servern wird sonst leicht “anstrengend” im Betrieb.
Noch lesenswert? Immer noch die Grundlage für viele Architekturen!

2010 - Nutzung eines Jobpools in Business Intelligence Umgebungen
Noch so ein Klassiker, welcher noch heute dabei ist. Der Jobpool für die Skalierung von Farmen mit SSIS und vergleichbaren Diensten.
Noch lesenswert? Auf jeden Fall!

2010 - Die verwendeten Spalten und Tabellen einer beliebig komplexen SQL Query ermitteln
Hier mal etwas technisches und dabei nützlich. Dieses Vorgehen kommt u.a. in vielen DWHs zum Einsatz, um die Hotspots für die Nutzung zu ermitteln. Für Analysis Services habe ich so etwas auch, bisher aber nicht publiziert.
Noch lesenswert? Für DWH Entwickler quasi Pflicht.

2010 - Überlegungen über den Aufbau eines Repositorys in einer Business Intelligence Umgebung
Das Repository hat mich schon immer begleitet als Thema.
Noch lesenswert? Für den Einstieg ja.

2010 - Reifegradmodelle im Projektmanagement
Und noch so ein Klassiker! Jedem DWH/BI Projekt sein Reifegradmodell. Allein schon für das Projekt Marketing unverzichtbar. Und noch heute stresse ich “meine” Studenten an der Hochschule, wenn ich meinen Betrag zum Kurs über Konzeptarbeit und Reifegrade gebe.
Noch lesenswert? Aber so etwas von!

-- Dann kam eine Phase mit sehr viel Client Entwicklungen. Mache ich heute auch noch, sprechen wir ein anderes Mal drüber. :-)

2005 - Und was ist nun ein Data Warehouse?
Das war der Versuch einer Definition zum Thema DWH. Nun ja.
Noch lesenswert? Nur für Leser, welche weder Inmon noch Kimball kennen.

2005 - Was ist eigentlich Business Intelligence?
Okay, das war mal kurz.
Noch lesenswert? Geht so, die Welt wurde seit 2005 nicht weniger kompliziert. Wer hat denn 2005 wirklich an Big Data gedacht…