SQL Server Data Warehouse - Mehr als nur SSIS !

-

Immer wieder stelle ich fest, dass sowohl kaufmännische Entscheider als auch IT-Leiter in größeren Organisationen die Vorstellung haben, dass ein Data Warehouse auch ein extra Produkt einer Business Intelligence Umgebung sein müsste.

Gar nicht so selten sind Zitate wie: “Ach so, sie nutzen den SQL Server auch als Data Warehouse. Nun ja, interessant. Kann man wohl machen… Dennoch…”.

Da war das Marketing der Marktbegleiter einfach gut! By the way, bei denen ist das Data Warehouse auch eine relationale Datenbank. Also, ähm, wenn die denn eines einsetzen. Nur diese Diskussion sollten wir an anderer Stelle führen. Okay, ein Satz dazu. Sich gegen ein Data Warehouse zu entscheiden ist keine Frage der Auswahl eines BI Tool Anbieters, sondern eine Architektur Frage, welche gewissenhaft & seriös beantwortet werden muss. </Ende>

Nur kurz angemerkt. Wenn wir uns über wirkliche große Szenarien unterhalten, dann ist JEDE relationale Engine JEDER etablierten Datenbank irgendwann am Ende. Und aufgepasst, fast jeder Kunde (intern wie extern) ist der Meinung, dass er wirklich wirklich viele Daten hat. Mit “viele Daten” meine ich aber gerade gehobene Terabyte Mengen oder etwas in der Nähe von Petabytes. Dafür gibt es dann tatsächlich extra Produkte von Microsoft und auch anderen Herstellern. Nur, wer hat die Herausforderung schon? :-)

Zurück zum Thema.

Ein Data Warehouse zu betrieben ist weit mehr als nur ein Tool für den ETL/ELT Prozess einzusetzen und einen schönen Spaltenzuordnungsdialog (Mapping) zu haben. Auch das gilt für fast alle Hersteller. Nur wird das häufig bei der Auswahl einer Lösung übersehen.

Auch dafür ein Zitat: “Dafür setzen wir das ETL Tool von bla ein…”. Weil wenn das Tool stimmt, dann klappt das auch mit dem relationalem Data Warehouse. Dem ist nicht so.

Wo ich mit mir verhandeln lasse, sind DWH Frameworks, welche sich um die relationale Engine “legen”. Nur häufig sind diese recht überschaubar ausgelegt und unterstützen nicht durchgängig und in aller Konsequenz die Anforderungen an ein Enterprise Data Warehouse (Welche waren das noch gleich…). Dazu kommt, dass solche dann oft wieder geschlossene Lösungen sind. Software im Enterprise Umfeld muss offen sein. Nicht nur mit der herstellereigen Oberfläche zu bedienen sein. Integration ist das Stichwort und das ist für mich ein echtes unverhandelbares Merkmal für die Fähigkeit einer Software “Enterprise Ready” zu sein oder halt auch nicht.

Das Design einer Data Warehouse Infrastruktur ist auch immer Architekturaufwand. Vieles ist Best Practice. Es muss nur noch alles zusammengeführt werden, was benötigt wird.

Für mich immer wieder notwendige Funktionen der relationalen Datenbank Engine für den Betrieb eines klassischen Enterprise Data Warehouse sind:

  • Partitionierung
  • Komprimierung
  • Service Broker
  • Verschlüsselung
  • Resource Governor
  • Columnstore-Indizes (seit 2012)
  • Clustering / AlwaysOn Availability Groups (seit 2012)

Ähm, und ja, dafür braucht man die Enterprise Edition.

Natürlich kommt dann obendrauf noch die ganze Analyse- und Frontend-Nummer. Nur das ist dann wieder etwas ganz anderes als das eigentliche Data Warehouse, oder? :-)

Popular posts from this blog

PSG Performance Driven Development für den SQL Server

-
In den letzten Monaten wurde ich häufig danach gefragt, was denn dieses Performance Driven Development (PSG PDD) eigentlich sei? Und welche Technologien wir damit meinen? In erster Linie verstehen wir unter der Performance Driven Development Methode weniger einen Technologie Ansatz, als vielmehr einen Rahmen an Maßnahmen, damit das Thema Performance im Laufe einer Software Entwicklung den Stellenwert er- und behält, welcher bei Projektstart als notwendig erachtet wurde. Entstanden ist die Idee zu der Methode u.a. aus dem Feedback unserer Schulungskunden. Es wurde uns zwar attestiert, dass die Teilnehmer unserer Workshops und Schulungen einen deutlichen Knowhow Fortschritt machen würden, dennoch wäre es für den einzelnen Entwickler immer wieder schwierig sei neues Wissen auch so einzusetzen, dass die Projekte bzw. Produkte davon wirklich partizipieren. Der Alltag von Entwicklern sei ja stark getrieben durch ein agiles geprägtes Umfeld und Stakeholder, für die diese grundlegenden t...
Read more

SQL Server in-Memory OLTP – Ein Plädoyer für Lasttest Werkzeuge und End-to-End Monitoring

-
Im Rahmen einiger Proof-of-Concepts und Workshops für die in-Memory OLTP Engine des SQL Servers habe ich die Erfahrung gemacht, dass selbst komplexe Eigenentwicklungen von Unternehmen häufig ohne Werkzeuge für realistische Lasttests auskommen müssen. Ziel der PoCs ist es zu evaluieren, ob das Investment in die Integration von SQL Server in-Memory OLTP überhaupt einen wirtschaftlich gerechtfertigten Vorteil mit sich bringt. Die einfache Frage im Raum ist häufig: Wird unsere Anwendung mittels in-Memory OLTP tatsächlich deutlich schneller? Die Voraussetzung für eine solche Überlegung ist natürlich, dass man entweder zurzeit mit der bestehenden Last zu langsam unterwegs ist oder für die Zukunft mit wesentlich mehr Last rechnet und davon ausgeht, dass diese zu Problemen führen wird. Die wenigsten Kunden nutzen zurzeit die in-Memory OLTP Engine des SQL Servers für eine komplette Neuentwicklung auf der grünen Wiese. Wobei, wer als ISV oder Entwicklungsleiter schon länger eine Neuentwickl...
Read more

A short history about SQL Server scalability

-
As more and more of our customers communicate with us in English, I decided to start blogging in English. So for my "new" readers here is a small introduction to what I do with SQL Server and other similar technologies. Originally I'm a developer, who is gradually immersed in various database technologies. I have been working with databases for more than 30 years now. I started my own business with my partners in 1994. Then, in the late 1990s, I discovered the vast possibilities of Microsoft SQL Server for our customers. Our office is in Hamburg, and since 2017 we also have an office in Karlsruhe in the south of Germany. The company name "Projekt Service" expresses what we do most of the time. We support projects of any kind, as long as they are related to SQL Server or databases in general, with our products. A plan can actually mean the classic long-running project as well as a short-term action to eliminate unwanted impact in development or operation. W...
Read more