Sascha Lorenz - with a passion for massive SQL Server workloads

In der vergangenen Woche hatte ich ja mehrmals die Chance das SQL Server 2012 Feature Columnstore Index vorzustellen . Hier kurz die Skript Fragmente, mit denen ich Adventure Works DW auf 120.000.000 Fakten Zeilen erweitert habe. Hatte ich ja versprochen zu bloggen. select * into demo.dbo.FactInternetSalesMuchMore from [dbo].[FactInternetSales]; Hiermit lege ich eine Kopie der FactInternetSales an. Und nun kommt nur noch. declare @counter int  = 0 while @counter < 2000 begin   insert into demo.dbo.FactInternetSalesMuchMore   select *   from [dbo].[FactInternetSales];   set @counter = @counter + 1 end Das ist nun wirklich keine Raketenwissenschaft, dennoch habe ich am Ende (bei mir nach ca. 45min…) eine relativ umfangreiche weitere Faktentabelle für Test Queries. Und bitte bitte nicht auf produktiven Servern machen!!!! Versprochen?

Eine Frage wird mir tatsächlich relativ selten gestellt: Was ist ein Data Warehouse? Dabei ist das verblüffend. Denn für mich ist das gar nicht immer so klar. Also stelle ich häufig die Frage: Was ist für Sie ein Data Warehouse und was gehört alles dazu? Und was ist besonders wichtig? Die Antworten sind wiederum verblüffend. Jeder beantwortet die Frage nämlich anders. Wie hätte es auch sonst sein sollen. Für den Einen ist es die “Dimensionale Modellierung der Daten”, für den Anderen “die Nutzung von ETL/ELT Werkzeuge wie Integration Services”. Für den Nächsten ist es die Verwendung einer analytischen Engine wie SQL Server Analysis Services. Nun ja, da sind wir ja eigentlich schon im Presentation Layer, oder? Ich möchte heute den Anfang machen für einen generischen SQL Server Data Warehouse Entwurf. Mal schauen, wo wir am Ende damit landen. Und was ist für mich das Wichtigste an einem Data Warehouse? Schwer zu sagen, dennoch hat sich gezeigt über die Jahre hinweg, dass eine ...

In der letzten Woche hatte ich gleich zweimal die Möglichkeit der Community die xVelocity Technologie des SQL Server 2012 vorzustellen. Zuerst war ich zu Gast auf der Deutschen Microsoft Partnerkonferenz in der Porsche Arena in Stuttgart. Dort hatte ich im Rahmen eines SQL Server Vortrags den Columnstore Index den Microsoft Partnern vorgestellt. Des Weiteren kam ich auch auf das sehr wichtige Thema Data Warehouse Infrastruktur zu sprechen. In der zweiten Wochenhälfte war ich dann auf NRWConf in der Börse in Wuppertal. Dort habe ich in einer Session sowohl den Tabellarischen Modus der Analysis Services als auch die Arbeit mit Columnstore Indizes vorstellt. Die Themen Analysis Management Objects als auch das ein- und ausblenden von Partitionen (Switching) kamen nicht zu kurz. Vielen Dank an die Organisatoren der NRWConf von Just Community e.V. ! Für meine Demos verwendete ich eine von mir leicht modifizierte Version der Adventure Works Beispieldatenbank von Microsoft. In mein...

Immer wieder stelle ich fest, dass sowohl kaufmännische Entscheider als auch IT-Leiter in größeren Organisationen die Vorstellung haben, dass ein Data Warehouse auch ein extra Produkt einer Business Intelligence Umgebung sein müsste. Gar nicht so selten sind Zitate wie: “Ach so, sie nutzen den SQL Server auch als Data Warehouse. Nun ja, interessant. Kann man wohl machen… Dennoch…”. Da war das Marketing der Marktbegleiter einfach gut! By the way, bei denen ist das Data Warehouse auch eine relationale Datenbank. Also, ähm, wenn die denn eines einsetzen. Nur diese Diskussion sollten wir an anderer Stelle führen. Okay, ein Satz dazu. Sich gegen ein Data Warehouse zu entscheiden ist keine Frage der Auswahl eines BI Tool Anbieters, sondern eine Architektur Frage, welche gewissenhaft & seriös beantwortet werden muss. </Ende> Nur kurz angemerkt. Wenn wir uns über wirkliche große Szenarien unterhalten, dann ist JEDE relationale Engine JEDER etablierten Datenbank irgendwann am En...

Es mal wieder Zeit für einen Rückblick. In der vergangenen Woche war ich Gast auf einer ganzen Reihe von Community Events. Es ist halt Saison. Es begann am 15.9. (Samstag) in Unterschleißheim im Norden von München. Dort fand im Microsoft HQ der erste deutsche PASS SQLSaturday statt. Ein Wahnsinns Community Event. Mein Vortrag dort handelte von den Analysis Management Objects und ADOMD.NET im SQL Server 2012. Okay, ein recht spezielles Thema. Dennoch für komplexere und Enterprise Projekte essential meiner Meinung nach. Am 17.9. war ich dann Gast bei der PASS Gruppe in Köln . Raumsponsor war Quest (nun ja Teil von Dell). In der Gruppe dort bin ich immer wieder gerne als Sprecher. Mein Thema dort waren Basics zu den Master Data Services des SQL Server 2012. Ab dem 18.9. verbrachte ich den Rest der Woche in Mainz auf der BASTA! 2012 . Dort hielt ich zwei Vorträge. Und zwar über meine neuen Lieblinge Master Data Services (etwas mehr als in Köln) und über Data Quality Services im pr...

Ein wesentliches Feedback zu meinen letzten Posts hier im Blog war, dass sich viele Teilnehmer der Community wünschen mehr über das Thema Dokumentation von Business Intelligence Projekten zu erfahren. Gerade die fortlaufende Dokumentation von SQL Server Analysis Services Projekten ist herausfordernd. Ganz besonders für die Kollegen, welche sich Monate (oder Jahre) später mit dem OLAP Cube oder dem Tabellarischen Modell beschäftigen müssen. Oder, so auch oft in der Praxis, man selber, wenn man sich später mit seinen eigenen Kunstwerken beschäftigen darf. Okay, ich höre schon viele aufstöhnen da draußen. Es gibt doch bereits viele Tools, welche mir meine SQL Server Analysis Services Umgebung automatisch dokumentieren. Wozu noch ein Ansatz? Dazu eine Frage. Ist der Output solcher Tools eine Dokumentation im eigentlichen Sinne oder nicht doch eher “nur” eine Inventarisierung von Objekten? Häufig beantworten solche Objektplakate oder –listen keine Fragen nach dem “Warum denn so und n...

So heißt meine Session auf dem PASS SQL Saturday #170 in Unterschleißheim am nächsten Samstag auf welche ich mich schon sehr freue! Und das ist auch Thema meines kommenden Buches “ SQL Server Analysis Services 2012: AMO und ADOMD.NET in der Praxis ”. Der Verlag entwickler.press beschreibt das Buch wie folgt: ”Dieses Buch beschreibt den nächsten Level der Nutzung der SQL Server Analysis Services für komplexere und größere Umgebungen und Projekte. Mittels der Microsoft Technologien ADOMD.NET und Analysis Management Objects (AMO) können Business Intelligence Lösungen auf Basis von OLAP Cubes und tabellarischen Modellen leicht sowohl standardisiert als auch automatisiert werden. Dieses Vorgehen erleichtert gleichermaßen die Implementierung als auch Wartung von SSAS Lösungen. Klassische Enterprise Anforderungen wie Hochverfügbarkeit, Repository-driven BI, Depolyment und nahtlose Integration in bestehende Infrastrukturen können wesentlich einfacher erfüllt werden. Anhand e...

Hier ein paar Links und Gedanken aus dieser Woche: http://blogs.msdn.com/b/performancepoint/archive/2012/08/03/what-s-new-in-performancepoint-services-2013.aspx http://blogs.msdn.com/b/microsoft_business_intelligence1/archive/2012/08/09/visualizing-the-olympics-with-power-view-in-excel-2013.aspx Aufgrund einer Anfrage hatte ich mir einige Gedanken dazu gemacht, was der eigentliche Nutzen von Mobile BI ist. Irgendwie habe ich den Eindruck, dass viele Hersteller quasi 1:1 ihre Lösungen auf die Pads übertragen und die eigentliche Chance für das Thema BI Collaboration verschlafen. So gut wie alle Beispiele der Anbieter beziehen sich auf Vertrieb, CRM und “mobiles spontan Controlling”. Werde mir in den nächsten Tagen dazu weitere Gedanken machen müssen. Mit einem meiner letzten Posts habe ich anscheinend ein wichtiges Thema angesprochen. Ich philosophierte über den Ansatz Dokumentation als einen Risikomanagement Prozess zu sehen. Nun kamen Fragen auf. Wie denn in einem klassischen ...

So, die Konferenz & Co Saison startet wieder voll durch! Anbei eine kleine Liste von kommenden Events in den nächsten Monaten mit meiner Beteiligung als Sprecher. 30.08.2012 - PASS Essentials für SQL Server Master Data Services in Bad Camberg 15.09.2012 - PASS SQL Saturday in München (Microsoft HQ Unterschließheim) 17.-21.09.2012 - BASTA! 2012 in Mainz 22.-25.10.2012 - PASS Camp in Seeheim bei Darmstadt Des weiteren werde ich auch noch in einigen PASS Regionalgruppen sprechen und es haben sich noch nicht alle Konferenzorganisatoren zurück gemeldet. Kann also noch mehr werden. Sofern Ihr ein Communtiy Event organisiert oder plant und mich als Sprecher dabei haben möchtet, einfach bei mir melden, ob ich gerade in der Nähe bin oder Ihr mich überreden könnt vorbeizukommen.

Der PASS SQL Saturday kommt nach Deutschland ! Am 15.9.2012 findet in der Microsoft Niederlassung München / Unterschleißheim dieses kostenlose Community Event mit der Nummer 170 statt. Bitte vorher auf der Website registrieren, da nicht unendlich viele Plätze vorhanden sind! Es sind 18 Sessions angekündigt, welche Ihr hier auf der Agenda findet . Es ist mir eine große Ehre mitteilen zu können, dass ich einer der Sprecher sein werde. Ich darf über eines meiner Lieblingsthemen sprechen: AMO und ADOMD.NET mit dem SQL Server 2012 In dieser Session werden zahlreiche Beispiele gezeigt für den Einsatz der Analysis Management Objects (AMO) und der ADOMD.NET Bibliothek in OLAP Cubes und den neuen Tabellarischen Modellen. Des Weiteren wird demonstriert wie durch eine Repository-Driven Architektur Microsoft Business Intelligence Projekte um eine wesentliche Enterprise Komponente für komplexere Anforderungen und Umgebungen ergänzt werden können . Im Rahmen der Session werde ich als Demo...

Die aufgenommenen Vorträge des SQL Server 2012 Launch Events in Köln sind wieder online verfügbar! Mittlerweile sind sie auf den TechNet Seiten angekommen. Mein Vortrag über die Master Data Services 2012 ist hier zu finden. Alle weiteren Vorträge können hier gefunden werden.

Auch dieses Jahr findet wieder der SQLU Summit statt – die SQL Server Konferenz in Mitteleuropa (und da gehören wir hier dazu…). 2012 ist Bratislava, die slowakische Hauptstadt, Gastgeber dieses Stelldicheins einiger prominenter Mitglieder der internationalen SQL Community. Wie schon im Vorjahr gibt es ein spezielles Angebot für Mitglieder von PASS Deutschland. Diese erhalten auf den jeweils gerade gültigen Preis noch einmal einen Rabatt von 10%. Bis 30.06.2012 ist der Very Early Bird: 690,00 Euro(exkl. MwSt.) gültig . Der Preis für PASS Deutschland Mitglieder beträgt also nur 621,00 Euro (exkl. MwSt.) für drei Tage volles Programm.

Heute mal was ganz anderes. Liegt mir gerade auf dem Herzen. Lasst uns über Dokumentation in Projekten und beim späteren Betrieb der Lösung sprechen. Hey, jetzt nicht gleich umschalten. :-) Über Dokumentation spricht keiner gerne. Sie hat den Ruf, dass das Erstellen meist im Weg steht und als lästige Pflicht gesehen wird. Klar wird jeder sofort den Nutzen einer Dokumentation nicht in Frage stellen wollen, dennoch ist sie das Stiefkind vieler Projekte. Woran liegt das? Meine These dazu ist, dass das Dokumentieren von Lösungen als so unangenehm wahrgenommen wird, weil vielen einfach nicht immer wirklich klar ist, was denn nun wie dokumentiert werden muss. Vorlagen existieren meist nur bei großen Organisationsstrukturen wie Konzernen und Behörden oder zertifizierten Spezialisten und oft sind diese Vorlagen dann doch nicht mit der Praxis wirklich kompatibel und führen zu mehr Verwirrung als, dass sie helfen. Es kommt Ende meist wieder auf die Kreativität des Einzelnen an. Natürli...

Das Programm der BASTA! 2012 wächst und wächst. Mittlerweile ist auf der Website zu lesen, dass ich auch noch einen zweiten Vortrag halten werde. Neben der Session “ Integration der Master Data Services in produktive Umgebungen ” werde ich auch noch das Thema MDS und Data Quality Services (DQS) im Kontext BI vorstellen. Session lautet “ SQL Server 2012 MDS & DQS im Business-Intelligence-Projekt ”. Hier die Beschreibung: ”In dieser Session werden die SQL-Server-Dienste Master Data Services und Data Quality Services im Kontext von Business-Intelligence-Projekten vorgestellt und erläutert. Es wird das Zusammenspiel von MDS und DQS mit den bekannten Diensten SSIS und SSAS anhand von Beispielen demonstriert. Des Weiteren wird der Nutzen für BI-Architekturen aufgezeigt.” Ich freue mich drauf.

Einer meiner letzten Posts hat wieder mal zu einigen Nachfragen geführt. Ich hatte die Disziplin Datenvirtualisierung kurz vorgestellt und wie diese mit SQL Server Bordmitteln erfolgreich und einfach umgesetzt werden kann. Die Datenvirtualisierung ist Teil einer Referenzarchitektur für Data Warehouses wie ich sie in der Regel für Projekte einsetze. Eine Frage war, ob bei der Nutzung einer Datenvirtualisierung ein ETL / ELT Prozess damit überflüssig werden würde. Die Antwort ist definitiv: Nein! Warum? Eine Datenvirtualisierung ist kein Ersatz für einen ETL/ELT Prozess. Und sie ist nicht zwingend nur für diesen Business Intelligence orientierten Einsatzzwecks zu gebrauchen als Architekturpattern. Eine Datenvirtualisierung hat nur einen Zweck und zwar den Zugriff auf Datenquellen in den nachfolgenden Schichten zu vereinfachen durch das Konzept der Zentralisierung. Dabei wird darauf Wert gelegt, dass die Daten nicht physisch als Kopie vorliegen (wie zum Beispiel in einer Landing ...

Heute ist es wieder soweit. Die Hamburger SQL Server Usergroup ( PASS Deutschland e.V. ) trifft sich um 18 Uhr wieder in der Microsoft Niederlassung Hamburg Gasstraße 6a. Heute gibt es einem sehr interessanten Vortrag vom Thomas Martens: Dokumentation von SSAS Modellen unter Verwendung von SSAS DMVs und dem OpenSource Tool Graphviz Entwurf einer Dokumentations-Methode von SSAS Modellen. Als Grundlage für die Dokumentation der SSAS Modelle werden SQL Server StoredProcedures verwendet, die verschiedene DMVs durch Joins miteinander verknüpfen. Einzelne Objekte wie Dimensionen, MeasureGroups, Cubes und Perspektiven werden dabei als Nodes und die Beziehung dieser Objekte untereinander als Edges interpretiert. Für Objekte vom Typ MeasureGroup wird dabei bspw. das Granularitätsattribut der Dimension bzw. die Kardinalität der Beziehung der Dimension zur MeasureGroup angegeben. Die Visualierung von Nodes und Edges erfolgt anschließend in einem pdf-Dokument. ich bin sehr gespannt,...

Eine gute Nachricht! Wir ( PSG ) suchen für ab sofort weitere Kollegen (m/w) für unser Team in Hamburg . Hier der Text aus unserer Stellenanzeige, welche u. a. auch im aktuellen PASS Deutschland e.V. Newsletter erschienen ist. Junior Datenbank-Berater (m/w) (gerne auch Datenbank-Entwickler und BI-Berater) PSG ist ein seit 1994 erfolgreiches IT–Unternehmen in Hamburg und einer der bevorzugten Partner von Microsoft Deutschland im Bereich BI. Wir versprechen Dir herausfordernde Projekte im Bereich BI, Datenbanken und Data Warehouse auf Basis der Technologien Microsoft SQL Server und SharePoint. Was bieten wir • Namhafte Kunden und spannende Projekt • Permanente Weiterbildung durch Mentorenprogramm (Das bin u. a. ich…) • Kollegiale Zusammenarbeit mit erfahrenen Projektmanagern • Echte Projekte bei Kunden vor Ort • Angenehmes und innovatives Arbeitsumfeld • Attraktive Vergütung sowie Erstattung von Reisekosten Dein Profil • Du verfügst über erste Berufserfah...

Das Thema MDS (Master Data Services) im SQL Server 2012 beschäftigt mich auch weiterhin nicht nur in Kundenprojekten. Nach meinen Vorträgen dazu auf dem PASS Camp Ende letzten Jahres und dem SQL Server 2012 Launch Event in Köln werde ich nun auch auf der BASTA! im September 2012 dazu einen Vortrag halten. Integration der Master Data Services in produktive Umgebungen In dieser Session wird anhand von Praxisbeispielen erläutert, wie die SQL Server Master Data Services (MDS) in vorhandene und produktive Softwarelandschaften eingebunden werden können. Es muss nicht immer das große allumfassende Master-Data-Management-Projekt sein. Die MDS bieten aufgrund ihrer offenen Architektur eine ganze Reihe von interessanten Einsatzmöglichkeiten in bestehenden Lösungen. http://basta.net/2012/sessions/#session-21779 Wie aus der Beschreibung der Session schon ersichtlich wird, geht es mir wieder mal nicht um die pure Darstellung einer Technologie sondern um die praxisbezogene Integration ei...

Es gibt da draußen ja eine ganze Reihe an Disziplinen, welche das aktive Management von Daten erleichtern sollen. Viele dieser Disziplinen oder auch Konzepte werden von Software Herstellern mit eigenen Produkten oder zumindest Technologien bedient. Ein prominentes Beispiel dafür ist u. a. Master Data Management. Grundsätzlich lässt sich “das” mit Bordmitteln lösen, dennoch bieten Hersteller dafür eigenständige Produkte an, welche diese Herausforderung deutlich einfacher und damit besser lösen. Microsoft selbst legt seiner Datenplattform SQL Server mittlerweile in der zweiten Version die Master Data Services dafür bei. Eine weitere dieser Disziplinen ist die sogenannte Datenvirtualisierung ( Data virtualization ). Vieles wird ja heutzutage virtualisiert. Server, Desktops, Anwendungen und Storage. Warum also nicht auch Daten? Was ist nun Datenvirtualisierung? Der Wiki Artikel dazu verrät uns, dass es im Groben darum geht, dass der Zugriff auf Daten mittels einer weiteren Abstrak...

Es ist wieder soweit! Am Donnerstag dem 12.04.2012 treffen wir uns um 18 Uhr wieder in der Microsoft Niederlassung Hamburg Gasstraße 6a Dieses Mal gibt es einen Vortrag von unserem Gastsprecher Sebastian Meine . Sein Vortrag handelt von den Interna des SQL Servers. Index Internals - How SQL Server stores and accesses data In this session we will examine one of SQL Servers' most fundamental yet most important functions - how does SQL Server store data on disk and how does it find it again when executing a query. Using a combination of demos, lecture and discussions we will begin with the structure of the data on disk by delving into the world of HoBTs and Extends, RIDs and Keys and especially Pages. From there we will tackle topics concerning the retrieval of data such as Index levels, Index Scans and Seeks and Lookups. Um zahlreiches Erscheinen wird gebeten! Sofern möglich, meldet Euch bitte vorher kurz beim Rolf Keyser unter rky@sqlpass.de an. Freue mich drauf Euc...

Im Rahmen des virtuellen Launch Events für den Microsoft SQL Server 2012 hat Microsoft nun auch die Sessions des Kölner Launch Events online gestellt. Nach kurzer Anmeldung sind dort viele interessante Sessions zu finden. Und natürlich möchte ich kurz auf meine Session rund um Master Data Management mit den Master Data Services hinweisen. Für mich ist dieses Feature ein echtes Highlight des 2012’ers. http://www.sqlserverlaunch.com/deu/theater?sid=1369 Master Data Management made easy Die Data Stewards spielen eine wichtige Rolle im Master Data Management. Sie sind verantwortlich für die Aktualität und Qualität der Master Daten. Mit Master Data Services in SQL Server 2012 wird die Pflege der Master Daten in eines der bestens verstandenen und meist genutzen Werkzeuge überhaupt gebracht. In Zukunft lassen sich Master Daten vom Data Steward in Excel pflegen und qualitätssichern. Machen Sie den nächsten Schritt zu einem besseren Unternehmen und erfahren Sie, wie Master Data Servic...

Hier ein Hinweis auf das nächste Treffen der SQL Server Usergroup Hamburg, einer Regionalgruppe des PASS Deutschland e.V., am 14. März 2012 um 18 Uhr. Im März halte ich dort einen Vortrag über die Nutzung von Metadaten Strukturen zur Steuerung von Prozessen und Technologien. Diese Vorgehensweise hat sich in unserer Praxis bei Business Intelligence Projekten im Enterprise Umgebungen bewährt. Session heisst: Managed Enterprise BI – Steuerung von Change Data Capture mittels Metadaten “Am Beispiel von Change Data Capture (CDC) wird gezeigt wie sich komplexe Technologien mit sogenannten Steuerungsstrukturen in Enterprise Umgebungen verwalten lassen. Es wird sowohl die Funktionsweise von CDC erläutert als auch dargestellt mit welchen Steuerungsstrukturen als Architekturkomponente gearbeitet werden kann.” Würde mich wie immer sehr freuen, viele von Euch aus der Region (gerne auch wieder von ein wenig weiter weg) dabei zu haben! Das Treffen findet wieder in der Microsoft Niederlassun...

Huhu… Ja, es gibt mich noch. :o) Hier erst mal kurz von mir der Hinweis, dass heute Abend mein PSG Kollege Max Wilhelm seinen ersten Vortrag in der Hamburger SQL Server Usergroup (PASS Deutschland e.V.) halten wird. Danke Max! Thema ist die Implementierung von Time Intelligence in SQL Server Analysis Services Cubes. Dabei wird er u.a. die Arbeit mit Shell Dimensions bzw. Utility Dimensions für die Nutzung von Zeit Intelligenz im Cube vorstellen und kurz auf die Verwendung von SCOPE im MDX Script eingehen. Das Treffen findet heute Abend (9.2.2012) ab 18:15 in der Hamburger Microsoft Niederlassung in der Gasstraße 6a statt. Um zahlreiches Erscheinen wird gebeten! Sofern möglich, meldet Euch bitte vorher kurz beim Rolf Keyser unter rky@sqlpass.de an. Freue mich drauf Euch vor Ort zu treffen!