Sascha Lorenz - with a passion for massive SQL Server workloads

So, seit wenigen Tagen (nun ja, fast Stunden) ist die CTP 3 vom SQL Server Denali draußen. Und groß in der Ankündigung von Microsoft steht drin, dass auch das sagenumwogende “Project Crescent” dabei sein soll. Und schon geht die Sucherei los. Wo ist Crescent? Wir wollen auch diese ultra-coolen Reports bauen! Die Antwort dazu ist relativ einfach. Es ist dabei, aber… Crescent ist ein Bestandteil von PowerPivot für SharePoint! Und das wiederum bedeutet, dass Ihr einen SharePoint 2010 Enterprise mit Service Pack 1 für die Nutzung von Crescent benötigt. Details findet Ihr hier: Deployment Checklist: Reporting Services, Project Crescent, and PowerPivot for SharePoint

Zu meinem Post über den MERGE Befehl des SQL Servers habe ich viel Feedback bekommen und das Interesse an mehr dazu scheint recht groß. Danke dafür! Und tatsächlich ist der MERGE Befehl auch noch um einiges mächtiger als ich in dem Beispiel für einen einfachen ELT Ladeprozess gezeigt hatte. Und natürlich lässt sich damit mehr machen als nur einen ELT Prozess zu unterstützen. Hier noch mal die grundlegende Syntax: MERGE <Ziel> USING <Quelle> ON <Bedingung> WHEN MATCHED THEN <Update oder Delete> WHEN NOT MATCHED THEN <meist ein Insert>; Nun, was geht jetzt noch? :-) Eine interessante Möglichkeit ist, dass sowohl zwei MATCHED als auch mehrere NOT MATCHED Klauseln unterstützt werden. Für den Einsatz gibt es aber Bedingungen. Wenn mit zwei MATCHED Klauseln gearbeitet werden soll, dann muss die erste Klausel auf jeden Fall eine erweiterte Bedingung mittels AND Klausel beinhalten. Des Weiteren kann nur einmal UPDATE und ei...

Gestern ist auf Channel 9 der erste Teil einer kleinen Community Webcast Reihe vom Peter Kirchner und mir zum Thema SQL Server speziell für ISVs online gegangen. Die weiteren Teile werden dann ebenfalls in den nächsten Wochen online gehen. Was machen wir in diesen Casts? Hier der “Klappentext”: “ In diesem ersten Teil der Webcast-Reihe von Sascha Lorenz und Peter Kirchner zum SQL Server 2008 R2 erhalten Sie einen kurzen Überblick über die Inhalte dieser Webcast-Reihe sowie als Einstieg in das Thema einige Grundlagen, die jeder besitzen sollte, wer mit dem SQL Server arbeitet. Bereits diese Grundlagen können gängige Fehler in Implementierungen, die den SQL Server betreffen, vermeiden und sogar bereits positive Auswirkungen auf die Performance Ihrer Softwarelösungen haben. Insbesondere das Verständnis für Abfragen soll geschärft werden, beim SQL Server in Mengen anstatt in Datensätzen zu denken. Gerade dieses Thema dürfte für Entwickler, die mit Oracle vertraut sind und nun für den Mi...

Vom 26. bis zum 30.09.2011 findet in Mainz wieder die BASTA! statt. Was ist die BASTA! ? “ Die BASTA! ist die renommierteste unabhängige Konferenz für .NET-Technologien im deutschsprachigen Raum. Hier kommen die besten Experten aus ganz Europa zusammen, um Ihnen ihr praxiserprobtes Wissen und ihre Erfahrung weiter zu geben. Technisches Know-how auf höchstem Niveau für Entwickler, exzellentes Erfahrungswissen für Softwarearchitekten und Projektleiter – das ist es, was die BASTA! auszeichnet .” Zitat von der Website Die BASTA! setzt sich mittlerweile aus drei “Konferenzen” zusammen: BASTA! – Entwickler, Entwickler… SQLCON – SQL Server… ShareConnect – SharePoint Server… Und als Teil der SQLCON darf ich dieses Jahr zwei Vorträge zu meinen Lieblingsthemen halten: Die Entwicklersicht auf Microsofts Business Intelligence am 27.09.2011 | 17:15 - 18:30 Uhr In dieser Session wird anhand von Beispielen gezeigt, wie durch die Nutzung der offenen und dokumentierten AP...

Wenn ich Diskussionen über die Entscheidung für eine ETL oder ELT Architektur führe oder auch nur moderiere, dann bringe ich als ein mögliches Beispiel für eine ELT Architektur gerne die Verwendung des MERGE Befehls. Nur wenige scheinen diesen Befehl bisher aktiv zu nutzen, dabei ist er schon seit SQL Server 2008 dabei und gehört auch zum SQL:2008 Standard! Was macht nun der Befehl MERGE? Laut den BOL das hier: “Führt Einfüge-, Aktualisierungs- oder Löschvorgänge in einer Zieltabelle anhand der Ergebnisse eines Joins mit einer Quelltabelle aus. Sie können z. B. zwei Tabellen synchronisieren, indem Sie Zeilen in einer Tabelle anhand von Unterschieden, die in der anderen Tabelle gefunden wurden, einfügen, aktualisieren oder löschen.” Und damit ist er perfekt geeignet für den Ladeprozess von Dimensionen in Data Warehouse/BI Projekten. Denn dort benötigen wir ja sowohl ein INSERT als auch ein UPDATE für unsere Geschäftsobjekte in den Dimensionen. Ok, und ganz selten mal ein DELETE,...

Vor einiger Zeit hatte ich ja schon mal beschrieben wie das MDXScript Objekt ohne das BIDS bzw. den BIDS Helper geändert werden kann. Des Öfteren wurde ich danach gefragt, wozu denn so etwas gut sein soll. Wenn der Würfel neu verarbeitet wird, dann wird das MDXScript doch eh neu durchgerechnet. Nun ja, so einfach ist es dann nicht! Das MDXScript wird ja nicht durchgerechnet! Es wird einfach in der OLAP Datenbank (aka Cube) bereitgestellt. Erst wenn Teile des MDXScriptes für das Auflösen einer MDX Query benötigt werden, wird es genutzt! Des Weiteren bleibt die eigentliche Analysis Services Datenbank gültig und alles Verbindungen bestehen. Diese Tatsachen ermöglichen einige interessante Lösungen! :-) Zum Beispiel die Bereitstellung eines MDXScript Services ! Auch gerne Calculations Services genannt. Die Idee dahinter ist recht einfach und wird von mir gerne verwendet, wenn des Öfteren im Laufe eines Tages eine dynamische Änderung bzw. Anpassung eines “Würfels” notwendig ist und ...

Immer wieder werde ich gefragt, welche Edition denn nun für ein BI Vorhaben bzw. Projekt die geeignete sei? Hintergrund dieser Frage ist häufig die Entscheidung zwischen der sogenannten “Standard” und “Enterprise” Edition. Des Weiteren kommt häufig die Frage, ob sich denn der Wechsel auf eine aktuellere Version lohnen würde? Viele Kunden von Microsoft haben einen SQL Server 2008 im Einsatz und noch mehr einen SQL Server 2005. Und natürlich gibt es noch durchaus Anwender des SQL Server 7 & 2000, aber da stellt sich aus Supportsicht die Frage eigentlich nicht. Oft kommt auch noch die Frage, ob sich denn das Warten auf die nächste Version lohnen würde. Zurzeit warten wir ja alle ganz gespannt auf SQL Server 2011 aka Denali. Und natürlich ist der Fragesteller dann immer schnell bei der Hand die guten alten “Best Practices” zu bemühen. Also da muss es doch auch so eine richtig vs. falsch Regel für geben. Wieder mal gibt es diese nicht, denn die Antwort auf so eine Frage kann natür...

Nun ist das ShareCamp in Unterschleißheim ja schon ein paar Tage her. Hatte gleich danach viel um die Ohren. Unter anderem war ich gleich noch am folgenden Montag Abend in Köln im Microsoft Regional Office, um dort bei der SQL Server Community (PASS Deutschland e.V.) einen Vortrag über Repository Driven BI zu halten. Vielen Dank an die Organisatoren und die vielen Teilnehmer, hat mir großen Spaß gemacht! Aber nun ist die Zeit gekommen für ein kurzes Resümee zum ShareCamp. Erst mal vielen herzlichen Dank an die Organisatoren aus der Community und von Microsoft! Das ShareCamp ist eine wirklich gelungene Community Veranstaltung gewesen! Selten war der Community Gedanke auf einer Konferenz so unmittelbar greifbar! Das lag sicherlich auch an der für mich neuen Veranstaltungsform als Barcamp . War anders, aber hat viel Spaß gemacht, da das flexible Format gerade meiner persönlichen Nähe zur Spontanität zugesagt hat. :-) Ach ja, aus Tradition… Essen war gut & lecker! Aber ich w...

Langsam nähere ich mich Unterschleißheim. Dort ist ja am kommenden Wochenende das ShareCamp im HQ von Microsoft Deutschland. Nachdem ich vorgestern ja noch beim PASS (SQL Server Usergroup) Treffen in Hamburg dabei war,  habe ich noch kurz Station gemacht in der PASS Regionalgruppe Hannover und dort einen Vortrag über “The Developer Side of Microsoft BI” gehalten. Hat großen Spaß gemacht! Sehr interessante Diskussionen. Besonders mit den drei Regionalgruppenverantwortlichen vor Ort: Christoph Seck, Artus Krohn-Grimberghe & Vladimir Stepa. Gerade die Diskussionen mit Vladimir, einem der Mitentwickler des berühmten MDX Studios, waren anspruchsvoll aber sehr auch inspirierend! Danke, dass ich dabei sein durfte! Ich hoffe, dass für alle ein paar Anregungen dabei waren! Heute geht die Fahrt weiter nach München. Auf dem ShareCamp gibst dann von mir Einiges zum Thema BI mit dem SharePoint Server. Auf Rückweg können wir uns dann noch in Köln am Montag Abend beim PASS Treffen...

Eine häufige Frage an mich ist, warum ich überhaupt so viel Zeit investiere in die Entwicklung von projektspezifischen SSIS Generatoren . Schließlich lasse sich doch in SSIS fast alles über Expressions und den Mechanismus der Paket-Konfiguration von außen dynamisch steuern! Wozu also der ganze Aufwand? Die Aussage mit den Expressions (Ausdrücken) und der Konfiguration ist für sich genommen natürlich korrekt und wird von mir bzw. meinen Kollegen in Projekten auch verwendet. Wichtig ist aber die Einsicht, dass sich halt nur “fast” alles damit steuern lässt! Und aufgrund der Architektur der Integration Services lässt sich während der Laufzeit eines Paketes der Inhalt eines Datenflusstasks nicht verändern! Und gerade da setze ich häufig an, um die Erstellung und Wartung von SSIS Paketen weitestgehend zu automatisieren. Oft sehe ich aber Ansätze von Kunden oder in der Community für dynamisches SSIS, welche so nicht funktionieren können. Um solchen Missverständnissen vorzubeugen, möcht...

So, jetzt ist es amtlich! Meine nächste Woche wird ein “wenig” Community-lastig… Mittwoch, den 11.5., PASS Treffen Hamburg zum Thema “Denali” (da bin ich nur Co-Sprecher…) –> Dank an Markus Thomanek von Microsoft! Donnerstag, den 12.5., PASS Treffen Hannover zum Thema “Developer Side of Microsoft BI” (mit mir als Sprecher) Freitag, den 13.5., bis zum Sonntag, den 15.5., bin ich dann als Sponsor (& als Sprecher) auf dem ShareCamp 2011 in Unterschleißheim, München dabei und weil es so schön in der Community ist… Montag, den 14.5., PASS Treffen Köln zum Thema “Developer Side of Microsoft BI” (wieder mit mir als Sprecher). Sehen wir uns? Bei der Tour gibt es fast keine Ausrede mehr! :-)

Und wieder war es ein Meeting, welches mich zu einen Blogpost animiert. Wir sprachen über die Einführung eines Data Warehouses, ETL etc. pp. und dann kam da einer mit einer ganz tollen Frage: Was ist denn mit ELT und wo sei der Unterschied? Und ob das denn die Integration Services auch könnten? Ist doch die Zukunft des Integrationsprozesses, sagt doch der andere Hersteller. Also wäre ja zu erwarten, dass Microsoft solche Innovationen unterstützt. Der klassische ETL Prozess wäre ja quasi von gestern und mit ELT dann ja auch dazu noch überflüssig geworden. Erwartungsvolle Gesichter in der Runde. Was ist denn nun ELT und kann das der SQL Server? Ich liebe meinen Job… Also, klassisches ETL (Extract, Transform, Load) meint, stark vereinfacht ausgedrückt, dass Daten aus verschiedenen Vorsystemen extrahiert werden. Diese werden in der Regel in Form von “Datenpaketen” in einer sogenannten Landing Zone gesammelt. Von dort aus werden die Pakete i. d. Regel mehrstufig weiterverarbeitet, s...

Ein schon ein paar Tage zurückliegendes Meeting mit einem Kunden brachte mich auf die Idee für diesen Post. Es ging dabei um einen Pitch für den SQL Server und all seine Möglichkeiten. Ihr wisst schon, diese “Zeigen Sie mal, was das kann…” Termine in 90Min. Also war wieder selektives & spontanes Highlights zeigen angesagt. Hat ja keiner die notwenigen 48h Zeit. Ein echtes Highlight aus meiner Sicht sind die Reporting Services (SSRS). Aber ähnlich wie die Integration Services (SSIS), welche gerne mal nach wenigen Minuten mit “sagen Sie doch gleich Schnittstelle…” abgetan werden, sind die Reporting Services für viele einfach “ach so, Berichte, haben wir natürlich schon…” und liegen damit wohl verpackt in einer Schublade, die den Möglichkeiten einfach nicht gerecht wird. Sofern Ihr auch mal in diese Situation kommen solltet, hier ein paar Anregungen (ohne den Anspruch auf Vollständigkeit) wofür die SQL Server Reporting Services noch alles genutzt werden können. Berichtswesen (...

Hier ist der nächste Teil meiner kleinen Reihe über die Entwicklung von eigenen Werkzeugen für das Auslesen und Verändern von SSIS Paketen (dtsx). Wie bereits im ersten Teil, machen wir noch was ganz harmloses und lesen dieses Mal die Verbindungsmanager eines Paketes aus. Das Codebeispiel dient für den Moment hauptsächlich dazu, zu zeigen wie einfach der Zugriff auf einzelne Eigenschaften eines SSIS Paketes ist. Des Weiteren demonstriere ich noch, wie wir bereits hier auf die Verwendung von Expressions prüfen können. Expressions, also die Arbeit mit dynamischen Ausdrücken innerhalb einer SSIS Lösung, lassen äußerst mächtige Architekturen möglich werden, sind aber in der späteren Wartung ein wenig tricky, wenn der Verantwortliche für den Betrieb der Lösung nicht immer hundertprozentig weiß, wofür gerade überall Ausdrücke verwendet werden. Gerade im Zusammenspiel mit mehrstufigen Paket-Konfigurationen kann die Fehlersuche durchaus anspruchsvoll werden. Aber deswegen bauen wir uns ja e...

Das Geschäft als Berater bzw. als Coach besteht ja auch zum Teil daraus, dass man zur richtigen Zeit den richtigen Spruch bzw. Lehrsatz auf den Lippen hat. “Der Stern, die Schneeflocke oder die Galaxie ist nicht gleichzusetzen mit dem daraus entstehenden multidimensionalem Raum!” Kurzfassung: Der Stern ist nicht der Würfel! Viele Anwender der Analysis Services arbeiten aber gerne mit der Vorstellung , dass das Starschema nicht nur die Quelle darstellt, sondern auch, dass im Cube die Trennung zwischen Dimensionen und Fakten existiert. Dimensions- und Faktentabellen sind aber “nur” relationale Strukturen, welche als Datenquellen für den Würfel dienen. Viele Frontends, wie auch Excel, unterscheiden aber sehr deutlich in der Darstellung zwischen Attributen (Dimensionen) und Measures. Der eigentliche Cube bzw. der, wie ich finde korrektere Ausdruck, multidimensionale Raum haben aber ihre ganz eigene “Logik”. Wie kommen wir da jetzt raus? Muss nun jeder Endanwender eine hocheso...

In der Vergangenheit habe ich ja schon mehrmals auf die Möglichkeiten der “Developer Side of Microsoft Business Intelligence” hingewiesen. Häufig habe ich dabei auch die Erstellung bzw. Modifikation von SSIS Paketen durch .NET Code gestresst. Ein Missverständnis dabei ist, dass ich diese Methode ausschließlich für die automatisierte Erstellung von SSIS Paketen (dtsx) empfehle! Der Aufwand, der dafür getrieben werden muss, um eine solche Lösung einzusetzen, ist tatsächlich sehr hoch und ist bei weitem nicht was für jedes Projekt. Aber, meine Empfehlung ist die “Developer Side” auch für bestehende Lösungen zu nutzen. U. a. für die automatisierte Inventarisierung und Erweiterung von SSIS Paketen, um zum Beispiel Logging und Debug Funktionen. Dieser Ansatz ist gerade für Lösungen interessant, bei denen am Anfang auf die konsequente Verwendung von Templates aus einem Framework verzichtet wurde. Für diesen Verzicht kann es diverse Gründe geben. Häufig ist, dass einfach keine Zeit war und...

Heute mal wieder ein paar Gedanken zur Architektur einer ETL Lösung. Genaugenommen sind wir bei der Klärung von einigen grundlegenden Fragestellungen. Welche können das beim Einsatz von Integration Services (SSIS) als ETL Lösung sein? Viele Fragestellungen bzw. Herausforderungen, welche ich im Rahmen von Coachings gestellt bekommen habe bzw. wir als Team in Projekten angetroffen haben, lassen sich auf einige grundlegende Missverständnisse und inkonsequente Entscheidungen zurückführen. Dabei geht es nicht um technische Details. Ist tatsachlich die Entscheidung für eine echte ETL Lösung getroffen worden? ETL heißt nicht, dass ein bestimmtes Tool verwendet wird! Also, wir verwenden die Integration Services heißt nicht automatisch, dass man da von ETL sprechen kann oder sollte. ETL ist für mich die konsequente Verfolgung eines Konzeptes. Und es heißt viel mehr als nur in Extract, Transform und Load zu denken, denn das trifft auch auf die meisten üblichen Schnittstellen zu. ETL heiß...

Im Rahmen eines Projektes evaluiere ich gerade Möglichkeiten, um eine automatisierte Bereitstellung von Reports zu ermöglichen. Es geht dabei um 1-2 Reports mehr. :-) Die Verwendung von RS.EXE für die Ansteuerung der Reporting Services hatte ich in diesem Kontext ja schon beschrieben. Wobei mir bei RS.EXE die Anbindung von Datenquellen für die Parametrisierung nicht so gefällt. Daher heute ein weiterer Ansatz: Nutzung der Reporting Services aus den Integration Services heraus! Von der Logik her unterscheidet sich der Weg zum Report gar nicht so sehr vom Skriptingansatz, da wir wieder mit den selben Objekten konfrontiert werden. Nur jetzt verwende ich mal den Webservice für die Kommunikation. Was brauchen wir also alles? Einen Report! Da nehme ich wieder mal meinen einfachen Report mit nur einem Parameter, um die Ansteuerung der Parameter zu testen. Ein SSIS Paket, welches nur aus einem Datenflusstask besteht, welcher wiederum nur eine OLE-Quelle und ein Skriptkomponente...

Vor ein paar Tagen habe ich hier gepostet wie Ihr mit dem Tool RS.exe (dem Reporting Services Skript Tool) einen Report bereitstellen könnt. Dazu kamen nun ein paar Fragen rein. Eine Frage wiederholte sich und zwar: Wie Parameter an den Report übergeben werden können? Das ist natürlich möglich, dazu müssen wir nur das Skript ein wenig erweitern für. Dann könnt Ihr das gleich zu Ostern ausprobieren! :-) Zu erst aber brauchen wir einen Report mit einem Parameter. Dazu nehmen wir mal nichts komplexen, sondern diesen schönen Report. Der hat keinerlei Quellen etc., sondern nur einen Parameter mit dem schönen Namen “ DemoParameter ”.   Kommen wir zum Inhalt unseres “ render.rss ” Skripts. Public Sub Main()   Dim fileName as String = "C:\Users\Administrator\Desktop\demo.png"   Dim reportPath as String = "/Vertrieb/ParameterDemo"   Dim results() as Byte   Dim parameters(0) As ParameterValue   parameters(0) ...

Hier noch schnell vor Ostern der erste Hinweis, dass wir (die PSG ) gemeinsam mit unserem Partner Layer2 auf dem ShareCamp , dem Community Event für SharePoint in Deutschland, dabei sind. Das ShareCamp 2011 findet auch dieses Mal wieder in der Zentrale von Microsoft in Unterschleißheim statt. Termin ist der 14.-15.05.2011 (ja, das ist ein Wochenende!). Vor Ort werde u. a. ich sein und ein wenig die Business Intelligence Flagge für SharePoint hochhalten und die Integration von Analysis Services, Reporting Services etc. in SharePoint evangelisieren. Dazu gehört es natürlich auch, dass ich gerne die PerformancePoint Services erläutere und einen tiefen Einblick in die Technologie OLAP (so mit Dimensionen, Attributen, Tuples, MDX etc. pp.) gebe, um die PPS auch wirklich sinnvoll nutzen zu können. Ich freue mich schon sehr auf dieses Community Event! In den nächsten Tagen werde ich noch weitere Details dazu posten und was ihr von uns vor Ort sehen könnt.

Wie die Zeit doch rennt! :-) Hier der Hinweis, dass ich als Gastsprecher am 12.05.2011 beim Treffen der PASS Deutschland e.V. Gruppe Hannover / Göttingen & am 16.05.2011 beim Treffen der PASS Deutschland e.V. Gruppe Köln / Bonn / Düsseldorf bin! Ich werde bei beiden Treffen über eines meiner Lieblingsthemen sprechen dürfen und zwar “ The Developer Side of Microsoft Business Intelligence ” Der Microsoft SQL Server bietet eine ganze Reihe von äußerst mächtigen Diensten und Werkzeugen für die Erstellung von Business Intelligence Lösungen. Warum sollte sich dann überhaupt ein BI Berater mit den Möglichkeiten der Programmierbarkeit des SQL Servers beschäftigen? Weicht er damit nicht vom Standard ab? Und warum sollte sich ein Programmierer mit BI befassen? Sind die BI relevanten Dienste vom SQL Server etwa nicht fertig? Die Wahrheit ist, dass eine wesentliche Stärke des SQL Servers, neben den bekannten Werkzeugen, die Verfügbarkeit von diversen sehr gut doku...

Ein Thema kam beim letzten Treffen der SQL Server Community (PASS) in Hamburg auf und zwar die Frage: Wie wichtig ist die deterministische Vergabe des Attribute Keys in Analysis Services?”. Nun ja, und die Antwort darauf ist wie so oft: Kommt ganz drauf an! Was ist überhaupt gemeint mit der deterministische Vergabe von Attribute Keys? Am Beispiel von Excel 2010 als Frontend möchte ich kurz die Herausforderung skizzieren. In Excel 2010 können wir ohne weitere Plug-Ins mittels einer Pivot-Tabelle und/oder den Excel Cube Funktionen auf Analysis Services Datenbanken (aka “Cubes”) zurückgreifen. Und Excel gibt es mittlerweile sowohl als Tool für den Desktop als auch als Excel Services im SharePoint. Für unser kleines Beispiel habe ich hier eine Tabelle DimKunde mit folgenden Einträgen: Wichtig dabei ist, dass die Dimensionszeile einen eindeutigen Schlüssel mit der Spalte ID hat . Die Spalte OrtId wird in diesem Fall automatisch erzeugt und enthält damit einen eindeuti...