Sascha Lorenz - with a passion for massive SQL Server workloads

Wow, das war doch mal eine Woche! Da gab es endlich wieder etliche Überschneidungen im Kalender. Wir hatten den PASS Summit in Seattle, die TechEd Europe in Berlin und noch ein TechNet MS SQL & BI Seminar in Hamburg. Die Keynotes des Summits gabs auch gleich noch als Livestream. Sessions der TechEd sind wie gewohnt bereits online verfügbar. Sowohl auf dem Summit als auch auf der TechEd wurden diverse Ankündigungen bzgl. des neuen SQL Servers gemacht. Highlights sind wohl u. a.: Project Crescent (ultra cooles Reporting / Dashboard Tool auf Basis Silverlight) Business Intelligence Semantic Model (BISM) VertiPaq in der relationalen Welt (eine Renaissance von ROLAP ?) und vieles, vieles mehr… Und es gab dazu viele Emotionen diese Woche. Chris Webb z. B. sprach da wohl vielen von uns aus der Seele. http://cwebbbi.wordpress.com/2010/11/11/pass-summit-day-2/ Da wurde wohl das eine oder andere ein wenig zu euphorisch angekündigt und präsentiert. Zumindest en...

Eine Frage kommt im Zusammenhang mit den Analysis Management Objects immer wieder: Wie kann auf das MDX Skript zugegriffen werden? Und auch dafür sind tatsächlich nur wenige Zeilen Code notwendig! AMO sei Dank! Mit diesem Codeschnipsel lese ich das MDX Skript aus und zeige ihn in einer Textbox an. Statt der Textbox könnt Ihr natürlich auch eine Variable oder sonst was verwenden. using Microsoft.AnalysisServices; … Server srv = new Server(); srv.Connect("localhost"); // Dein Server Name! myTB.Text = srv.Databases.GetByName("Adventure Works DW 2008").Cubes.GetByName("Adventure Works").MdxScripts[0].Commands[0].Text; // Deine SSAS DB & Dein Cube srv.Disconnect(); So, und natürlich kommt auch gleich wieder die Frage wie denn nun das MDX Skript geschrieben werden kann? Mit dem BIDSHelper ist es ja möglich dies innerhalb des Business Intelligence Development Studios (BIDS halt) zu machen. Auch hierfür sind nur wenige Zeilen Code notwendig...

Als ein Feedback auf meine letzten Casts bekam ich die Nachfrage, ob und wie denn der LastProcessed Status einer SSAS Cube Partition mittels der SSIS Skriptkomponente und Analysis Management Objects ausgelesen werden kann. Als Antwort darauf habe ich wieder einen kleinen Cast aufgenommen. Ich hoffe alle wesentlichen Schritte sind klar und verständlich geworden. Viel Erfolg damit!

Aufgrund des Feedbacks zum Post über meine AMO Aktivitäten für den Aufbau eines Microsoft Business Intelligence Repositorys, habe ich wieder einen kleinen Webcast aufgenommen. In diesem zeige ich die Verwendung des SSIS Skripttasks als Datenquelle für Analysis Management Objects oder auch MDX Abfragen. Des Weiteren zeige ich auch wie Ihr Euch mit SSIS Test- bzw. Demodaten erzeugen könnt. Viel Erfolg beim selbst ausprobieren!  

Kurze Rückmeldung von mir. Bin vom PASS Camp 2010 R2 zurück. Meine Session lief wohl soweit erfolgreich. Das Camp als Ganzes war aus meiner Sicht ein voller Erfolg! Details dazu werden noch folgen! Bin an der weiteren Integration eines umfassenden Repositorys für die Microsoft BI Umgebung . Ein Aspekt dabei ist der Zugriff auf die Metadaten eines SSAS Cubes mittels Analysis Management Objects . Bin zurzeit am entwickeln einer Komponente für die Integration Services für den direkten Zugriff auf einen Würfel und seine Informationen. Erste Tests mit der Skriptkomponente laufen bereits sehr gut. :-)

Hätte ich ja fast vergessen! Mal was ganz anderes… Ich war vorgestern Abend auf dem MS TechTalk zum Windows Phone 7. Da kam unteranderem das Thema Entwicklung von Spielen für das WP7 auf und die Frage woher der Entwickler denn 3D Modelle bekommen könnte bzw. womit er diese erstellen sollte. Es wurden alle Top Tools am Markt genannt. Da fiel mir ein, dass ja Microsoft vor ein paar Jahren ein ähnliches Tool gekauft hatte (bzw. die Company drum rum), ich kam zwar nicht auf den Namen, aber eine Stimme hinter mir erinnerte sich dann: TrueSpace ! Dank an den Unbekannten! Yepp, TrueSpace (Caligari) gehört zu MS und TrueSpace gibst schon seit einiger Zeit for-free! TrueSpace kann meinem Kenntnisstand nach auch Modelle für DirectX (und XNA) erstellen. Habe gerade keine Zeit dieses zu testen, aber hier der Link zum Download .

Auf meinen Cast für das Beispiel für die Excel Cube Funktion CUBEMENGE bekam ich nun das Feedback, dass das zum Teil zu schnell ging. Zwar kann ja die Pause Taste gedrückt werden, aber nicht jeder kam mit, wie ich die Zellen denn nun im Excel miteinander verknüpfe. Daher hier nun eine Übersicht darüber: Also, im oberen Ausschnitt aus Excel habe ich eine Liste (keine Excel Liste!) erstellt, welche eine Nummerierung, einen endbenutzerfreundlichen Namen und die jeweilige Beschreibung einer Menge (Set) in MDX enthält. Das läuft zusammen in einer Excel Formel mit der Funktion VERWEIS. Diese holt sich als “Parameter” eine Zahl (oben die “1”). Die Zelle wird aber gefüllt über das Listboxelement, welches ich im eigentlichen Report/Dashboard im unteren Ausschnitt verwende. Diese Listbox holt sich ihre Elemente für die Darstellung wiederum aus der selben Liste. Die eigentliche Magie steckt aber in der Formel in C3 (untere rote Ellipse) mit der CUBEMENGE Funktion. Wir geben dort als B...

Damit habe ich nicht gerechnet! Vielen Dank für das Feedback und die vielen Fragen zu meinem kleinen Cast über die Cube Funktionen in Excel . Eine Frage kam dabei gleich häufiger: Ist die Funktion CUBEMENGE nun nur statisch? Wo ist dann der wirkliche Vorteil für mich als Controller? Ok, das kann beantwortet werden. Nein, es ist sehr wohl möglich CUBEMENGE dynamisch zu nutzen . Es kann sogar die Dimension, Hierarchie und der Level dynamisch ausgetauscht werden. Wie? Das zeige ich in diesem zweiten kleinen Cast! Hoffe, dass dieser wieder ein wenig Licht ins Dunkel bringen kann und noch mehr von den Möglichkeiten der Cube Funktionen in Excel zeigt. Bin mir sehr sicher, dass ich dazu in Zukunft noch ein wenig was zeigen werde.

Hier ein Slide aus meinem Deck über Analysis Management Objects. Bin gerade am “Aufräumen”, da ich nächste Woche im PASS Chapter Hamburg einen kleinen Vortrag darüber halten werde und in der Woche drauf dann während des PASS Camps das Thema im Detail mit den Teilnehmern durchgehen werde. Ich poste das Slide, da ich in meiner Rolle als Coach & Berater immer wieder auf die Meinung treffe, dass die SQL Server Analysis Services sich primär um den OLAP Cube als Objekt drehen. Das ist aber nur bedingt richtig. Zwar ist “der Cube” meist das Ziel in der Arbeit mit den Analysis Services, aber im Vordergrund steht die Arbeit mit der SSAS Datenbank. Ein OLAP Cube ist nur ein Teil dieser Datenbank! Aus diesem Missverständnis heraus entstehen meist irrtümliche Annahmen über den Aufbau von Cubes und der darunterliegenden Strukturen. Als Coach empfehle ich jedem, der mit SSAS zu tun hat, dass er sich bei Zeiten mal näher mit den Analysis Management Objects auseinandersetzt, da “das Codiere...

Diese Woche ist es wieder soweit! Das monatliche PASS Treffen in Hamburg steht an. Wir werden uns im Detail die Analysis Management Objects (aka AMO) zum Zugriff auf die SQL Server Analysis Services anschauen und anhand von Codebeispielen lernen, wie diese für den Aufbau von OLAP Cubes auf Basis eines Repositories genutzt werden können. AMO ist bitte nicht zu verwechseln mit ADOMD.NET , welches eher für den Zugriff auf die Daten eines OLAP Cubes genutzt wird. Details zum Treffen findet Ihr unter http://bit.ly/ciRv5e !

Im Mai diesen Jahres hatte ich einen Blogbeitrag geschrieben über die Cube Funktionen in Excel 2007 & 2010 . Die letzten Monate habe ich eine ganze Menge Feedback dazu bekommen. Die Funktionen scheinen bisher nicht so bekannt gewesen zu sein und viele haben sich an meiner Schritt-für-Schritt Anleitung versucht. Von einigen Teilnehmern der Community kam der Wunsch nach einen Video zu dem Thema. Diesem bin ich nun endlich nachgekommen. Hoffe, dass der Einstieg in die Arbeit mit den Cube Funktionen nun noch ein wenig einfacher wird. Viel Erfolg!

So, und schon wieder von was zurück … :-) Dieses Mal von der größten SQL Server Konferenz in Europa. Der SQLBits Konferenz. Diese fand nun schon zum siebten mal statt. Als Veranstaltungsort wurde die University of York gewählt. Genauer gesagt das Exhibition Center des Heslington Campus in York. Ein modernes Universitätsgelände mit dem entsprechenden geselligen und gelehrigen Charme. Für mich war es die erste SQLBits. Und nicht genug, ich war auch gleich Sprecher. Die Konferenz bestand aus drei Tagen: - einem Workshop Tag, also klassische kostenpflichte Pre-Con (Donnerstag) - einem Tag, für den bezahlt werden musste, da “hochwertiger” Content (Freitag) - und einem Community Tag, welcher von Sponsoren finanziert wurde (Samstag) Die Organisatoren hatten meine Session für den Freitag ausgewählt. Die Session hatte den Titel “ The Developer Side of the Microsoft Business Intelligence stack ”, welche eine 60 min. Zusammenstellung der vielseitigen Möglich...

Bin nun seit ein paar “Tagen” aus meinem letzten Urlaub zurück. Und schon wieder unermüdlich mit meinen Kollegen aus den unterschiedlichen Teams unterwegs gewesen. Es lagen sowohl spannende Workshops als auch herausfordernde Projekte rund um den SQL Server an. Vielen Dank an meine Kollegen für die zahlreiche Unterstützung vor Ort! Eine Überraschung habe ich direkt vor meiner Haustür vorgefunden! Und zwar scheint nun auch in meinem Dorf das Highspeed-Internet Zeitalter zu beginnen. Anbei seht Ihr ein Foto von meinem ganz privaten Glasfaserkabel direkt ins Haus. Angeblich sollen darüber “demnächst” bis zu 50 MBit möglich sein. Ich bin gespannt und werde berichten. Habe auch schon die eine oder andere Idee, wie die SQL Community davon profitieren könnte. Kommen wir zu einem sehr wichtigen Punkt: Der Mitgliederversammlung des PASS Deutschland e.V. am 18. Oktober 2010 ! Im Rahmen des PASS Camp findet dieses Jahr wieder eine MV statt. Ein wichtiger Punkt dabei ist die Wahl des Vorstandes....

Diese Woche habe ich erfahren, dass ich auf der Konferenz SQLBits 7 (The 7 Wonders of SQL) eine Session halten darf! Die SQLBits ist wohl mit die größte SQL Server Konferenz, welche man auf dieser Seite des Atlantiks finden kann und findet in UK statt. Dieses mal geht es nach York an die York University . Die Konferenz findet vom 30.9. – 2.10. statt. Weitere Details hier –> www.sqlbits.com . Vielleicht treffe ich ja den einen oder anderen von Euch dort!!? Meine Session dreht sich um Business Intelligence und den sinnvollen Einsatz von Developer Tools für die Bereitstellung einer BI Middleware bzw. eines BI Frameworks, welches die Dienste des SQL Server ein wenig fester verbindet. The Developer Side of the Microsoft Business Intelligence stack The Microsoft SQL Server provides a complete library of programmatically accessed objects for all Business Intelligence relevant services. With this set of functions almost any customer challenge can be solved without the need to p...

Hier nur “kurz” die Meldung, dass die Website für die Anmeldung zum PASS Camp 2010 (R2) online gegangen ist! Ihr erinnert Euch vielleicht , da bin ich dieses Mal als Sprecher dabei und werde Euch mein absolutes Lieblingsthema drei Tage am Stück nahebringen: Microsoft Business Intelligence für Entwickler! Hier gehst zum PASS Camp 2010 ! Das ist die Agenda für meinen Track: Dienstag , 19.10.2010 Einleitung - Warum überhaupt programmieren? Der Microsoft SQL Server bietet eine ganze Reihe von äußerst mächtigen Diensten und Werkzeugen für die Erstellung von Business Intelligence Lösungen. Warum sollte sich dann überhaupt ein BI Berater mit den Möglichkeiten der Programmierbarkeit des SQL Servers beschäftigen? Weicht er damit nicht vom Standard ab? Und warum sollte sich ein Programmierer mit BI befassen? Sind die BI relevanten Dienste vom SQL Server etwa nicht fertig? Die Wahrheit ist, dass eine wesentliche Stärke des SQL Servers, neben den bekannten Werkzeugen, die ...

Bin ja sonst nicht mehr so der Fan von Product-Placement, aber das hier scheint ein paar Zeilen wert zu sein! Hier kommt ein neues Visual Studio (Codename Kittyhawk), welches u. a. für den ambitionierten und kreativen Endanwender gedacht sein wird. LightSwitch ist damit das langerwartete “managed Access”!?! Es macht einen durchdachten Eindruck, wie da in den Demos SQL Server, SQL Azure, SharePoint usw. mittels einer wirklich einfachen Oberflächen zusammengebracht werden. Ohne es bisher selbst in den Händen gehabt zu haben, kann ich mir trotzdem vorstellen, dass es einen deutlichen Drive in die Entwicklung von diesen kleinen fiesen aber geschäftskritischen Anwendungen bringen wird, welche in diesem Paralleluniversum neben dem ERP System existieren! http://www.microsoft.com/visualstudio/en-us/lightswitch Die Beta soll ab dem 23. August verfügbar sein. Schön ist auch der Claim: “THE SIMPLEST WAY TO BUILD BUSINESS APPLICATIONS FOR THE DESKTOP AND CLOUD” We are all in! :-)

Da ich vor ein paar Tagen ja über Repositories in Data Warehouse Umgebungen geschrieben habe, hier noch ein paar weitere Gedanken dazu. Im Rahmen der European PASS Conference 2009 habe ich zwei Vorträge gehalten. In dem einen ging es primär um dynamisch erstellte SSIS Pakete. Eine äußerst leistungsfähige Technologie, wenn in umfangreicheren Projekten eine größere Menge an SSIS Tasks und Paketen benötigt wird, welche auf Basis von Metadaten erzeugt werden sollen. Ein sekundärer Aspekt dieser Session, welcher ein wenig unterging, war die Nutzung eines Jobpools innerhalb eines Repositorys. Damit sind wir wieder beim Thema. Es geht mir dabei um die Arbeit mit einer großen Menge an einzelnen Paketen und Jobs, welche zum Beispiel im Rahmen einer Datenbewirtschaftung eines Data Warehouses verarbeitet werden müssen. Natürlich gibt es eine ganze Reihe von Abhängigkeiten, welche bei der Abarbeitung berücksichtigt werden müssen! Als Lösung für eine solche Herausforderung wird gerne die Ablaufs...

Mein letzter Blogeintrag zum Thema Repository im Data Warehouse scheint einige Fragen aufgeworfen zu haben! Neben dem eigentlichen Thema “Repository”, danke für die Rückmeldungen, kam oft die Frage, wie ich denn nun aus einer SQL Query die in dieser verwendeten Spalten der Quelltabellen auslese und was der Queryplan damit zu tun hat. Daher hier jetzt ein paar mehr Informationen dazu. Die Vorgehensweise ist ein Abfallprodukt aus der Entwicklung eines Performancetuning Tools in einem Projekt. Kurz zur Sicherheit erwähnt, wofür ich sowas in Projekten überhaupt benötige. Es geht um die Aufgabenstellung, dass ich hunderte von Queries habe und sehr gerne “auf-Knopfdruck” sehen möchte, welchen Einfluss eine Änderung am Datenmodell auf eben diese Queries hätte. Woher habe ich diesen Berg Abfragen? Entweder aus einem Profiler Trace einer OLTP Anwendung oder aus RDL-Dateien. Auch schon gemacht, daher hier als möglich aufgezählt, die Quellen in SSIS Paketen und Analysis Services Projekten....

Ein kürzlich geführtes Gespräch mit einem Community Kollegen über das Thema Repositorys in Microsoft Business Intelligence Umgebungen, brachte mich auf die Idee meine Überlegungen und Erfahrungen zu dem Thema hier mal kurz zu skizzieren. Meine Definition eines Repositorys ist eine zentrale Sammlung von Metadaten, Versionsständen und Protokollen. Ein solches Repository gehört meiner Meinung nach primär zu dem Themenkomplex Data Warehouse. Das Versprechen einer Business Intelligence Lösung bzw. eines Data Warehouses ist u. a. die Bereitstellung der sogenannten “einzigen Wahrheit” in der Organisation. Das ist zum Beispiel durch den Einsatz von OLAP Cubes technisches relativ leicht durchzusetzen. Alle weiteren Frontend Werkzeuge (zum Beispiel Reporting Services oder Excel) greifen auf diese Datenquellen zu. Was passiert aber nun, wenn sich Strukturen des Data Warehouses und/oder der OLAP Cubes verändern? Diese Veränderungen ziehen sich in der Regel bis zu den Frontends durch und haben ...

So, als eine Ergänzung zu meinen letzten Einträgen zum Thema ADOMD.NET, habe ich heute ein paar weitere Details zur CellSet Klasse. Ich hatte ja bereits gezeigt, wie Ihr generell mittels ADOMD.NET und der CellSet Klasse auf Daten eines Cube zugreifen könnt. Dazu hatte ich auch ein paar Eigenschaften und Methoden der CellSet Klasse erläutert. Hier nun ein Beispiel für den Zugriff auf ein Resultset innerhalb eines CellSets. Hier nochmal ein Stück Code, welches sich mit einem Analysis Services Cube verbindet und eine MDX Query ausführt. AdomdConnection mdcon = new AdomdConnection(“<ConnectionString>”); mdcon.Open(); AdomdCommand cmd = mdcon.CreateCommand(); cmd.CommandText = “Query”; CellSet cs = cmd.ExecuteCellSet(); mdcon.Close(); Entscheidend für uns ist hier das CellSet cs, welches wir nun ein wenig mehr “auseinandernehmen” werden! Dafür brauchen wir aber auch die MDX Query: SELECT {[Date].[Calendar].[Calendar Year].&[2003], [Dat...

Ok, mein Blogartikel über ADOMD.NET war ja auch nur als Einstieg und Anregung gedacht! Aber es kamen nun die Wünsche nach Beispielen und Demos. Daher heute mal ein wenig Democode inkl. Download . Ich hoffe, dass ich in den nächsten Tagen noch mehr dazu beisteuern kann. Also, ich habe ein kleines Beispiel in WinForms gebaut, welches die Metadaten aus einer Verbindung mit den Analysis Services ausliest und in einem TreeView darstellt. Das ist jetzt bewusst keine fertige BI Anwendung, sondern soll als Beispiel für den Zugriff auf besagte Metadaten dienen. Wichtig ist, dass Ihr auf Eurem Rechner eine ADOMD.NET DLL habt. Sprich Ihr solltet ADOMD.NET installiert haben! Der eigentliche Code ist recht “einfach” gehalten und hält sich mit wenig auf. Es geht hier ja auch um ein erstes Demo.             int nCubes = 0;             tvMetadata.Nodes.Clear();    ...

Es gibt auf Basis des SQL Server 2008 R2 Update for Developers Training Kit nun auch noch auf Channel9 einen passenden Kurs in Form von Webcasts! Also, hier geht es zum Microsoft SQL Server 2008 R2 Update for Developers Training Course ! :-)

Vielleicht erinnert Ihr Euch noch an Pivot? Ich hatte schon mal kurz drüber geschrieben. Dazu ist mittlerweile einiges passiert. Es gibt nun ein PivotViewer Silverlight Control als Download , welches Ihr auf Euren Seiten einsetzen könnt! Aber was noch cooler wird, ist die Tatsache, dass Microsoft nun für den SharePoint 2010 ebenfalls eine Erweiterung, welche auf dem Control basiert, als CTP auf der Straße. Diese wird zwar als Designstudie bezeichnet, aber das wirkt schon durchdacht für den Moment. Den Download der “PivotViewer Extension for Reporting Services CTP1” gibt es hier: http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=d31f609d-a353-41ad-a1a4-f81456e3a6c4 Den Blog zum Projekt und einer sehr nützlichen Anleitung für die Installation hier: http://petcu40.blogspot.com/2010/07/pivotviewer-extension-for-reporting.html

In den letzten Jahren habe ich eine ganze Reihe von Vorträgen über den Zugriff auf Analysis Services Cubes mittels .net Code und ADOMD.NET gehalten. Da die Funktionsweise eigentlich äußert einfach ist, habe ich aber bisher wenig bis wohl gar nichts dazu geschrieben. Das möchte ich nun nachholen, da sich hier bei mir die Nachfragen langsam häufen! :-) Also, was ist ADOMD.NET eigentlich, was kann das und kostet das was? ADOMD.NET ist ein sogenannter Data Provider von Microsoft für das .net Framework und bietet u. a. aus meiner .net Anwendung heraus die Möglichkeit auf SQL Server Analysis Services Cubes zuzugreifen. Wichtig ist dabei zu verstehen, dass ADOMD.NET kein fertiges BI Tool oder Control ist, welches ich nur noch einbinden muss und damit eine Art Excel-BI-Grid-GUI in meiner Anwendung habe. ADOMD.NET bietet mir im Code alle Möglichkeiten für den Zugriff auf die Daten, aber ich muss diese selbst kreativ nutzen . Wäre es dann nicht einfacher sich nicht gleich was Fertiges zu kau...

Immer wieder sehe ich bei der Analyse von Anwendungen, dass mit sogenannten Tabellenhinweisen (table hints) gearbeitet wird. Meist ist die Begründung, dass der “doofe” SQL Server einfach nicht verstanden hat, dass es doch extra einen nicht-gruppierten Index für die Abfrage gibt. Den hat der doch einfach ignoriert! Und von anderen Entwicklungsumgebungen sei man ja schließlich auch gewöhnt die Verwendung von Indizes explizit anzugeben. Wo ist also das Problem? Nun ja, das Problem ist, dass die Erfahrung gezeigt hat, dass wenn soweit alles in Ordnung ist, der SQL Server ziemlich genau weiß, was er da so macht bei der Aufbereitung von Abfragen. Und wenn er einen Index nicht nutzen möchte, dann hat er in der Regel einen verdammt guten Grund dafür. Dummerweise wird dieser nicht angeben. Der häufigste Grund dafür, dass der SQL Server einen Index nicht verwendet, ist die Vermeidung von unnötiger Arbeit. Der SQL Server kann nämlich auf Basis der sogenannten Statistiken ziemlich genau abschä...

Mich erreichte die Nachfrage, was ich denn mit Reifegradmodellen im Projektmanagement meinen würde. In einem Post hatte ich den Begriff kurz fallengelassen als Hinweis auf einen möglichen Projektverlauf im Rahmen eines Performance Tunings . Oft beschreiben Reifegradmodelle themenbezogen die möglichen Entwicklungsschritte einer ganzen Organisation. Es gibt dabei Modelle für ganz unterschiedliche Herausforderungen: IT-Infrastruktur & Security, Business Intelligence, Projektmanagement usw. Dabei wird in der Regel als Orientierung festgelegt, wo die Organisation im Referenzmodell gerade steht, was die nächste Stufe ist und durch welche Merkmale diese zu erreichen wäre. Das Reifegradmodell fasst dabei durch sein “Modell” die einzelnen “Reifegrade” der notwendigen Prozesse innerhalb der Organisation zusammen. Es geht mir nun darum, wie große, unhandliche und komplexere Projekte “eingefangen” werden können und damit das Risiko eines Scheiterns bereits während der Planung minimiert wer...