Sascha Lorenz - with a passion for massive SQL Server workloads

Während eines Performance Driven Development Advanced Trainings kam eine interessante Fragestellung auf. Die Aufgabenstellung war einen einfachen lesenden Workload zu erzeugen, um die Geschwindigkeit von In-Memory OLTP zu testen. Folgender Code wurde vorgeschlagen: declare @max int select @max = max(id) from t1_old declare @i int = rand()*@max select * from t1_old where id >= @i and id <= @i+rand()*250 Sehr unverdächtig! Das offensichtliche Problem in der Where Clause lassen wir für den Moment mal unkommentiert. Das lösen wir weiter unten noch auf. Ich fand den Vorschlag ganz okay, da er echte Probleme der Qualität von T-SQL Code aufzeigte. Die physikalische Struktur hinter t1_old ist ein Clustered Index mit der ID als Clusterkey. Ein Test mit einer interaktiven Variante unseres Werkzeuges SQLPressure ergab, bei einer Steigerung von 20 Threads alle 5 Sekunden, dass sich der Workload bei 300 Threads mit einem Durchsatz von ungefähr 5000 einpendelt....

In den letzten Monaten wurde ich häufig danach gefragt, was denn dieses Performance Driven Development (PSG PDD) eigentlich sei? Und welche Technologien wir damit meinen? In erster Linie verstehen wir unter der Performance Driven Development Methode weniger einen Technologie Ansatz, als vielmehr einen Rahmen an Maßnahmen, damit das Thema Performance im Laufe einer Software Entwicklung den Stellenwert er- und behält, welcher bei Projektstart als notwendig erachtet wurde. Entstanden ist die Idee zu der Methode u.a. aus dem Feedback unserer Schulungskunden. Es wurde uns zwar attestiert, dass die Teilnehmer unserer Workshops und Schulungen einen deutlichen Knowhow Fortschritt machen würden, dennoch wäre es für den einzelnen Entwickler immer wieder schwierig sei neues Wissen auch so einzusetzen, dass die Projekte bzw. Produkte davon wirklich partizipieren. Der Alltag von Entwicklern sei ja stark getrieben durch ein agiles geprägtes Umfeld und Stakeholder, für die diese grundlegenden t...

Neulich wurde ich gefragt, was ich denn die letzten Monate so gemacht hätte. Es wäre ja recht ruhig um mich herum geworden.Keine Sorge! Natürlich bin ich dem Microsoft SQL Server und der Data Platform treu geblieben, auch wenn ich wieder öfters über den Tellerrand blicken durfte. Womit habe ich mich also die letzten Monate so beschäftigt? Zum einen bin ich in letzter Zeit immer wieder jenseits der reinen Vermittlung von technischen Features unterwegs. Vielmehr zeigt sich, dass unsere Kunden davon profitieren, dass wir unsere Technologie- und Projekt-Erfahrung in vermittelbare Konzepte und Prinzipien überführt haben. Also neben dem “Was gibt es?” kommen wir im Rahmen unserer Methoden Schulungen immer häufiger auf das “Warum?” und “Wie im Team?” zu sprechen.  Zum anderen führen wir immer mehr Microsoft Kunden an die “neuen” Themen heran. Wir konzentrieren uns dabei zurzeit auf Azure IaaS und In-Memory OLTP. Wesentlich für uns ist dabei wiederum die Einsicht, dass die reine Verm...

Wie schon mal von mir erwähnt, erlebe ich bei den Teilnehmern meiner SQL Server In-Memory OLTP Workshops die meisten Schwierigkeiten bei der Verwendung der “neuen” Isolation Level. Zwar klingen für viele Entwickler die Level SNAPSHOT, REPEATABLE READ und SERIALIZABLE vertraut, nur schon bei den SQL Server “disk-based” Tabellen haben die wenigsten diese aktiv genutzt. Standard ist häufig READ COMMITED und das ist auch gut so. Die Tatsache, dass In-Memory OLTP aber ohne Sperren auskommt, fühlt sich für die meisten Entwickler erstmal befremdlich an. Zwar haben wohl die meisten Interessierten schon mal die Microsoft PowerPoints mit einer Erklärung des Version Stores gesehen und sich gefreut, wie schön da Versionen von Zeilen nebeneinander koexistieren können. Nur wie sieht das in der Praxis für den Entwickler aus? Der deutsche Begriff für die Technologie In-Memory OLTP “Arbeitsspeicheroptimierung” trifft es irgendwie nicht ganz. Zwar wird der Arbeitsspeicher wesentlich optimierter gen...

Im Rahmen einiger Proof-of-Concepts und Workshops für die in-Memory OLTP Engine des SQL Servers habe ich die Erfahrung gemacht, dass selbst komplexe Eigenentwicklungen von Unternehmen häufig ohne Werkzeuge für realistische Lasttests auskommen müssen. Ziel der PoCs ist es zu evaluieren, ob das Investment in die Integration von SQL Server in-Memory OLTP überhaupt einen wirtschaftlich gerechtfertigten Vorteil mit sich bringt. Die einfache Frage im Raum ist häufig: Wird unsere Anwendung mittels in-Memory OLTP tatsächlich deutlich schneller? Die Voraussetzung für eine solche Überlegung ist natürlich, dass man entweder zurzeit mit der bestehenden Last zu langsam unterwegs ist oder für die Zukunft mit wesentlich mehr Last rechnet und davon ausgeht, dass diese zu Problemen führen wird. Die wenigsten Kunden nutzen zurzeit die in-Memory OLTP Engine des SQL Servers für eine komplette Neuentwicklung auf der grünen Wiese. Wobei, wer als ISV oder Entwicklungsleiter schon länger eine Neuentwickl...

Die letzten Monate habe ich recht viel Zeit damit verbraucht Kunden im Rahmen von Workshops, PoCs und Projekten das Thema in-Memory OLTP und unsere Erfahrungen damit im SQL Server 2014 und SQL Server 2016 näher zu bringen. Bekannt wurde das Feature ja vor einiger Zeit als Projekt “Hekaton” für den SQL Server 2012. Seinerzeit war das Interesse bei den Kunden sehr verhalten. Sowohl Endkunden als auch ISVs haben das Thema zwar wahrgenommen, aber da es ja erst mit 2014 realisierbar war, führte dieses bei den meisten zu einer “Das ist etwas für später…”-Meinung. Wenige haben für sich das Potenzial von in-Memory OLTP erkannt. Das letzte halbe Jahr hat sich dieses geändert. Mit der Sichtbarkeit des Commitments von Microsoft in diese Technologie, von einem Feature mag ich da gar nicht mehr sprechen wollen, wurde vielen Nutzern des SQL Servers klar, dass sich das Spiel ändern wird bzw. eigentlich schon geändert hatte. Nun, im SQL Server 2016, durch die Kombination von Technologien (Column...

Dieser kurze Post richtet sich primär an DBAs und Entwickler, welche vielleicht gerade damit begonnen haben sich mit dem Themen SQL Server, Performance Optimierung usw. zu beschäftigen. Vielen dürfte das Missing Index Feature bekannt sein. Der Query Plan wird bei der Kompilierung durch den Query Optimizer um einen Index Vorschlag angereichert. https://technet.microsoft.com/en-us/library/ms345417(v=sql.105).aspx   Dieser Vorschlag wird auch prominent im Management Studio dargestellt. Diese “Empfehlungen” entstehen im Bruchteil einer Sekunde beim Kompilieren eines SQL Statements. Und beziehen sich einzig allein das eine Statement bzw. die eine Prozedur. Schauen also nicht nach links und rechts. Ich sehe in ihnen eher den plakativen Hinweis, dass selbst dem Query Optimizer in der Kürze der Zeit aufgefallen ist, dass es deutliches Potenzial gibt. Mehr sollte es nicht sein. Also nicht jeden Vorschlag unreflektiert umsetzen! Ist ja eigentlich klar, oder? Nun durfte ich be...

Nachdem nun der SQL Server 2016 verfügbar ist, schauen Kunden der SQL Server 2014 Business Intelligence Edition ein wenig ungläubig drein. Die BI Edition gibt es nicht mehr. Habe mir dazu die Hinweise auf der Lizenzierungsseite von Microsoft angeschaut. Hier der O-Ton aus dem Licensing Guide für SQL 2016 : For SQL Server Business Intelligence Edition Licenses with Software Assurance SQL Server 2014 was the last version of the SQL Server Business Intelligence Edition. Customers with active SA coverage on qualifying Business Intelligence Edition server licenses on June 1, 2016 are eligible to upgrade to and use SQL Server 2016 Enterprise (Server+CAL) software with those licenses. During the current term of SA coverage (effective on or before June 1, 2016), customers who are licensing SQL Server 2014 Business Intelligence Edition can, for a given deployment, upgrade to and use the SQL Server 2016 Enterprise Edition (Server+CAL) software in place of the licensed SQL Server 2014 ed...

SQL Server 2016 ist verfügbar. *jubel* Selten wurde eine Version so von mir intensiv im Vorfeld verfolgt, weil sie gefühlt für jeden etwas spannendes Neues dabei hat. Kommen wir zur Frage, welche Features haben es ins Release bzw. in welche Edition (Standard oder Enterprise) geschafft? Zwar habe ich aufgrund meiner Kommunikation mit Microsoft als MVP und durch die weltweite SQL Community vor dem Release Einiges erfahren. Dieser Artikel geht aber bewusst unbefangen an das Thema und nimmt einzig und allein die offizielle Microsoft Seite dazu als Quelle. https://msdn.microsoft.com/en-us/library/cc645993.aspx (Stand 02.06.2016) Blättern wir also mal gemeinsam durch die Liste. Was fällt als Erstes auf? Wo ist die BI Edition hin? Ein kurzer Blick auf die 2014 Version des oben genannten Links zeigt diese noch: Das könnte evtl. zu Unruhe im Feld führen. Abschnitt “Cross-Box Scale Limits” Ein Blick auf “Maximum Compute Capacity” zeigt, dass die Standard Edition 2016 nun “...

Heute möchte ich kurz auf einen Post meines PSG Kollegen Thomas Martens (kurz Tom) hinweisen: Er ist u.a. Experte für die Sprache “R”  und beschäftigt sich schon einige Jahre mit diversen Implementierungen von fortgeschrittenen Algorithmen. Um so erfreuter war er, als bekannt wurde, dass Microsoft in dem kommenden SQL Server 2016 “R” integrieren wird. Neben der Nutzung von “R” für komplexe finanzmathematische und statistische Herausforderungen ist ein weiteres Steckenpferd vom Tom die Entwicklung von individuellen Visualisierungen mittels des “R”-Paketes GGPLOT2. Daher hat er es sich nicht nehmen lassen quasi Stunden nach der Verfügbarkeit des CTP 3 ein erstes Beispiel in seinem Blog zu posten. https://minceddata.wordpress.com/2015/11/03/they-walk-in-line-sql-server-2016-reporting-services-and-r-charting-using-ggplot2-2/ Dabei handelt es sich einfach gesagt um einen SSRS Report, welcher mittels eines “R”-Skriptes Daten aus e...

Meine Session auf der SQL Server Konferenz 2015 in Darmstadt zeigte mir, dass das Thema Data Vault durchaus polarisiert. Und da ich bei immer mehr Kundensituationen von uns auf Interesse zum Thema Data Vault treffe bzw. auch schon erste Architekturen vorfinde, möchte ich hier mal wieder ein paar Worte zu meiner Sicht der Lage äußern. Meinem Verständnis nach brachte die Diskussion der letzten Monate um die Vor- bzw. Nachteile des Einsatzes der Data Vault Modellierung einen notwendigen frischen Wind in die Data Warehouse Welt. Und zwar jenseits des allgemeinen Big Data Hypes. Data Vault kann durchaus als eine besondere Form des Stagings verstanden werden, wobei ich DV eher als einen Ansatz für die Modellierung eines Core Data Warehouses verstanden habe. Des Weiteren stellt Data Vault die rohen, unveränderten Daten in den Vordergrund. Die Idee dahinter ist, dass es keine einheitliche Wahrheit in einem Data Warehouse geben kann. Diese “Wahrheit” ist häufig durch eine Interpretation g...

Hier meine Folien zum Data Vault Vortrag. Vielen Dank an die vielen Teilnehmer!

Hallo PASS’ler im Norden, hiermit möchten wir zu einem besonderen Treffen der Regionalgruppe Hamburg einladen! Es gibt etwas zu feiern! Die PASS Deutschland besteht seit 10 Jahren , im Oktober haben wir uns in der Regionalgruppe zum 100. Mal getroffen und wir wollen mit Euch gemeinsam das Jahr gemütlich ausklingen lassen. Deswegen gibt es leckeres Essen und eine Verlosung von Überraschungspreisen . Bitte bringt gern Kollegen und Freunde mit, die sich auch mit dem SQL Server beschäftigen. Wir freuen uns auf Euch! Donnerstag , 11. Dezember 2014, 18:00 Uhr bis ca. 20:30 Uhr, (Vortrag beginnt ab 18:30 und geht bis ca. 20:30 Uhr, davor sorgen wir dafür, dass ihr nicht verhungert…) in der MICROSOFT Niederlassung Hamburg (Adresse unten) Thema: SQL Server Data Tools für Datenbankentwickler von Peter Horst ”Wir werden das Entwickeln von Datenbankanwendungen mit den Microsoft SQL Server Data Tools kennenlernen. Themen wie Delta-Deployment auf unterschiedli...

Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event . Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen. Microsoft BI vNext (Neues aus der Welt von Power BI) ”In den letzten hat Microsoft stark im Bereich Self Service BI investiert und die diversen Produkte unter dem Label PowerBI zusammengefasst. In diesem einführenden Vortrag stellt Frank Geisler die Produkte PowerQuery, PowerPivot, PowerView und PowerMap vor. Es wird gezeigt wie man über PowerQuery Daten in eine PowerBI Lösung importieren kann, wie man dann mit Hilfe von PowerPivot ein Datenmodell aufbaut um dieses dann mit PowerView und PowerMap zu visualisieren. Zum Schluss des Vortrages wird noch gezeigt wie man die fertige Lösung auf der PowerBI Website bereitstellen und mit Q&A abfragen kann.” Von: Frank Geisler ist geschäftsführender Gesellschafter der GDS Business Intelligence GmbH und beschäftigt s...

Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event . Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen. ”How to do Analytics with Azure ML Diese Session zeigt End-to-End wie man große Datenmengen mit Azure ML analysiert, Vorhersagen generiert und diese in Power BI visualisieren und aus Geschäftsanwendungen nutzen kann. Demo-lastig. “ Von: Artus Krohn-Grimberghe Dr. Artus Krohn-Grimberghe has spent the past 6 years immersed in advanced data mining topics. He currently works as assistant professor for Analytic Information Systems and Business Intelligence in Germany. His research focuses on data mining algorithms for e-commerce and mobile business. When he isn’t researching new algorithms or teaching, he is consulting for predictive analytics clients. Martin Vach Martin Vach ist führender Lösungsberater für Business Intelligence im Großkundenvertrieb der Mic...

Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event . Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen. “Looking for Answers with Azure Search Want to learn how to search your massive data repositories in Azure? Want to learn how to find value from your data quickly? Azure search is a new offering from Microsoft. Being able to search your data repositories at scale is something Azure cloud users have been screaming for. Well now it is here so come to this session and learn how to use Azure search.” Von Allan Mitchell “I work with companies helping them to decide how best to store their data Key/Value (Redis) Document (DocumentDB, Mongo) Relational (SQL Server) NoSQL (Hadoop/HBase) I also help customers to decide on whether a move to cloud based offerings makes sense. The Azure platform from Microsoft has a lot to offer and it isn't necessar...

Wie ich auch schon in diesem Blogpost angemerkt habe, ist die kommende SQL Server Konferenz in Darmstadt ein ganz besonderes Event . Daher möchte ich in den kommenden Tagen einige Sessions im Detail vorstellen. “ Azure Data Factory und SSIS: Neue Wege zur Ochestrierung von Cloud und On Prem Mit der Azure Data Factory (ADF) hat Microsoft einen neuen Managed Service in Azure herausgebracht, welcher für das Laden und Aufbereiten von Datenströmen aus der Cloud und on Prem neue Wege geht. In dieser Session werden wir einen tieferen Einblick in die Technologie erlauben, schauen uns LIVE an wie man mit JSON und PowerShell eine "Fabrik" erstellt, Pipelines baut und den Betrieb monitored. Natürlich blicken wir auch in Richtung Zukunft und auf das was ADF im Unterschied zu unserem "Liebling" SSIS bietet. ” Von Tillmann Eitelberg & Oliver Engels : “ Tillmann Eitelberg ist Geschäftsführer der oh22information services GmbH und hat sich mit seinem U...

Die Zeit rennt mal wieder. Die nächste SQL Server Konferenz ist schon wieder komplett geplant. Am 03. – 05.02.2015 in Darmstadt im darmstadtium gibt es wieder zahlreiche Sessions zum Thema Microsoft SQL Server und Data Plattform. Die SQL Server Konferenz in Zahlen zusammengefasst: 40 Sessions, 4 Tracks, 38 Sprecher, 20 MVPs, 17 internationale Sprecher und damit ist die SQL Konferenz ein internationale Format geworden und für unsere Region einmalig. Und das Ganze zu einem Hammerpreis !!  Ich bin wieder als Sprecher für die Konferenz ausgewählt worden, was mich sehr freut. Es wird um das sehr spannende Thema Data Vault gehen. Den Vortrag werde ich gemeinsam mit meinem PSG Kollegen Jan Streblow halten, welcher auch Erfahrung in Projekten mit diesem Data Warehouse Ansatz sammeln konnte. “Data Vault in der Praxis mit dem SQL Server Data Vault ist als alternativer Modellierungsansatz für Data Warehouse Umgebungen mittlerweile sehr bekannt geworden. Dennoch fehlt viel...

Am 24.07.14 werde ich die neue SQL Server Usergroup in Lingen im Emsland mit einem Vortrag unterstützen. Die Gruppe wird von William Durkin moderiert. Start ist um 17:30 Uhr bei der IT-Emsland, Kaiserstraße 10B, 49809 Lingen (Ems). Dort soll es auch Parkplätze geben. Im Anschluss an das Treffen ist noch ein wenig Socializing in einem Lokal geplant. Mein Vortrag wird “ PowerShell 101 für Administratoren ” sein, welchen ich auch bereits auf dem SQLSaturday #313 gezeigt hatte. Da ich mehr Zeit habe, werde ich auch ein wenig mehr ins Detail gehen können. ;-) Und als kleine Besonderheit ist das wohl mein erster Vortrag, welchen ich als SQL Server MVP halten werde. Mal schauen, wie das so ist. Ich freue mich auf Lingen!

Es ist tatsächlich passiert. So sieht sie also aus, die Mail von Microsoft, welche einem zum MVP macht. Diese Auszeichnung ist eine ganz besondere Ehre für mich. Vielen Dank an Alle die mich vorgeschlagen und in das Programm “geschubst” haben! ;-) Seit nun fast genau 10 Jahren organisiere ich Usergroup Treffen (Im September das 100. Treffen in Hamburg), spreche auf Veranstaltungen und erstellen Online-Inhalte wie Blogposts und Webcasts. Meinen neuen Status als MVP und die damit verbundenen Möglichkeiten möchte ich nutzen, um der SQL Server Community noch mehr zur Seite zu stehen mit meinen Ideen und Erfahrungen aus dem SQL Server Alltag. Hier ein wenig Erläuterung direkt von Microsoft zum MVP Award .