SSIS Balanced Data Distributor und Sort Performance Tuning

-

Beim letzten PASS Treffen in Hamburg kam ich während des Vortrags von Oliver Engels und Tillmann Eitelberg auf eine Idee, welche wir auch kurz spontan vor Ort diskutiert haben und mir keine Ruhe ließ.

Ohne weitere Recherche, ob einer der weltweiten Community Kollegen bereits ähnliches publiziert hatte, habe ich mich an meinen Rechner gesetzt.

Es geht um die Leistungsfähigkeit der SSIS eigenen Sort Komponente und inwiefern es möglich wäre durch eine Last Verteilung mit dem Microsoft Balanced Data Distributor eine Performance Verbesserung zu erreichen.

Meine Tests haben nun ergeben, dass es tatsächlich funktioniert und ich 50% Performance Gewinn erreichen konnte. Anbei das Video, welches ich spontan dazu gemacht habe mit allen Erläuterungen.

 

Balanced Data Distributor für SQL Server 2008 / 2008 R2
http://www.microsoft.com/en-us/download/details.aspx?id=4123

Balanced Data Distributor für SQL Server 2012
http://www.microsoft.com/en-us/download/details.aspx?id=30147

Popular posts from this blog

SQL Server In-Memory OLTP – Isolation Level Beispiele

-
Image
Wie schon mal von mir erwähnt, erlebe ich bei den Teilnehmern meiner SQL Server In-Memory OLTP Workshops die meisten Schwierigkeiten bei der Verwendung der “neuen” Isolation Level. Zwar klingen für viele Entwickler die Level SNAPSHOT, REPEATABLE READ und SERIALIZABLE vertraut, nur schon bei den SQL Server “disk-based” Tabellen haben die wenigsten diese aktiv genutzt. Standard ist häufig READ COMMITED und das ist auch gut so. Die Tatsache, dass In-Memory OLTP aber ohne Sperren auskommt, fühlt sich für die meisten Entwickler erstmal befremdlich an. Zwar haben wohl die meisten Interessierten schon mal die Microsoft PowerPoints mit einer Erklärung des Version Stores gesehen und sich gefreut, wie schön da Versionen von Zeilen nebeneinander koexistieren können. Nur wie sieht das in der Praxis für den Entwickler aus? Der deutsche Begriff für die Technologie In-Memory OLTP “Arbeitsspeicheroptimierung” trifft es irgendwie nicht ganz. Zwar wird der Arbeitsspeicher wesentlich optimierter gen
Read more

PSG Performance Driven Development für den SQL Server

-
In den letzten Monaten wurde ich häufig danach gefragt, was denn dieses Performance Driven Development (PSG PDD) eigentlich sei? Und welche Technologien wir damit meinen? In erster Linie verstehen wir unter der Performance Driven Development Methode weniger einen Technologie Ansatz, als vielmehr einen Rahmen an Maßnahmen, damit das Thema Performance im Laufe einer Software Entwicklung den Stellenwert er- und behält, welcher bei Projektstart als notwendig erachtet wurde. Entstanden ist die Idee zu der Methode u.a. aus dem Feedback unserer Schulungskunden. Es wurde uns zwar attestiert, dass die Teilnehmer unserer Workshops und Schulungen einen deutlichen Knowhow Fortschritt machen würden, dennoch wäre es für den einzelnen Entwickler immer wieder schwierig sei neues Wissen auch so einzusetzen, dass die Projekte bzw. Produkte davon wirklich partizipieren. Der Alltag von Entwicklern sei ja stark getrieben durch ein agiles geprägtes Umfeld und Stakeholder, für die diese grundlegenden t
Read more

MERGE in T-SQL – Der unbekannte Befehl im BI Projekt für ELT

-
Image
Wenn ich Diskussionen über die Entscheidung für eine ETL oder ELT Architektur führe oder auch nur moderiere, dann bringe ich als ein mögliches Beispiel für eine ELT Architektur gerne die Verwendung des MERGE Befehls. Nur wenige scheinen diesen Befehl bisher aktiv zu nutzen, dabei ist er schon seit SQL Server 2008 dabei und gehört auch zum SQL:2008 Standard! Was macht nun der Befehl MERGE? Laut den BOL das hier: “Führt Einfüge-, Aktualisierungs- oder Löschvorgänge in einer Zieltabelle anhand der Ergebnisse eines Joins mit einer Quelltabelle aus. Sie können z. B. zwei Tabellen synchronisieren, indem Sie Zeilen in einer Tabelle anhand von Unterschieden, die in der anderen Tabelle gefunden wurden, einfügen, aktualisieren oder löschen.” Und damit ist er perfekt geeignet für den Ladeprozess von Dimensionen in Data Warehouse/BI Projekten. Denn dort benötigen wir ja sowohl ein INSERT als auch ein UPDATE für unsere Geschäftsobjekte in den Dimensionen. Ok, und ganz selten mal ein DELETE,
Read more