Skip to content

Wachten op een DWH of DM is zóóóó 1999…

22 januari 2010

Al 10 jaar onnodig wachten

Ja echt waar, al zeker tien jaar zitten we onnodig te wachten op het laden van datawarehouses en het opbouwen van datamarts en kubussen. Al tien jaar lang bestaat er een database die speciaal ontworpen is voor BI vraagstukken. Een database die ongeschikt is voor OLTP systemen en echt alleen bedoeld is om een datawarehouse en datamarts mee op te bouwen.

Tien jaar geleden lag het al op de plank!! Dat was de tijd dat Nina Brink online ging met World Online, het Nederlands elftal ons een penalty trauma bezorgde tijdens Euro 2000, in Enschede een enorme vuurwerkramp plaatsvond en George Bush jr. president werd van de Verenigde Staten. Waarom werken we niet al veel langer met deze super-database???

Presentatie Sybase IQ-database

Op woensdag 20 januari 2010 kregen we bij Kadenza een presentatie van Sybase over hun IQ-database. Het begon met de stelling: “Wat als de performance van een database geen issue meer is”. Heel leuk om eens over na te denken: Het opvallendste wat daar voor mij uitkwam, is dat je je data niet meer hoeft te optimaliseren voor de verwachte informatievraag. Geen voorberekende aggregaties in stermodellen of materialized views, geen opbouw van kubussen om de performance te garanderen. Een virtuele datamart in de vorm van een view op je historische datalaag is genoeg.

Uitkomst presentatie

Ja leuk, dacht ik nog maar dat kan toch niet… Maar dat kan dus wel! Met de IQ-database van Sybase. Deze database maakt gebruik van “Column-Based Storage” in combinatie met indexen die tegelijk op ieder afzonderlijke kolom kunnen worden geplaatst. Daarbij wordt herhalende data maar éénmaal opgeslagen waarna er naar deze data wordt verwezen. Het resultaat is een super query performance en een datareductie van 80%! Dit maakt dat niet alleen het opvragen van data super snel gaat maar ook dat het laden van de data in het datawarehouse zelf velen malen vlotter verloopt.

Waarom werken we er dan niet allemaal mee?

Nu blijven wij consultants natuurlijk altijd kritisch dus al snel werd de vraag gesteld: Als dit zo’n geweldig performende BI-database is, en het bestaat al tien jaar, waarom werken wij en onze klanten dan niet met dit product? Het antwoord zal je verbazen: “Stealth Marketing”. In die tien jaar is er gewoon geen of onvoldoende ruchtbaarheid aan dit prachtige product gegeven. Sybase heeft andere producten waar ze blijkbaar genoeg aan verdienen. Zo stom simpel is het…

Nadelen

Nu zou je denken, alle datawarehouses over op IQ, liever vandaag dan morgen. Maar ook dit product heeft nog enkele nadelen:

  1. De ETL-tool die je gebruikt moet database onafhankelijk zijn en de meeste onafhankelijke ETL-tools zijn duur.
  2. De IQ-database is nog onbekend, expertise voor het beheer en onderhoud van deze database is schaars.
  3. De meeste bedrijven hebben bewust gekozen voor één database type, een tweede erbij verkoop je niet zomaar.

Prijs

Als allerlaatste werd er ook nog even naar de prijs gevraagd en die viel relatief mee, 25K per processor.

Partnership

Sybase en Kadenza zijn in onderhandeling over een partnership. Zo snel deze rond is kunnen we gaan testen.  Iedere Kadenza-consultant wil dit toch met eigen ogen zien? Na deze test op een relatief kleine laptop zal deze database zich in de praktijk moeten bewijzen. Wie zal onze eerste klant worden met IQ?

8 reacties leave one →
  1. highandstoned permalink
    25 januari 2010 15:21

    We hebben al een klant die Sybase IQ gebruikt.
    We hebben al getest, ook al besproken in het forum.

  2. Perry Koot permalink
    26 januari 2010 08:14

    Kijk aan, bedankt voor de tip!

  3. highandstoned permalink
    26 januari 2010 11:20

    Oh, en Sybase IQ is qua query performance echt bizar snel. Zeker bij queries die veel grote tabellen aan elkaar joinen of complexe subqueries.
    Dat het laden van data sneller zou zijn, of dat het minder opslag ruimte kost hebben we niet echt gezien. (we hebben een keer getest met dezeflde tpc-h data en vergeleken met Oracle, zelfde (gevirtualiseerde) hardware, zelfde ETL tool, zelfde schema. Maar als de data erin zit en je begint met queries…….

  4. Perry Koot permalink
    29 januari 2010 17:05

    Twee reacties m.b.t. Sybase IQ uit ons interne Kadenza forum:

    “Queries die uren duren (of gewoon nooit resultaat geven) over 100milj. records met veel joins, subqueries etc duren op zo’n omgeving slechts enkele tellen.”

    “Het was echt in een week gebruiksklaar op het bestaande DWH en gaf performance verbeteringen van soms honderden procenten (één zelfs van 8 uur naar vier minuten!)”

    Klinkt veelbelovend!

  5. Willem Wegman permalink
    1 februari 2010 08:10

    Ik ben benieuwd naar een demonstratie op een database van aanzienlijke omvang (>> 1 TB met tabellen met >> 1 M rijen en een aanzienlijk aantal kolommen) waarin meerdere bronnen zijn ontsloten.

    PS 1
    Wat is “de” doorlooptijd van een verversingsslag van de Sybase database?

    PS 2
    Hoe staat bovenstaand artikel in relatie tot andere database vendors in kader van (on)afhankelijkheid van Kadenza ?

  6. Perry Koot permalink
    11 februari 2010 17:25

    Willem, antwoorden op je vragen:

    Antwoord 1:
    Als je echt interesse hebt kunnen we hier samen met Sybase een proof of concept voor opzetten.

    Antwoord 2:
    Wij blijven partner van Microsoft en Oracle en worden hiermee nog onafhankelijker.

  7. Karien permalink
    21 februari 2010 13:36

    Bij de Bloemenveiling Aalsmeer hebben we Sybase IQ naar aller tevredenheid ingezet. Ik weet niet hoe het staat met de Netezza server die Flora Holland heeft aangeschaft. Dat is dan natuurlijk een beetje dubbel op. Ik vraag me af wat het loodje gaat leggen na de fusie.

  8. 3 september 2010 13:51

    Tja, en dan blijkt dat er een database is die weer 10 keer sneller is dan Sybase IQ.
    En wel van Nederlandse bodem!
    Kijk maar eens op http://www.vectorwise.com.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: