Binnen ons bedrijf gebruiken we Veeam Backup & Replication voor het backuppen van onze VM’s.
Veeam is zonder twijfel écht een schitterend product met vele mogelijkheden.
Maar aangezien we dagelijks best nog wel wat data verstouwen en de te backuppen data ondertussen tot zo’n 12,5 TB gegroeid is, lopen we tegen performance problemen aan.
Oude situatie met NAS’en
Voorheen gebruikten we Synology Rackstations (RS814+) als backup repository en een tweede RS814+ als second backup target (Backup van de backup).
Deze NAS’en zijn uitgerust met 4x 1Gbit NIC’s welke te teamen zijn naar een 4 Gbit connectie.
Elk met 4×4 TB 7200rpm Enterprise SATA disks uitgevoerd.
Een tijdje ging dit prima, maar naar mate er meer VM’s bij kwamen en de data groeit kwam het steeds vaker voor dat Veeam er meer dan 24 uur over deed om een incremental backup te maken, oudste restorepoint mergen en de backup copy job af te ronden met als gevolg dat de volgende backup interval gemist werd waardoor we 1 dag backup misten.
Wat is de oorzaak hiervan ?
De oorzaak zijn de Synology NAS’en. Hoewel deze erg snel zijn, zijn ze gewoonweg voor deze hoeveelheid data te traag.
Veeam kan CBT toepassen, inline deduplication en mergen van de oudste incremental in de full backup. Hier kan ik een heel lang verhaal over schrijven over de impact, maar dat zal ik kort houden 🙂
Het voornaamste is het aantal IOPS dat Veeam nodig heeft om snel een backup te kunnen afhandelen. En de Synology NAS kan simpelweg die hoeveelheid IOPS en datadoorvoer niet aan. Daardoor ontstaat er een lange wachtrij voor het schrijven/lezen van de harde schijven en dat heeft een behoorlijke impact op de performance. Het ligt dus niet aan Veeam dat de backups niet snel gaan, maar puur de backup targets !
Hoe is dit nu opgelost ?
Om dit goed op te lossen is toch wel een aardige investering nodig. We komen er namelijk niet mee weg om een “duurdere consumenten” NAS te gaan gebruiken want die voldoen toch niet.
De oplossing moeten we vinden in de Enterprise producten en aangezien we HP minded zijn, gaan we voor de HP Enterprise producten.
Daarbij hebben we gekozen voor het volgende :
- HPE D3600 Disk Enclosure met 12 x 4 TB 7200 rpm Enterprise SAS Disken
- HPE SmartArray P441 Dual Channel RAID Controller met 4GB Cache voor in de Veeam Backup server.
- HPE StoreEasy 1650 32TB Enterprise NAS Storage
- HPE 560SFP+ Dual 10Gbit netwerkkaart voor in de StoreEasy 1650 zodat deze op onze 10 GBit backbone aangesloten kan worden.
Dat zijn de zaken die Veeam veel beter moet kunnen laten presteren.
Dus…aan de slag dan maar !
Aanpassingen aan de Veeam Server (HPE D3600 als local storage toevoegen)
In de Veeam Server (HPE DL380p Gen8) bouwen we de SmartArray P441 in een vrij PCI-Express slot in.
Voor de performance is het belangrijk om het aansluiten van de D3600 op de SmartArray te plannen.
Hieronder een schema wat kan helpen :
Voor de beste performance en failover kiezen we de Dual domain opzet.
Beide channels van de SmartArray P441 worden dan gebruikt en beide controllers op de D3600 worden aangesloten.
Hierboven zien we de achterkant van de D3600 Disk Enclosure. Duidelijk is dat deze 2 controllers aan boord heeft. Van elke controller wordt DP-1 aangesloten op de SmartArray P441
Nadat de D3600 volgestopt is met 12x 4TB disken, ziet de voorkant er zo uit :
Nu alles geassembleerd en aangesloten is, starten we de Veeam Server op.
Wanneer Windows geladen en ingelogged is, starten we de Smart Storage Administrator om een nieuw volume aan te maken.
We willen voor de backup zo veel mogelijk ruimte met toch een Fault Tolerance en kiezen dus een RAID 5 met 12 schijven. Netto houden we dan van de 48TB Bruto 44TB Netto over.
Vervolgens kun je dan in de Windows Disk Manager het nieuwe volume toevoegen en formatteren.
Hiervoor hebben we de 44TB toegewezen aan een GPT disk en geformatteerd als ReFS welke o.a. betere performance biedt dan NTFS.
De Veeam server is reeds met een 20Gbit Team verbonden met het 10Gbit backbone netwerk.
Nu de local storage aan de server is toegevoegd, kunnen we in Veeam deze ruimte inrichten als repository. Vervolgens hoeven we alleen de backup job aan te passen dat deze naar de nieuwe repository schrijft.
Mooi…dit gedeelte is klaar ! Verder met de StoreEasy !
StoreEasy inrichten
Als eerste openen we de kap van de StoreEasy. We moeten namelijk de 10Gbit NIC inbouwen.
Dan sluiten we de StoreEasy aan en starten hem op. Een wizard volgt welke je door een aantal standaard zaken heen helpt.
Op de StoreEasy is Windows Storage Server 2012 geinstalleerd, een OS specifiek voor Storage toepassingen.
Wanneer Windows opgestart is, moet je eerst wat initiele taken afronden voordat je de storage in gebruik kunt nemen. Dit wijst zich vanzelf en zal verder in dit artikel niet uitgediept worden.
We maken een 20Gbit Team, wijzen een IP adres toe, geven de server een naam en voegen de storage toe.
De StoreEasy is in principe een Proliant Gen9 server.
Wanneer we naar de achterkant kijken zien we het volgende :
Hierboven valt op dat rechtsboven (bij nummer 4) 2x 240 GB SSD schijven zitten. Dit is een RAID1 configuratie waar het OS op geinstalleerd is.
Aan de voorkant zitten de schijven die daadwerkelijk als storage benut kunnen worden :
Wanneer de StoreEasy in het netwerk zit en de Storage toegewezen is, is deze ook al klaar voor gebruik.
Nu moeten we deze ook als repository aanmaken op de Veeam server. In mijn ervaring kun je het beste dan een Windows Server als repository toevoegen i.p.v. een CIFS share o.i.d.
Bij een Windows Server zal Veeam een Agent installeren op de StoreEasy welke de performance t.o.v. het schrijven naar een share sterk verbeterd !
Zo, nu hebben we dus een 2e Backup locatie welke voor de Veeam Backup Copy Job gebruikt kan worden. Hiervoor hoef je ook alleen de copy job aan te passen naar de nieuwe lokatie.
Bestaande Veeam Backups
Wanneer je een bestaande Veeam Backup job aanpast naar een nieuwe repository, Zal Veeam gaan vragen om de backupfiles van de oude lokatie over te zetten naar de nieuwe lokatie voordat je de job aan kunt passen.
Wanneer je dit niet wilt, zul je in Veeam eerst de backups uit de configuratie moeten verwijderen. Verwijder ze (nog) niet van de oude lokatie maar alleen uit de database, anders ben je je recente backups kwijt !
Hierna kun je met een schone lei beginnen en mocht het nodig zijn, kun je altijd de oude repository weer toevoegen en de oude backups importeren.
Nu we alles ingericht, aangesloten en voorbereid hebben, kunnen we een test backup gaan draaien.
De eerste backup maken op de nieuwe storage !
We trappen de Veeam backup af om een eerste full backup te maken.
De job start en inderdaad..het gaat sneller echter valt het tegen met dat wat we verwacht hadden. De Synology NAS’en haalden bij het backuppen zo’n 60-70 MB per seconde. De nieuwe D3600 haalde tegen de 100 MB per seconde.
Dat valt dus eigenlijk behoorlijk tegen ! Wat zou dit kunnen zijn ?
Natuurlijk draait er een Pariteits check sinds we het 44TB grote volume hebben toegevoegd wat de performance kan beinvloeden, maar dat zo niet zo erg moeten zijn.
Na wat checks uitgevoerd te hebben ben ik er achter gekomen wat de oorzaak is.
De Smart Array P441 heeft 4 GB Cache geheugen, maar zonder batterij.
Hierdoor schakelt de controller de cache dus uit !
Maar aangezien alles achter een dikke UPS hangt en dubbel uitgevoerd is heb ik de cache handmatig aangezet. Deze valt namelijk gewoon te enablen ook wanneer er geen batterij aanwezig is.
Op de 44TB heb ik de cache aangezet met een cache ratio van 25% Read / 75% Write
Op het moment dat ik deze setting activeerde, was dit meteen merkbaar bij de nog steeds draaiende full backup !
Hierboven zie je het resultaat. de eerste +/- 1,5 uur was de performance “slecht”.
Maar op het moment dat ik de cache geactiveerd had (bij de rode pijl) steeg de performance echt drastisch !
De full backup heeft, zoals je in het plaatje kunt zien, ongeveer 4 uur en 3 kwartier nodig gehad om 12,5 TB te backuppen !
Voorheen had de Synology NAS hiervoor bijna 50 uur nodig !
Nadat de Full Backup klaar was, ging de Backup Copy Job aan de slag om de backup naar de StoreEasy te backuppen. Ook dit ging erg snel, namelijk zo’n 5,5 uur !
Toen het tijd werd om de dagelijkse incremental backup te maken, was het backuppen van de 65 VM’s in 20 minuten klaar. Dit duurde voorheen met de Synology alleen al 5-6 uur en daarna moest de oudste incremental nog gemerged worden met de Full.
Dat zal in de nieuwe situatie ook nog gaan gebeuren, maar de verwachting blijft dat het vele malen sneller blijft dan met de Synology NAS’en.
Al met al mogen we zeker spreken van een geweldig resultaat !
Conclusie
Heb je grote hoeveelheden data te backuppen, dan is het echt aan te raden om een dergelijke investering in dit soort hardware te doen.
Hoe meer data je hebt, hoe waardevoller dit kan zijn. Weegt het mogelijke verlies van alle of een groot deel van de data op tegenover een dergelijke investering ?
De hoogte van de investering is uiteraard afhankelijk van hoeveel storage je nodig hebt.
Loop geen risico en denk niet “het is maar een backup”….het gaat JUIST om de backup.
Je zult hem maar nodig hebben en niet tot je beschikking hebben !
Na een disaster wil je toch weer zo snel mogelijk up and running zijn met de meest recente data toch ?