Unsere Erfahrungen

#enaio, #robocopy, #DMS, #Stormax, #FLR

Revisionssichere FLR-Migration

Auftrag:
Aufgrund von Platzproblemen musste der Hauptshare eines Document Management Systems (DMS) auf ein anderes Volume kopiert werden.

Da die Daten Vorhaltezeiten von bis zu 30 Jahren haben, war es dem Kunden wichtig, einen Nachweis zu führen, dass alle Dateien kopiert wurden und sich auch der Inhalt nicht verändert hat.

Herausforderung:
Überprüfung des Kopiervorgangs von Robocopy mit unserem eigenen Tool Stormax, welches neben den Metadaten eines Objekts auch dessen Inhalt liest, und nach dem Scan die Daten von Quelle und Ziel abgleicht.

Durchführung:
Nach dem initialen und mehreren inkrementellen Kopierläufen konnte die reine Offlinezeit auf unter eine Stunde reduziert werden.

Der revisionssichere Nachweis der Aktion wurde im Nachgang auf Snapshots der Daten erzeugt, um dem Kunden möglichst früh wieder Zugriff einrichten zu können. Der darauffolgende Check zeigte keine Probleme.

Details:
DMS: Optimal Systems Enaio

Fakten:
Migration von ~4TB - 7 Millionen Dateien.

#DELL, #Unity, #ISILON, #SupernaEyeglass, #EM7, #InsightIQ, #ESRS

Auftrag:
Lösungsbau und Implementierung von Dell Unity und Dell Isilon in einem länderübergreifenden Netzwerk mit zahlreichen Tenants.

Ausfallsicheres Design für Unity im Active/Active Mode für Filesharing und Automated Failover Manager (AFM)

Ausfallsicheres Design für Isilon Cluster mit SyncIQ via Superna Eyeglass

Aufbau Monitoring und Alerting für die Systeme

Unterstützung bei der Datenmigration mit DataDobi

Herausforderung:
Implementierung von AFM und Superna Eyeglass, da beide Produkte noch einige Probleme aufwiesen, die mit dem Dell Support gelöst werden mussten.

Die strikte Netzwerktrennung des Kunden in multiplen Tenants, von denen einige auf dedizierten Netzwerkports konfiguriert werden mussten.

Technischer Scope: NAS-Transition von NetApp cdot und 7mode nach Dell Isilon und Unity

• 4 Unity HA Cluster für multiple Tenants implementiert
• 6 Isilon HA Cluster für multiple Tenants implementiert
• 8 Isilon Cluster für Backup mit Veeam implementiert
• Protokolle: NFS & CIFS
• Antivirus Scanning mit ICAP / MacAfee
• Snapshots mit Scheduler nach Datenkategorien
• Replication mit SynqIQ
• Cluster Failover mit Superna Eyeglass
• Monitoring mit InsightIQ
• Alerting mit EM7

Lösungsbau:

• Role Based Access RBAC
• Zugriffsberechtigungen für die Backup-Teams (Non-Standard)
• Umsetzung einer administrativen Trennung der Betriebsteams nach Vorgabe
• EMC Secure Connect Gateway

Standorte: Deutschland, europäisches Ausland

Projektdauer: 22 Monate

Auftrag:
Inbetriebnahme von Unity, isilon, Metronodes, Cisco SAN-Switch und Superna Eyeglass. SAN-Migration von NetApp zu Unity mit Hilfe von Metronodes.

Herausforderung:
Live-Migration der Daten von NetApp zu Unity SAN ohne Unterbrechung der Anwendungen.

Technischer Scope NAS/NAS-Migration:

• Netapp => / Dell Isilon / Dell Unity
• Ein HA-Cluster mit Unity
• Metrocluster mit Active/Active Gestaltung
• Ein HA Cluster mit Isilon
• Superna Eyeglass
• NFS Datastores
• iSCSI- und FC-LUNs
• NFS Server auf Dell-Unity
• NFS und SMB Server auf Isilon

Technischer Scope SAN-Migration:

• SAN Fabric mit Dell MDS-9132 Switche implementiert
• FC-Luns der NetApp und Dell-Unity mit Metro-Node-Metro visualisiert
• KIS-Datenbank mit Metro-Node-Cluster Data-Mobility von NetApp auf Dell-Unity migriert

Administrativer Scope: Projektmanagement – stark ausgelasteter Kunde.

Protokolle: NFS, CIFS/SMB, iSCSI, FC

Specials:

• Secure Connect Gateway implementiert
• FC Lun Visualisierung für Zero Downtime

Projektdauer: Migration - ein Jahr

#NetApp #DellEMC #Perl #Go #Bash

Auftrag:
Migration von 50+ TB NAS Daten (NFS und SMB) von Dell eNas zu NetApp, Nachweis der vollständigen und fehlerfreien Migration mithilfe eines eigenen Tools

Herausforderung:
Kundenvorgabe für den SMB-Anteil der Daten war, die kompletten 30 Terabytes innerhalb eines Wochenendes in einer großen "Alles-oder-nichts" Umschaltung umzuziehen.

Durchführung:
Die zu migrierenden Daten gehörten zu zwei regional unterschiedlichen Teams, befanden sich aber in denselben Rechenzentren. Sämtliche Migrationen mussten daher die verschiedenen Vorgaben beider Teams berücksichtigen und individuell abgestimmt werden.

Für die "Alles-oder-nichts" SMB-Migration der über 30 Terabyte an einem Wochenende wurden umfangreiche Vorbereitungen getroffen. Problematische Dateien und Verzeichnisse konnten wir im Voraus erkennen und die Anzahl der Fehler in den Protokollen reduzieren bis sie entweder gelöst, oder dem Kunden bekannt und von ihm bestätigt waren. Allerdings waren die Protokolldateien jedes Synchronisierungsdeltas so groß, dass wir für diese Analyse kundenspezifische Tools entwickeln mussten.

Die SMB-Migration konnte dann erfolgreich innerhalb der knappen Zeitvorgaben durchgeführt werden, indem wir minutengenaue Arbeitsabläufe planten, detaillierte Protokolle erstellten und jeden Migrationsschritt mit allen beteiligten Parteien genau koordinierten.

Die Migrationen der NFS-Daten verliefen ebenfalls reibungslos und ohne Komplikationen. Die 20 TB konnten in mehrere einzelne Pakete aufgeteilt werden, um die Ausfallzeiten zu minimieren.

Technischer Scope NAS-Migration:

• Dell VNX Systeme auf Dell eNAS / Dell Isilon
• 20+ virtuelle Server
• 50+ Volumes
• 200+ Trees
• 1.000+ NFS-Exports
• 1.000+ CIFS-Shares
• 2 RZ in Deutschland
• Gesamtvolumen: 120+ TB

Administrativer Scope:

• Technische Durchführung der Umschaltungen
• Begleitung der lokalen Teams während der Downtimes

Specials:

• Lösungsbau/Lösungsübersetzung eNAS -> NetApp
• Anpassung bestehender Toolsets an Kundenumgebungen
• Multiprotokoll (NFS/CIFS)
• Mehrere Codepages: ISO-8859-15 / UTF8 / Unicode

Programmiersprachen:

• bash
• sed
• awk
• perl

Protokolle:

• CIFS
• NFS
• CIFS/NFS

Projektdauer: 6 Monate

#DELL #VNX #Unity #emcopy #robocopy #epochdate #FLR

Datumsberechnungen mit Schwierigkeiten

Auftrag:
Der Datenspeicher eines Dokumentenmanagement Systems (DMS) sollte von einer Dell VNX auf eine Dell Unity umgezogen werden. Zur Sicherheit der Daten setzte der Kunde auf dem Filesystem File Level Retention (FLR) ein, damit Daten nicht versehentlich vor einem bestimmten Zeitpunkt gelöscht werden konnten.

Herausforderung:
Erste Tests ergaben, dass die Unity via CIFS keine Zeitstempel > 2038 verarbeiten konnte (Ablauf der Unix epoch Zeit). dynaMigs.net unterstütze den Hersteller bei der Behebung des Problems.

Aus Gründen der Abwärtskompatibilität behielt das Unity FLR die Übersetzung der Zeitstempel VNX Systemen bei, wobei der Zeitbereich von 2038 bis 2084 auf die Jahre 1940 - 1986 übersetzt wurde. Da der Server die Zeitstempel aber korrekt anzeigte, hat das Zielsystem diese nicht akzeptiert. dynaMigs.net entwickelte eine Methode, bei der mehrere Kopierläufe mit robocopy und emcopy dafür sorgten, dass die Zeitstempel, welche auf die Unity geschrieben wurden, die gewünschten Retention Zeiten korrekt abbildete.

Durchführung:
Migration inkl. revisionsicherer Prüfung der Migration durch Stormax.

Technischer Scope FLR-Migration:

• Gesamtvolumen: 5TB
• Shares: 1
• DELL VNX -> DELL Unity

Administrativer Scope:

• Test der Migrationsmöglichkeiten
• Migration von Dateien, die laut Retention expired sind
• Erweiterung der max. Retention auf 30 Jahre

Programmiersprachen:

• bash
• sed
• awk
• perl
• C/C++

Protokoll: CIFS

Specials:

• Debugging/Troubleshooting auf der Unity
• Eskalationsmanagement und Kommunikation mit dem Dell Support
• Troubleshooting, Tool-Entwicklung zur Situationsrettung

Tools:

• Wireshark, tcpdump
• emcopy
• robocopy
• Stormax

Projektdauer: 4 Monate

Auftrag:
Der Betreiber eines Rechenzentrums bietet seinen Kunden vollautomatisch provisionierten NAS-Storage an. Zur Ausbalancierung der Datenmengen sind immer wieder Migrationen notwendig. Die Durchführung muß vollständig automatisiert werden, sodaß zuverlässig kein Benutzereingriff erforderlich ist.

Herausforderung:
Die Migrationen müssen zwischen verschiedenen NAS-Filern von unterschiedlichen Herstellern stattfinden.

Durchführung:
dynaMigs hat die Migrations-Toolbox um eine Steuerung erweitert, die vollautomatisiert Migrationen und Umschaltungen durchführen kann. Diese Steuerung wurde in das bestehende Toolset des Betriebsteams integriert.

Daten & Fakten:

• NAS-Filer: Dell-EMC und Netapp
• Gesamtumfang: 80 Petabyte
• Sprachen: Perl

Projektdauer: 12 Monate

Auftrag:
Beim Wechsel eines Managed Storage Vertrags von NetApp/T-Systems zu EMC mussten 3,5PB mit ca. 1 Mrd. Dateien in 30 Lokationen rund um den Erdball migriert werden. Zusätzlich musste die komplette Steuerung der Downtimes incl. der Changekoordination übernommen werden.

Herausforderung:
Um alle Migrationen zentral steuern und gleichzeitig Bandbreite sparen zu können, entwickelte dynaMigs.net die Jobpipe. Dabei handelt es sich um eine Fernsteuerung für Linux und Windows, mit denen die einzelnen Kopierpakete zentral gestartet, aber lokal und parallelisiert abgearbeitet werden konnten.

Durchführung:
Das Auftreten von Windows Delayed Write Errors, war der Auslöser für die dynaMigs.net, eine Methode zur Überprüfung von Migrationen durch die Stormax Suite zu entwickeln. Das Tool ermöglicht es, Datenmigrationen auf die korrekte Durchführung zu überprüfen. Da Stormax die Daten mit einem anderen Algorithmus scannt als das Kopiertool, können auch Fehler bei emcopy, rsync und dem Filer selbst erkannt werden.

Technische Schritte:

• Lösungsbau/Lösungsübersetzung Netapp > VNX
  
• Nachdem die Lösung CTA mit NDMP Backupsimulation nicht den Anforderungen entsprach, musste ein völlig neuer Kopierprozess ausgearbeitet und implementiert werden
• Anpassung bestehender Toolsets an Kundenumgebungen
• Multiprotokoll (NFS/CIFS)
• DFS / DDFS / Widelink-Übersetzung
• Mehrere Codepages: ISO-8859-15 / UTF8 / Unicode
• Entwicklung Revisionssicherer Migrationsprozess

Administrative Schritte:

• Anpassungen der Change-Prozesse
• Technische Durchführung der Umschaltungen
• Begleitung der Downtimes (Umschaltkoordination, second- und third-level Support der Implementation Specialists)

Zahelen & Fakten:

• 200+ NetApp-Frames (7Mode) zu Dell VNX 5400/5800
• 1.800+ virtuelle Server
• 3.500+ Volumes
• 16.000+ Trees
• 150.000+ NFS-Exports
• 200.000+ CIFS-Shares
• 30+ Standorte weltweit
• Gesamtvolumen: 3,5+ PB

Programmiersprachen:

• bash
• sed
• awk
• perl
• python
• Visual Basic
• C/C++

Protokolle:

• CIFS
• NFS
• CIFS/NFS
• FTP

Nationalitäten: Teams aus Ungarn, Rumänien, Indien, China, Südafrika, Brasilien, USA, Ägypten, UK, Australien, Japan

Projektdauer: drei Jahre