Senior Data Engineer– Snowflake & Iceberg

................ Für unseren Kunden in Bern , suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg. Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg. Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen, Deine Aufgaben: Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team Dein Profil: Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake Nachweisbare Projekterfahrung mit Apache Iceberg Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben Selbstständige, strukturierte und lösungsorientierte Arbeitsweise Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil Fliessend in Deutsch und Englisch Find Jobs in Switzerland on Arbeitnow