Data engineer gcp/etl

Na co dzień w naszym zespole:

• budujemy procesy zasilania operacyjnej składnicy danych,
• projektujemy i realizujemy rozwiązania informatyczne w obszarze zasilania danych,
• analizujemy dane oraz przygotowujemy dla nich modele logiczne i fizyczne,
• stroimy zapytania SQL na bazie relacyjnych i hurtowianych w on-prem i na Chmurze GCP,
• tworzymy przepływy off-linowe oraz strumieniowe danych,
• przygotowujemy datamarty tematyczne na bazach relacyjnych i kolumnowych,
• tworzymy koncepcje rozwiązań i implementacje rozwiązań w oparciu o wymagania i potrzeby biznesu,
• usuwamy incydenty i bierzemy udział w rozwiązywaniu problemów,
• wspieramy testy i wdrażania zmian w zakresie procesów zasilania danych,
• pomagamy przy serwisowaniu wdrożonego oprogramowania,
• tworzymy rozwiązania ładowania danych w Python,
• pracujemy zgodnie z modelem DevOps.

To stanowisko może być Twoje, jeśli:

• posiadasz doświadczenia jako develeoper Data Enegineer:
  • w obszarze procesów integracji danych za pomocą narzędzi ETLowych (Informaitica Power Center),
  • w obszarze technologii GCP (Big Query, Pub-Sub, Google Cloud Anthos, Cloud Storage Buckets,
  • w programowaniu w języku Phyton (znajomość jednego z framework Phyton: Flask, Django),
  • w projektowaniu i tworzeniu relacyjnych baz danych (PostgresSQL, Oracle),
• pracujesz w środowisku chmurowym na Google Cloud Platform (Big Query, Cloud SQL, Kubernetes)
• znasz środowisko Linux (doświadczenie w pracy z terminalem, podstawowa znajomość skryptów powłoki bash),
• znasz narzędzie harmonogramujące: Apache Airflow,
• masz doświadczenie w pracy z dużymi wolumenami danych ~100TB.

Dodatkowym atutem będzie znajomość:

• Dash, Streamlit,
• SqlAlchemy,
• aplikacji uruchamianymi w kontenerach (Kubernetes, Anthos, Docker lub podobne,
• aplikacji do harmonogramowania zadań ScheduleIN,
• środowiska SAS,
• aplikacji do raportowania i budowania dashboardów np. Google Data Studio, SuperSet,
• narzędzi do monitorwania np. grafana,
• rozwiązań chmurowych wykorzystywanych w procesach ładowania danych np.. data flow, nifi.

Miejsce pracy: Warszawa - praca hybrydowa