FREE ACCESS
5,000–10,000 jobs/day
See all jobs on Scoutfield
Search thousands of fresh jobs every day.
Discover
- Fresh listings
- Fast filters
- No subscription required
Create a free account and start exploring right away.
Senior Cloud Data Engineer – Azure
Future Processing. Dołączenie do projektu dla klienta z rynku DACH z branży turystycznej .
Tech Stack
Tools & technologiesApacheAzureETLNumpyPandasPySparkPythonRokuSparkSQLTerraformUnity
About the role
Key responsibilities & impact- Dołączenie do projektu dla klienta z rynku DACH z branży turystycznej
- Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform
- Implementowanie i optymalizacja procesów ETL/ELT do pozyskiwania, transformacji i udostępniania danych z systemów operacyjnych, finansowych i raportowych
- Tworzenie i utrzymywanie rozwiązań przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark
- Wsparcie migracji i modernizacji środowisk danych, w tym wdrażania Unity Catalog, aktualizacji platform i transformacji platform danych
- Budowanie i utrzymywanie workflowów w Databricks, rozwiązań Delta Live Tables (DLT), frameworków sterowanych metadanymi i procesów orkiestracji
- Współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przekładania wymagań biznesowych na rozwiązania techniczne
- Współtworzenie i rozwijanie procesów CI/CD, automatyzacji infrastruktury, monitoringu, logowania i praktyk operacyjnych
Requirements
What you’ll need- Minimum 5 lat doświadczenia w IT
- Minimum 3,5 roku doświadczenia w pracy z danymi w chmurze Azure, potwierdzone projektami komercyjnymi wdrożonymi na produkcję
- Doświadczenie z Terraform
- Doświadczenie z Databricks
- Komercyjne doświadczenie w przetwarzaniu dużych zbiorów danych przy użyciu JSON
- Komercyjne doświadczenie z PySpark
- Zaawansowana znajomość SQL oraz wykorzystanie go w rozwiązaniach technologicznych MS i innych
- Biegła znajomość Git i CI/CD
- Umiejętność tworzenia i optymalizacji rozwiązań przetwarzających dane (ETL, ELT), poprzedzonych projektem technicznym i analizą alternatyw rozwiązań
- Umiejętność programowania w Python oraz korzystania z bibliotek Pandas i/lub NumPy
- Znajomość Azure Data Explorer, Azure Data Factory, Azure Data Lake, Azure Databricks, Azure DevOps i Azure Synapse Analytics
- Doświadczenie z praktykami zwinnymi i narzędziami procesu wytwarzania oprogramowania, w tym Azure DevOps
- Wiedza o bezpiecznym przechowywaniu i przetwarzaniu danych w chmurze
- Świadome wykorzystywanie Generative AI w procesie wytwarzania oprogramowania oraz decyzjach architektonicznych i technologicznych
- Angielski na poziomie średniozaawansowanym, minimum B2
- Swobodna komunikacja w języku polskim
Benefits
Comp & perks- Dużą swobodę działania i realny wpływ na kierunek projektów
- Projekty dla klientów z Europy i USA – branża turystyczna, ubezpieczeniowa, energetyczna, farmaceutyczna i finansowa
- Certyfikacje i szkolenia chmurowe: AWS, Microsoft, Databricks Academy – opłacane szkolenia i egzaminy
- Narzędzia AI dla każdego w zespole od pierwszego dnia
- Społeczność ekspertów: grupy tematyczne, dostęp do zespołu architektów systemowych, analityków biznesowych i zespołu UX
- Możliwość pracy 100% remote
- Merytoryczny feedback po zakończonym procesie rekrutacyjnym, niezależnie od wyniku