Data Engineer (Microsoft Fabric)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

doradztwo technologiczne,

tworzenie oprogramowania,

systemy wbudowane,

rozwiązania chmurowe,

zarządzanie danymi,

dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,

onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,

realizację transformacji danych oraz przygotowanie danych wsadowych,

implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,

wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,

realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,

współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,

zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,

optymalizację procesów pod kątem wydajności i kosztów,

udział w projekcie realizowanym w branży ubezpieczeniowej,

model współpracy: hybrydowy (1x w tygodniu w Warszawie),

stawka do 150 PLN/h w oparciu o współpracę B2B.

Kompetencje wymagane do realizacji usług:

minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,

praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,

doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,

znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,

doświadczenie w pracy z systemem kontroli wersji Git,

doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,

gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa,

mile widziany certyfikat DP-600 lub DP-700,

mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,

mile widziana znajomość języka R,

mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,

mile widziane doświadczenie z frameworkami Data Quality,

mile widziane doświadczenie w metodykach Agile i Scrum.

Co oferujemy w ramach współpracy?

możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,

zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,

dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Stos technologiczny - wpisz 3 lub 4 główne technologie oddzielając je przecinkiem np: Java, AWS, Spring, Hibernate

Microsoft Fabric, Python, PySpark

Model współpracy - jeśli jest taka konieczność zmień na UZ

B2B

Doświadczenie - wpisz Junior lub Regular lub Senior lub Expert

Senior

Budżet projektu - wpisz górną granicę widełek np. do 150 PLN/h

do 150 PLN/h

Tryb pracy - wpisz: Zdalnie lub Hybrydowo lub Stacjonarnie

hybrydowo

Zobacz jak rozpocząć współpracę ze Scalo: