Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

doradztwo technologiczne,

tworzenie oprogramowania,

systemy wbudowane,

rozwiązania chmurowe,

zarządzanie danymi,

dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Zakres współpracy obejmuje:

Projektowanie, budowa i utrzymanie nowoczesnych pipeline'ów danych z wykorzystaniem dbt oraz Apache Airflow.

Rozwój rozwiązań przetwarzania danych w Pythonie i PySpark.

Projektowanie oraz rozwój warstw Gold i Platinum platformy Data Lakehouse w oparciu o architekturę Medallion.

Optymalizacja wydajności oraz kosztów środowiska BigQuery, w tym partycjonowanie, klastrowanie i działania FinOps.

Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.

Zarządzanie infrastrukturą jako kodem (Terraform) oraz automatyzacja wdrożeń.

Implementacja i rozwój modelu bezpieczeństwa danych, obejmującego m.in. IAM, RBAC/ABAC, Policy Tags oraz DLP.

Współtworzenie standardów Data Governance, zarządzania metadanymi oraz data lineage.

Udział w code review oraz rozwijaniu standardów technicznych zespołu.

Wsparcie i konsultacje techniczne dla zespołów domenowych pracujących w modelu hub & spoke.

Promowanie najlepszych praktyk z zakresu inżynierii danych i architektury rozwiązań na platformie GCP.

Model świadczenia usług: hybrydowy obejmujący 8 dni w miesiącu z biura w Warszawie

Budżet: do 150 zł netto + VAT/H/B2B

Kompetencje wymagane do realizacji usług:

Min. 5 lat doświadczenia w obszarze Data Engineering, w tym min. 2 lata pracy z Google Cloud Platform.

Doświadczenie w budowie i rozwoju hurtowni danych lub platform Data Lakehouse na dużą skalę.

Bardzo dobra znajomość SQL, Python oraz PySpark.

Praktyczne doświadczenie z BigQuery, dbt oraz Apache Airflow.

Znajomość procesów CI/CD (GitHub Actions) oraz pracy z Git.

Umiejętność projektowania rozwiązań end-to-end i podejmowania decyzji architektonicznych.

Doświadczenie we współpracy z zespołami analitycznymi, biznesowymi i technologicznymi.

Dobra znajomość usług GCP, takich jak IAM, Cloud Storage, Secret Manager i Monitoring.

Mile widziane:

Terraform i podejście Infrastructure as Code.

Data Governance (Dataplex, Data Catalog, Data Lineage, DLP).

Docker, FinOps oraz architektura Medallion/Data Mesh.

Doświadczenie w sektorze finansowym lub bankowym.

Certyfikaty Google Cloud (Professional Data Engineer lub Professional Cloud Architect).

Co oferujemy w ramach współpracy?

możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,

zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,

dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Stos technologiczny - wpisz 3 lub 4 główne technologie oddzielając je przecinkiem np: Java, AWS, Spring, Hibernate

GCP, Python, BigQuery, PySpark

Model współpracy - jeśli jest taka konieczność zmień na UZ

B2B

Doświadczenie - wpisz Junior lub Regular lub Senior lub Expert

Senior

Budżet projektu - wpisz górną granicę widełek np. do 150 PLN/h

do 150 PLN/h

Tryb pracy - wpisz: Zdalnie lub Hybrydowo lub Stacjonarnie

Hybrydowo

Zobacz jak rozpocząć współpracę ze Scalo: