Als software engineer in ons team ontwerp en ontwikkel je libraries, frameworks en services die het verwerken van big data op een cloudplatform mogelijk maken.
Het data engineering team dat jij versterkt, ontwikkelt de bouwstenen voor data pipelines op ons big data-platform op AWS. Dit multitenant platform ondersteunt de digitale transformatie en AI-ambities van KBC, zowel in België als in andere landen van KBC Groep.
Je werkt mee aan een productportfolio van dataservices en frameworks waarmee data engineers en data scientists efficiënte, schaalbare en betrouwbare data pipelines bouwen – steeds volgens de best practices. Onze oplossingen ondersteunen op vandaag duizenden pipelines.
Samen met je collega's ontwikkel en onderhoud je onder meer:
-
een dataverwerkingsbibliotheek die toegang biedt tot het data lake via verschillende verwerkingstechnologieën;
-
functionaliteit om data veilig te verplaatsen tussen AWS-accounts of buiten het platform;
een plug-in die data pipelines ondersteunt in het voldoen aan de GDPR-vereisten; -
oplossingen voor dataretentie en geautomatiseerde opschoning van het data lake;
-
data lineage-functionaliteit die inzicht geeft in de datastromen binnen het platform;
-
metadata-services die metadata-gedreven functionaliteiten op het big data-platform mogelijk maken;
-
best practices voor de verwerking en de opslag van big data.
