Government Relations Services

Associação Porto Digital

51-200

A Associação Porto Digital, empresa privada sem fins lucrativos, sediada no Porto, com mais de 20 anos de existência e, em crescimento pretende contratar um Data Engineer. 
O profissional pretendido reportará ao Coordenador da área de Arquitetura de Dados e Inteligência Artificial, e integrará uma equipa de trabalho híbrida (trabalho presencial e remoto). O contrato de trabalho será inicialmente a termo com possibilidade de renovação e/ou sem termo consoante a experiência demonstrada.
<h2>Tasks</h2>
Principais atividades/tarefas a realizar:
<ul>
<li>Desenhar, desenvolver e manter pipelines de dados (batch e streaming) para dados estruturados e não estruturados.</li>
<li>Desenvolver e otimizar processos ETL com recurso a linguagens de programação como Python e/ou SQL.</li>
<li>Trabalhar com tecnologias open source para processamento, integração e armazenamento de dados (ex.: Spark, Kafka, NiFi, Airflow) em ambiente on-premises.</li>
<li>Gerir e otimizar bases de dados assegurando desempenho, integridade e disponibilidade.</li>
<li>Garantir qualidade, integridade e fiabilidade dos dados ao longo de todo o ciclo de vida (validação, monitorização e testes).</li>
<li>Projetar e melhorar arquiteturas de dados assegurando desempenho, escalabilidade e segurança.</li>
<li>Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial, ao transcrever as necessidades em requisitos técnicos e tratamento de dados;</li>
<li>Melhorar a Plataforma Urbana da cidade do Porto, criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade.</li>
</ul>
<h2>Requirements</h2>
Formação
<ul>
<li>Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou similares.</li>
</ul>
Qualificações
<ul>
<li>Experiência mínima de 3 anos em funções de Data Engineering, desenvolvimento de plataformas de dados ou áreas similares.</li>
<li>Bons conhecimentos de SQL e experiência com bases de dados relacionais e analíticas.</li>
<li>Experiência em desenvolvimento de pipelines ETL/ELT para integração, transformação e disponibilização de dados.</li>
<li>Bons conhecimentos de Python para processamento de dados, automatização e integração de sistemas.</li>
<li>Experiência prática com Apache Kafka, incluindo compreensão de tópicos, partições, chaves, consumer groups, offsets, retenção e mecanismos de replay.</li>
<li>Compreensão dos principais desafios de processamento de dados em tempo real, nomeadamente ordenação, duplicação, idempotência, latência, tratamento de erros e evolução de schemas.</li>
<li>Experiência com ferramentas de orquestração de pipelines, como Apache Airflow ou equivalentes.</li>
<li>Conhecimentos de modelação de dados, data warehouses, data lakes e arquiteturas lakehouse.</li>
<li>Experiência na implementação de processos incrementais, controlo de qualidade e monitorização de pipelines.</li>
<li>Familiaridade com Git, processos de revisão de código e práticas de integração e entrega contínuas.</li>
<li>Conhecimentos de Docker e princípios de desenvolvimento e operação de serviços em ambientes distribuídos.</li>
<li>Bons conhecimentos de inglês.</li>
</ul>
Nice to have:
<ul>
<li>Experiência com ClickHouse ou outras bases de dados colunares e com dbt.</li>
<li>Conhecimentos de Apache NiFi, Change Data Capture com Debezium ou processamento de streams com Flink/Kafka Streams.</li>
<li>Familiaridade com arquiteturas lakehouse, Apache Iceberg, Parquet e armazenamento de objetos.</li>
<li>Experiência com dados geográficos, PostGIS ou sistemas GIS.</li>
<li>Conhecimentos de FIWARE, NGSI-LD, Orion-LD, catálogos de dados ou mecanismos de data lineage</li>
</ul>
Competências pessoais e organizacionais:
<ul>
<li>Autonomia, proatividade e sentido de responsabilidade.</li>
<li>Boa capacidade analítica e de resolução estruturada de problemas.</li>
<li>Capacidade de desenhar soluções simples, reutilizáveis e sustentáveis, evitando desenvolvimentos isolados por caso de uso.</li>
<li>Organização, rigor e atenção ao detalhe.</li>
<li>Orientação para qualidade, fiabilidade e melhoria contínua.</li>
<li>Capacidade de diagnosticar problemas em pipelines e sistemas distribuídos.</li>
<li>Capacidade de trabalhar em equipas multidisciplinares e de colaborar com perfis técnicos e funcionais.</li>
<li>Boa comunicação e capacidade de explicar decisões técnicas de forma clara.</li>
<li>Capacidade de documentar processos e promover a partilha de conhecimento.</li>
<li>Orientação para resultados e cumprimento de prazos.</li>
<li>Interesse em trabalhar com diferentes domínios urbanos, como mobilidade, economia, ambiente, território e serviços municipais.</li>
<li>Orientação para a criação de valor para a cidade do Porto e para os seus cidadãos.</li>
</ul>
<h2>Benefits</h2>
Horário flexível
Subsídio de Alimentação
Seguro de saúde
Telemóvel e serviço de comunicações
APP ANDA
Junte-se à Associação Porto Digital como Data Engineer e impulsione a transformação digital urbana no Porto. Melhore os serviços públicos, impacte a vida dos cidadãos e contribua para o desenvolvimento sustentável.

Data Engineer

Associação Porto Digital logo

Google {privacyLink} and {termsLink} apply.

Benefits

Media

We don't have any open positions at the moment

No available jobs

Locations

Open positions

Values

Videos

Hiring team

Contact person

Contract details

Our other open positions

{count, plural, one {# day a week on-site} other {# days a week on-site}}

Work location

Do you have a question?

We’ll send a link to this job to your email.

Apply later

We are reviewing your account. Once our managers approve it, candidates will be able to apply for this job.

Changes are not visible until you publish your job.

This is a preview of your job ad.

Interested?

The job {jobTitle} was archived or the deadline has passed.

This job is no longer available

We no longer accept spontaneous applications

Interested in working at {companyName}? Tell us about your skills and experience.

We may not have a suitable job available now, but your skills and experience could match a future role.

Use the application form to upload your CV and cover letter. Mention the position you’re interested in in your cover letter.

The company may contact you if a suitable opportunity arises.

How to apply

Spontaneous application

Jobs at {companyName}. Browse all open positions and become part of our team! Open positions: {jobsCount}

Jobs at {companyName}. Browse our {jobsCount} available jobs and apply today.

Browse our {jobsCount} available jobs and apply today.

Interested in working at {companyName}? Send a spontaneous application to tell us about your skills and experience.