NirYu
Data Engineer – Web Scraping, LLM Pipelines and Scalable Data Infrastructure
Vaga remota de Data Engineering com fit claro de localização do candidato.
Publicada5 de jul. de 2026
Países elegíveis1 país aceito
Sinal de senioridadeMiddle
Modelo de trabalhoRemoto
Locais aceitos para candidatos
Estados Unidos
Resumo da vaga
Data Engineer – Web Scraping, LLM Pipelines and Scalable Data Infrastructure
Requisitos e responsabilidades
Conteúdo da vaga extraído em seções para revisão mais rápida.
Key Responsibilities:
- Build new structured datasets, including scraping accelerators, Form D filings and dynamic web sources.
- Develop automated ETL pipelines that parse, clean and transform content using LLMs.
- Define and maintain database schemas in Supabase or PostgreSQL.
- Create evaluation frameworks to measure and compare LLM performance across pipeline components.
- Contribute to the design of scalable data architectures using GCP services.
- Improve reliability, observability and deployment workflows for scraping and data processing systems.
Requirements:
- 4+ years of experience building data pipelines, backend services and automated data processing systems.
- Strong background in web scraping with tools like Scrapy, Playwright or similar.
- Experience deploying pipelines on cloud platforms such as GCP or AWS.
- Solid knowledge of ETL frameworks, workflow orchestration (Airflow) and modern data stores (BigQuery, PostgreSQL).
- Comfortable working with Docker and API frameworks like FastAPI.
- Clear, fluent communication in English.
Vagas similares
Mantenha uma lista reserva.
Docker, PostgreSQL 5 países aceitos
Lead Full Stack EngineerKepler GroupVer vaga AWS, PostgreSQL 13 países aceitos
Senior Backend Engineer (AdTech)Leap ToolsVer vaga AWS, PostgreSQL 13 países aceitos
Senior Backend EngineerLeap ToolsVer vaga Python USA
Senior Data EngineerTop Us Wealth Management FirmVer vaga Stack
Use estas tags para comparar vagas remotas similares.
Elegibilidade de localização
Candidatos devem aplicar apenas quando o país do perfil estiver listado aqui.
Seu perfilPaís não definidoEntre para comparar seu país com esta vaga.
Fluxo de contratação
O WithMira mostra a vaga e depois envia candidatos para a aplicação da empresa.
1Confira fit da vaga, stack e elegibilidade de localização no WithMira.
2Abra a página de aplicação da empresa pelo link rastreado.
3Salve a vaga ou assine oportunidades similares antes de sair.