NirYu
Data Engineer – Web Scraping, LLM Pipelines and Scalable Data Infrastructure
Rol remoto de Data Engineering con fit claro de ubicación del candidato.
Publicado5 jul 2026
Países elegibles1 país aceptado
Señal de seniorityMiddle
Modelo de trabajoRemoto
Ubicaciones aceptadas para candidatos
Estados Unidos
Resumen del rol
Data Engineer – Web Scraping, LLM Pipelines and Scalable Data Infrastructure
Requisitos y responsabilidades
Contenido del rol extraído en secciones para revisar más rápido.
Key Responsibilities:
- Build new structured datasets, including scraping accelerators, Form D filings and dynamic web sources.
- Develop automated ETL pipelines that parse, clean and transform content using LLMs.
- Define and maintain database schemas in Supabase or PostgreSQL.
- Create evaluation frameworks to measure and compare LLM performance across pipeline components.
- Contribute to the design of scalable data architectures using GCP services.
- Improve reliability, observability and deployment workflows for scraping and data processing systems.
Requirements:
- 4+ years of experience building data pipelines, backend services and automated data processing systems.
- Strong background in web scraping with tools like Scrapy, Playwright or similar.
- Experience deploying pipelines on cloud platforms such as GCP or AWS.
- Solid knowledge of ETL frameworks, workflow orchestration (Airflow) and modern data stores (BigQuery, PostgreSQL).
- Comfortable working with Docker and API frameworks like FastAPI.
- Clear, fluent communication in English.
Roles similares
Mantén una lista de respaldo.
Docker, PostgreSQL 5 países aceptados
Lead Full Stack EngineerKepler GroupVer rol AWS, PostgreSQL 13 países aceptados
Senior Backend Engineer (AdTech)Leap ToolsVer rol AWS, PostgreSQL 13 países aceptados
Senior Backend EngineerLeap ToolsVer rol Python USA
Senior Data EngineerTop Us Wealth Management FirmVer rol Stack
Usa estas tags para comparar roles remotos similares.
Elegibilidad de ubicación
Candidatos deberían aplicar solo cuando el país del perfil aparece aquí.
Tu perfilPaís no definidoInicia sesión para comparar tu país con este rol.
Flujo de contratación
WithMira muestra el rol y luego envía candidatos a la aplicación de la empresa.
1Revisa fit del rol, stack y elegibilidad de ubicación en WithMira.
2Abre la página de aplicación de la empresa desde el link rastreado.
3Guarda el rol o suscríbete a oportunidades similares antes de salir.