AI-first Data Engineer

Le rôle

En tant qu’AI-first Data Engineer, vous concevez et développez les pipelines de données qui alimentent Wally. Vous créez des pipelines ETL fiables dans Dagster. Ces pipelines collectent les données de systèmes comptables et d’autres sources externes, les transforment et les chargent dans BigQuery. Dès le premier jour, vous jouez un rôle important dans l’architecture et le développement de notre plateforme de données.

• ·Responsabilité: Vous résolvez de manière autonome des problèmes difficiles liés aux données et à l’infrastructure.
• ·Réflexion proactive: Vous identifiez les faiblesses et proposez des améliorations structurelles.
• ·Collaboration stratégique: Vous travaillez étroitement avec nos fondateurs et nos ingénieurs sur les décisions techniques.
• ·Liberté de mise en œuvre: Vous disposez de la liberté et de la responsabilité nécessaires pour choisir des solutions efficaces.
• ·Approche AI-first: Vous utilisez l’IA dans tout votre processus de développement pour améliorer la vitesse, la qualité et la productivité.

Vos responsabilités

Votre objectif principal est de construire une plateforme de données fiable pour Wally et nos clients.

• ·Construire des pipelines ETL: Concevez, mettez en œuvre et maintenez des pipelines en Python et Dagster.
• ·Intégrer des sources de données: Connectez des plateformes comptables, des API, des bases de données et des sources basées sur des fichiers.
• ·Modéliser les données dans BigQuery: Créez des jeux de données clairs et efficaces pour notre produit et nos systèmes d’IA.
• ·Améliorer la qualité des données: Ajoutez la validation, la surveillance, le lignage, les nouvelles tentatives et des alertes exploitables.
• ·Concevoir pour le passage à l’échelle: Construisez des pipelines adaptés à la croissance des volumes de données et du nombre de clients.
• ·Gérer les charges de production: Analysez les échecs et améliorez la fiabilité et les coûts de la plateforme.
• ·Soutenir le développement du produit: Rendez des données financières fiables disponibles dans tout Wally.
• ·Améliorer la livraison: Contribuez aux tests, au CI/CD, au déploiement et à l’automatisation de l’infrastructure.

Votre profil

Nous accordons plus d’importance à vos compétences et à votre état d’esprit qu’à un diplôme précis.

• ·Vous avez une solide expérience de Python et des pipelines de données en production.
• ·Vous maîtrisez l’architecture ETL ou ELT, l’orchestration et la modélisation des données.
• ·Vous avez de l’expérience avec Dagster, Airflow, Prefect ou une plateforme d’orchestration similaire.
• ·Vous maîtrisez SQL et avez travaillé avec un entrepôt de données cloud.
• ·Vous comprenez les API, l’authentification, la pagination, les limites de débit et la synchronisation incrémentielle.
• ·Vous accordez de l’importance à l’exactitude, à l’observabilité, à la maintenabilité et à la sécurité des données.
• ·Vous travaillez de manière autonome et assumez la responsabilité de la conception au support en production.
• ·Vous utilisez efficacement les outils de programmation assistée par IA et vérifiez les résultats.
• ·Une expérience avec BigQuery, Google Cloud, MongoDB, Docker ou des données comptables est un atout.

Travailler avec des technologies modernes de données et d’IA

Vous travaillez avec des technologies qui soutiennent directement la plateforme d’IA de Wally :

• ·Orchestration des données: Dagster et Python.
• ·Entrepôt de données: BigQuery et Google Cloud.
• ·Systèmes opérationnels: MongoDB, API et plateformes comptables externes.
• ·Développement de l’IA: Claude, GPT, Gemini et d’autres modèles avancés.
• ·Processus d’ingénierie: GitHub Actions, Docker, tests automatisés et développement assisté par IA.

Cette offre vous intéresse ?

Vous voulez prendre en charge un élément essentiel des fondations techniques de Wally ? Vous aimez transformer des données externes fragmentées en une infrastructure produit fiable ? Postulez maintenant et contribuez à la plateforme de données qui soutient le collègue IA des cabinets comptables.