Data Engineer

Шукаємо Data Engineer, який допоможе розвивати нашу data-платформу та будувати надійні пайплайни, на яких тримається аналітика компанії: від фрод-детекції та LTV-моделей до щоденної звітності для бізнесу. Ця роль для людини, яка любить писати чистий код, розбиратися в нових джерелах даних, покращувати вже існуючі рішення та доводити задачі до production, а не просто до «працює в ноутбуці». 💻 Основні обов'язки: ⚙️ Розробка пайплайнів - Розробляти та підтримувати пайплайни в Databricks (PySpark, Delta Lake) за Medallion-архітектурою (Bronze → Silver → Gold). - Інтегрувати дані з API зовнішніх сервісів, з якими працює компанія (CRM,, партнерські платформи тощо), а також з Kafka-топіків, PostgreSQL, MySQL, MongoDB та Google Sheets. - Налаштовувати оркестрацію в Airflow (MWAA) та Databricks Workflows. - Будувати вітрини даних для аналітики та Power BI. 🛡 Якість та стабільність даних - Додавати перевірки data quality і звірки між джерелами. - Розбиратися з падіннями пайплайнів та аномаліями в даних. - Документувати таблиці, трансформації та бізнес-логіку. 🔍 Аудит та оптимізація - Проводити аудит існуючих пайплайнів і рішень: шукати вузькі місця, дублювання логіки, зайві витрати на обчислення. - Оптимізувати та рефакторити існуючі рішення з погляду швидкодії, вартості та підтримуваності 🏗 Сервіси та внутрішні інструменти - Разом із Lead of Analytics проєктувати єдину архітектуру для standalone-сервісів і ботів: деплой, конфігурація, логування, моніторинг, обробка помилок. - Переводити існуючі скрипти на цю архітектуру та підтримувати їх стабільну роботу. - Розвивати внутрішні інструменти: алерти, моніторинг, допоміжні утиліти. ✅ Що для нас важливо: - Від 2 років досвіду в Data Engineering або Backend-розробці з акцентом на дані. - Впевнений Python: чистий, читабельний код, обробка помилок. - Досвід інтеграції зі сторонніми API: авторизація, пагінація, rate limits, ретраї, зміни у структурі відповідей. - Досвід з PySpark / Spark SQL (у Databricks або іншому середовищі). - Хороший SQL: віконні функції, CTE, розуміння планів запитів. - Досвід з Apache Airflow або іншим оркестратором. - Розуміння ETL/ELT, incremental loads, idempotency, backfills. - Базове розуміння data modeling (факти й виміри, SCD). - Досвід розробки та підтримки сервісів, що працюють постійно (боти, воркери, демони): логування, обробка збоїв, конфігурація. - Досвід роботи з Git та pull requests. - Самостійність: вміння розібратися в новому джерелі чи API без покрокових інструкцій і поставити правильні питання, коли щось незрозуміло. ➕ Буде плюсом - Databricks, Delta Lake, Unity Catalog. - Досвід роботи з Kafka(читання топіків, обробка повідомлень), AWS. - MongoDB, Power BI. - Docker, досвід контейнеризації та деплою сервісів. - Досвід побудови систем алертингу та моніторингу. - CI/CD, Databricks Asset Bundles, Terraform. - Досвід розробки ML-моделей. - Досвід в iGaming. ✨ Що ми пропонуємо - Сучасний стек: Databricks, Airflow, AWS. - Різноманітні задачі: інтеграції з зовнішніми сервісами, оптимізація пайплайнів, архітектура сервісів. - Реальний вплив на розвиток data-платформи. - Гнучкий графік початку роботи та повністю віддалений формат - 17 оплачуваних днів відпустки на рік - 15 оплачуваних днів лікарняних на рік - 2 додаткові оплачувані вихідні на рік на екстренні випадки - Медичне страхування після завершення випробувального терміну (для кандидатів в Україні) - Відсутність бюрократії, динамічне середовище, де твій внесок швидко стає помітним.