Data Engineer (Архитектор данных)

Вакансия: Data Engineer (Архитектор данных)

Местоположение: Алматы
Компания: Жан мен тән

Обязанности
• Сбор, предварительная фильтрация и валидация данных из различных источников (ЖТСО, «Данышпан», база оборудования BRT и др.).
• Проектирование схемы базы данных в PostgreSQL: создание таблиц, индексов, оптимизация производительности.
• Интеграция с внешними сервисами (Kommo, Tilda, API BRT) для двусторонней синхронизации данных.
• Организация и управление потоками данных в реальном времени с помощью Apache Kafka.
• Разработка ETL/ELT-пайплайнов в Apache Airflow: обработка, трансформация и загрузка данных.
• Написание аналитических SQL-запросов и отчётов в Google BigQuery для работы с большими объёмами данных.

Требования
• Опыт работы с PostgreSQL, Apache Kafka, Airflow и Google BigQuery не менее 2 лет.
• Уверенное владение REST API, форматами JSON и XML.
• Знание Linux/Unix, опыт контейнеризации (Docker) будет преимуществом.
• Опыт работы с системами контроля версий (Git) и CI/CD (Jenkins, GitLab CI/CD или аналоги).
• Понимание стандартов безопасности и конфиденциальности данных (GDPR, HIPAA и т.п.).

Преимуществом будет
• Опыт работы с Kubernetes и масштабирования платформ данных.
• Навыки программирования на Python или Java/Scala для написания скриптов обработки данных.
• Хорошие коммуникативные навыки и опыт работы в командных проектах.
• Английский язык на уровне чтения и составления технической документации (Intermediate+).

Мы предлагаем
• Конкурентоспособную заработную плату (обсуждается на интервью).
• Профессиональное развитие: тренинги, сертификации, участие в конференциях.
• Дружный коллектив и возможность участия в социально значимых проектах.

Будем рады видеть вас в нашей команде!