Contexte & Objectif Business

Dans un marché aussi volatil que celui des cryptomonnaies, les analystes ont besoin d’un accès rapide et structuré aux données pour prendre des décisions, faire du backtesting ou concevoir des modèles. Ce projet vise à construire un pipeline complet de collecte, traitement, stockage et exposition des données crypto en temps réel.

Problématique

Les données sont souvent dispersées, limitées par les API, et non historisées. L’objectif ici est de rendre accessibles des données granulaires (1 minute) pour plus de 50 cryptos via une API centralisée, fiable et scalable.

Sources de Données

• Binance API : prix OHLC, volumes
• CoinGecko API : market cap, volume global, indicateurs sociaux

Fonctionnalités Clés

• Collecte automatique toutes les 60s (Airflow + Python)
• Stockage temps réel (PostgreSQL) + historique (Parquet)
• API REST (FastAPI) pour consommation des données
• Monitoring et retry des erreurs via Airflow

Stack Technique

• Collecte : Python, Airflow, requests
• Stockage : PostgreSQL, Parquet
• Traitement : pandas, PySpark
• API : FastAPI + Swagger UI
• Conteneurisation : Docker + Docker Compose

Résultats

• Données collectées toutes les 60 secondes ✅
• API responsive < 150ms ✅
• Backtest & dashboard prêts à l’emploi ✅
• Résilience face aux pannes API ✅

Livrables

• DAGs Airflow fonctionnels
• Schéma PostgreSQL documenté
• Export Parquet structuré
• API REST documentée
• Dockerfile & docker-compose.yml

Valeur Métier Apportée

Ce pipeline permet à une plateforme ou un analyste de :

• Suivre les marchés crypto en temps réel
• Construire des modèles de trading automatisés
• Effectuer du backtesting rapide et précis
• Fournir des données à d’autres services ou dashboards

Prochaines Évolutions

• Intégration d’un dashboard en temps réel (Streamlit, Grafana)
• Ajout de modules ML : prédiction, clustering, scoring
• Déploiement sur cloud (AWS / Azure) pour mise à l’échelle
• Alertes Telegram / Discord