📈 Анализ
Сбор и анализ рыночных данных
Что такое Анализ?
Анализ - это первый и критически важный этап торговой системы. На этом этапе наша платформа собирает данные из множества источников: биржевые котировки, объемы торгов, новостные ленты, социальные сети, макроэкономические показатели.
Как это работает в бэкенде?
1. Data Collection Service
Микросервис на Python с использованием FastAPI, который подключается к WebSocket API бирж (Binance, Bybit, Kraken) и получает данные в реальном времени. Использует Redis для кэширования и Kafka для стриминга данных.
2. TimescaleDB для хранения
Временные ряды хранятся в TimescaleDB (расширение PostgreSQL), что позволяет эффективно хранить и запрашивать миллионы записей котировок с поддержкой автоматической агрегации и сжатия.
3. Preprocessing Pipeline
Celery workers обрабатывают сырые данные: нормализация, удаление выбросов, расчет технических индикаторов (RSI, MACD, Bollinger Bands). Результаты сохраняются в ClickHouse для аналитических запросов.
4. Feature Engineering
ML Pipeline на базе Pandas и NumPy создает признаки для моделей: скользящие средние, волатильность, корреляции между активами, сентимент-анализ новостей через NLP модели.