146 lines
4.9 KiB
Markdown
146 lines
4.9 KiB
Markdown
# Local Data Service（REST + WebSocket）
|
||
|
||
本服务基于 FastAPI + ccxt，自动拉取交易所行情、写入本地 Parquet，同时提供 REST 和 WebSocket 数据访问。
|
||
自带时间周期聚合能力：只需抓取 `1m / 1h / 1d / 1w / 1M` 等基础周期，即可自动生成 `2m/3m/.../30m`、`2h/3h/.../16h` 等衍生周期。
|
||
|
||
---
|
||
|
||
## 1. 环境准备
|
||
|
||
### 1.1 依赖
|
||
- Python ≥ 3.10（本地运行方式需要）
|
||
- `pip install -r requirements.txt`（包含 `fastapi`, `uvicorn`, `ccxt`, `pandas`, `pyarrow`, `technical` 等）
|
||
- 或者直接使用仓库内的 `docker-compose.yml`
|
||
|
||
### 1.2 关键环境变量
|
||
| 变量 | 说明 | 默认 |
|
||
| --- | --- | --- |
|
||
| `DATA_DIR` | 本地 Parquet 存储目录 | `/data` |
|
||
| `EXCHANGE` | 交易所标识（目前支持 binance） | `binance` |
|
||
| `TIMEFRAMES` | 基础抓取周期，逗号分隔 | `1m,1h,1d,1w,1M` |
|
||
| `START_FROM` | 首次启动回补的起始 UTC 时间（ISO 字符串或毫秒时间戳） | `2022-01-01` |
|
||
| `POLL_FACTOR` | 拉取间隔因子，实际间隔 = 周期毫秒 × factor | `0.5` |
|
||
| `REST_MAX_CONCURRENCY` | REST 历史拉取并发数 | `4` |
|
||
| `VERIFY_MAX_CONCURRENCY` | 校验请求并发数 | `2` |
|
||
| `WS_ENABLED` | 是否启用 Binance WebSocket 增量（`true`/`false`） | `false` |
|
||
| `REST_POLL_INTERVAL` | 实时轮询 REST 的间隔秒数 | `5` |
|
||
| `REST_POLL_WINDOW` | 实时轮询时拉取的最新 K 线数量 | `10` |
|
||
| `BACKOFF_BASE / BACKOFF_MAX` | 异常重试的指数退避参数 | `2.0 / 30.0` |
|
||
|
||
> 衍生周期列表由程序自动推导，无需手动写入 `TIMEFRAMES`。
|
||
|
||
---
|
||
|
||
## 2. 启动与关闭
|
||
|
||
### 2.1 Docker 方式
|
||
```bash
|
||
cd user_data/Chan/datasvc
|
||
docker compose up -d # 启动
|
||
docker compose logs -f # 查看日志
|
||
docker compose down # 关闭
|
||
```
|
||
|
||
### 2.2 本地运行（无 Docker）
|
||
```bash
|
||
export DATA_DIR=./data
|
||
export TIMEFRAMES="1m,1h,1d"
|
||
|
||
cd /Users/jack/Project/freqtrade
|
||
uvicorn user_data.Chan.datasvc.app.main:app --reload
|
||
```
|
||
|
||
关闭时 Ctrl+C 即可，服务会自动取消后台抓取任务并释放资源。
|
||
|
||
---
|
||
|
||
## 3. 数据存储与聚合
|
||
|
||
### 3.1 基础周期
|
||
只会为 `TIMEFRAMES` 声明的基础周期创建抓取任务（例如 `1m / 1h / 1d`）。
|
||
|
||
### 3.2 衍生周期
|
||
启动后自动维护以下聚合：
|
||
|
||
| 基础周期 | 自动生成 |
|
||
| --- | --- |
|
||
| `1m` | `2m, 3m, 4m, 5m, 10m, 15m, 20m, 25m, 30m` |
|
||
| `1h` | `2h, 3h, 4h, 6h, 8h, 12h, 16h` |
|
||
| `1d` | `2d, 3d, 4d, 5d, 6d` |
|
||
| `1w` | `2w` |
|
||
| `1M` | `2M, 3M, 6M` |
|
||
|
||
聚合过程通过 `technical.util.resample_to_interval` 完成，写入同一 Parquet 数据目录。
|
||
所有周期都可以被 REST/WS 访问。
|
||
|
||
### 3.3 数据目录
|
||
```
|
||
{DATA_DIR}/{timeframe}/{symbol}.parquet
|
||
```
|
||
|
||
---
|
||
|
||
## 4. 接口调用
|
||
|
||
### 4.1 健康检查
|
||
```
|
||
GET /health
|
||
```
|
||
返回运行状态、基础/衍生周期列表、各抓取任务的最新进度与错误计数，便于监控。
|
||
|
||
### 4.2 REST API
|
||
```
|
||
GET /api/candles?symbol=BTC/USDT:USDT&tf=2h&start=1700000000000&end=1700003600000
|
||
```
|
||
参数说明：
|
||
- `symbol`：交易对（必须在 `SYMBOLS` 列表中）
|
||
- `tf`：时间周期（支持基础或衍生）
|
||
- `start` / `end`：毫秒时间戳，可选
|
||
|
||
返回示例：
|
||
```json
|
||
[
|
||
{"timestamp": 1700000000000, "open": 36000.0, "high": 36120.0, "low": 35980.0, "close": 36050.0, "volume": 125.4},
|
||
...
|
||
]
|
||
```
|
||
|
||
### 4.3 WebSocket
|
||
```
|
||
ws://localhost:8000/ws?symbol=ETH/USDT:USDT&tf=15m&since=1700000000000
|
||
```
|
||
- 首次连接：收到 `snapshot` 消息（快照数组）
|
||
- 后续增量：收到 `upsert` 消息（最新几根K线），以及周期性 `ping`
|
||
|
||
消息示例：
|
||
```json
|
||
{"topic":"candles.ETH/USDT:USDT.15m","type":"snapshot","data":[{"t":1700000000000,"o":2000.0,"h":2005.0,"l":1995.0,"c":2002.5,"v":312.7}, ...]}
|
||
{"topic":"candles.ETH/USDT:USDT.15m","type":"upsert","data":{"t":1700000900000,"o":2002.5,"h":2006.0,"l":2000.0,"c":2004.0,"v":120.8}}
|
||
```
|
||
|
||
---
|
||
|
||
## 5. 停机与维护
|
||
|
||
- **正常关闭**：`docker compose down` 或 Ctrl+C。服务会等待所有抓取任务结束并关闭 `ccxt` 客户端。
|
||
- **异常恢复**：若网络异常，服务会自动指数退避重试；可通过 `/health` 的 `consecutive_errors` 与 `last_error` 排查。
|
||
- **数据清理**：直接删除 `DATA_DIR` 下对应的 Parquet 文件即可，下次启动会重新回补。
|
||
|
||
---
|
||
|
||
## 6. 常见问题
|
||
|
||
1. **缺少 `technical` 模块**
|
||
聚合周期会跳过，并在日志中提示；先执行 `pip install technical` 再重启。
|
||
|
||
2. **接收不到某个周期的数据**
|
||
确认该周期在 `TIMEFRAMES` 或自动聚合列表中；若是衍生周期，需要确保对应基础周期已在运行。
|
||
|
||
3. **如何新增交易对/周期**
|
||
- 交易对：编辑 `pairs.json`，每行一个字符串，保存后重启服务。
|
||
- 周期：修改 `TIMEFRAMES` 环境变量（Docker 或本地启动命令）后重启。
|
||
|
||
---
|
||
|
||
欢迎结合自身策略或可视化前端直接消费本地数据服务。若要集成到其他项目，可直接引用 `/api/candles` 的 JSON 响应或订阅 `/ws` 的实时推送。
|