research: 影子交易器落在 Hummingbot 上，并修掉 Bitget 连接器的换根延迟
1m 腿的滑点余量只有几个 bp，所以要测的必须是生产路径的滑点——换个运行时 测出来的数就不作数。框架因此从「滑点已知后再定」提前到测量阶段就定为 Hummingbot（Spot/Perp 连接器均 v2.0，Bitget 是 Foundation Partner）。 新增 research/live/。前置测量： - bench_compute.py 本机算力，1m 单币 0.318s、三币串行 1.38s - venue_parity.py Binance 与 Bitget 同根信号重合仅 14.6~42.6% - signal_sensitivity.py 0.25bp 扰动就换掉一半信号 - aggregate_robustness.py 但总体期望不降——脆的是信号身份，不是 alpha - bitget_baseline.py 因此改用 Bitget 原生基线定预算：余量 BTC -0.13bp、 ETH +4.02bp、SOL +2.92bp。BTC 本就为负，只作延迟测量的参照物 运行时选型： - parity_env.py 容器与本机信号逐一相同（下标、中枢数、checksum 全等）， 容器内 0.26s/币反而更快。故 chanlun 直接挂载进容器，不必另起信号服务。 装进现有 .venv 那条路走不通：Hummingbot 要 numba>=0.61.2 与 aiohttp<3.14，与本机 Python 3.14 冲突 - latency_ccxt.py / latency_hummingbot.py / latency_compare.py 初测显示 Hummingbot 比 ccxt.pro 慢约 1030ms，90 根逐根配对里 80~97% 更慢 - probe_ws_action.py 否掉「丢弃 snapshot」的猜测：换根首条就是 update - probe_hb_vs_raw.py 与 latency_attribute.py 四路归因——容器网络 2~18ms、 Hummingbot 处理 -10~-30ms，1350~1480ms 全落在解析方式上 - probe_ws_payload.py 定位根因：Bitget 换根会推一条带两根的消息 [上一根, 新一根]，而上游取 data["data"][0] 拿到的是上一根，新一根要等 下一条单元素消息 修复： - patched_candles.py 处理消息里的全部元素。不能简单改成 [-1]——那样上一根 的收盘价会永远停在换根前约 1 秒的那次推送上，而信号对 0.25bp 都敏感 - verify_patch.py 60 根配对验证：拿回 1060~1090ms，与原始 WS 只差 5~14ms 已贴理论下限，19 根已收盘 K 线 OHLCV 逐根未变。折算 ETH 省 0.54bp、 SOL 省 0.42bp。此 bug 值得向上游反馈 影子交易器： - shadow_hb.py 不下单，读连接器真实盘口按仓位吃单深度算成交价，与次根开盘价 （回测 entry_delay=1 的口径）相减，分解成延迟漂移、盘口价差、深度冲击。 盘口 10Hz 滚动缓冲 30 秒，把延迟变成自变量：每个信号记 0.5/1/2/5s 与实际 算完时刻各一个滑点值，本机算得慢也不影响能读出的曲线 - shadow_signal.py 信号计算隔离到子进程。0.26s 是纯 CPU 且 chanlun 受 GIL 限制，放进 asyncio 循环会把行情处理一起卡住 - shadow_report.py 首日延迟门槛与滑点曲线报表 不用 paper trade 测滑点：它的成交由 Hummingbot 自己的撮合模型模拟， 测出来是模型行为而非市场行为。 Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
Ubuntu
@@ -0,0 +1,120 @@
|
||||
"""延迟基准 A：ccxt.pro 侧的数据到手时刻。
|
||||
|
||||
要测的事件只有一个：**我们在什么时候得知第 N 根 1m 已经收盘**。
|
||||
它等价于 t_data − t_close，是下单延迟里最先发生、也往往最大的一段。
|
||||
|
||||
与 latency_hummingbot.py 测的是同一个事件，两边跑同一段时间才可比，
|
||||
所以两个脚本都按整分钟对齐输出，事后按 K 线时间戳 join。
|
||||
|
||||
判据：ETH 的 Bitget 原生滑点余量只有 4.02bp、SOL 2.92bp，而本机 1m 波动
|
||||
ETH 8.6bp/分钟、SOL 9.6bp/分钟。按 √t 折算，1 秒延迟就是 1.1~1.2bp 的
|
||||
随机漂移，且入场方向上还有系统性追价。所以这个数值本身就可能决定生死。
|
||||
|
||||
输出 out/latency_ccxt.csv，每根一行。
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import asyncio
|
||||
import csv
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
RESEARCH = HERE.parent
|
||||
sys.path.insert(0, str(RESEARCH))
|
||||
sys.path.insert(0, str(RESEARCH.parent))
|
||||
|
||||
SYMS = ("BTC", "ETH", "SOL")
|
||||
OUT = RESEARCH / "out" / "latency_ccxt.csv"
|
||||
PERIOD_MS = 60_000
|
||||
|
||||
_stop = False
|
||||
|
||||
|
||||
def _on_signal(*_):
|
||||
global _stop
|
||||
_stop = True
|
||||
|
||||
|
||||
async def watch(ex, sym: str, writer, fh, stats: dict) -> None:
|
||||
"""watch_ohlcv 每次推送都带整段最近 K 线，靠时间戳前进判断上一根已收盘。"""
|
||||
pair = f"{sym}/USDT:USDT"
|
||||
last_ts = None
|
||||
while not _stop:
|
||||
try:
|
||||
o = await ex.watch_ohlcv(pair, "1m")
|
||||
except Exception as e:
|
||||
print(f" {sym} watch 异常 {type(e).__name__}: {e}", flush=True)
|
||||
await asyncio.sleep(1)
|
||||
continue
|
||||
if not o:
|
||||
continue
|
||||
now_ms = int(time.time() * 1000)
|
||||
newest = int(o[-1][0])
|
||||
if last_ts is None:
|
||||
last_ts = newest
|
||||
continue
|
||||
if newest > last_ts:
|
||||
# newest 是刚开始的那根，故 last_ts 那根在 newest 时刻收盘
|
||||
closed_ts = newest
|
||||
lag_ms = now_ms - closed_ts
|
||||
writer.writerow({"kline_ts": closed_ts, "sym": sym,
|
||||
"t_data_ms": now_ms, "lag_ms": lag_ms})
|
||||
fh.flush()
|
||||
stats.setdefault(sym, []).append(lag_ms)
|
||||
n = len(stats[sym])
|
||||
if n % 5 == 1:
|
||||
med = sorted(stats[sym])[n // 2]
|
||||
print(f" {sym}: 第 {n} 根，本次 lag {lag_ms}ms，中位 {med}ms",
|
||||
flush=True)
|
||||
last_ts = newest
|
||||
|
||||
|
||||
async def main_async(minutes: int) -> None:
|
||||
import ccxt.pro as ccxtpro
|
||||
|
||||
ex = ccxtpro.bitget({"options": {"defaultType": "swap"},
|
||||
"enableRateLimit": True})
|
||||
OUT.parent.mkdir(parents=True, exist_ok=True)
|
||||
fh = OUT.open("w", newline="")
|
||||
writer = csv.DictWriter(fh, fieldnames=["kline_ts", "sym", "t_data_ms", "lag_ms"])
|
||||
writer.writeheader()
|
||||
stats: dict = {}
|
||||
|
||||
print(f"[ccxt.pro 延迟] {SYMS} · 计划跑 {minutes} 分钟 · 输出 {OUT.name}",
|
||||
flush=True)
|
||||
tasks = [asyncio.create_task(watch(ex, s, writer, fh, stats)) for s in SYMS]
|
||||
deadline = time.time() + minutes * 60
|
||||
while time.time() < deadline and not _stop:
|
||||
await asyncio.sleep(1)
|
||||
for t in tasks:
|
||||
t.cancel()
|
||||
await asyncio.gather(*tasks, return_exceptions=True)
|
||||
await ex.close()
|
||||
fh.close()
|
||||
|
||||
print("\n########## t_data − t_close（ms）##########")
|
||||
for s in SYMS:
|
||||
v = sorted(stats.get(s, []))
|
||||
if not v:
|
||||
print(f" {s}: 无样本")
|
||||
continue
|
||||
print(f" {s}: n={len(v)} 中位 {v[len(v) // 2]}ms "
|
||||
f"P90 {v[int(len(v) * .9)]}ms 最大 {v[-1]}ms")
|
||||
print(f"\n产物写入 {OUT}")
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--minutes", type=int, default=20)
|
||||
args = ap.parse_args()
|
||||
signal.signal(signal.SIGINT, _on_signal)
|
||||
signal.signal(signal.SIGTERM, _on_signal)
|
||||
asyncio.run(main_async(args.minutes))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user