jack/Chan
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
297 Commits 9 Branches 1 Tag
75fbf4167b24b1d878fb9e8c6600531266ba2090
Commit Graph
14 Commits
Author SHA1 Message Date
jackandCursor 75fbf4167b 修掉 gzip 追加会毁掉整个文件的数据丢失，并分开买卖两侧的成交分布曲线 
两件事，都是「静默出错」那一类。

一、BookLog/TapeLog 追加到同一个 .gz，进程被 SIGKILL 时当前成员停在 deflate
块中间，下一轮追加的新成员接在垃圾字节之后。顺序解压在损坏点抛 invalid
block type，该点之后全部读不出来——包括后续每轮写进去的。而读侧的异常处理
把这个当成「正常的尾部截断」静默跳过，于是只读出 21 行还不报错。
原 docstring 里写的「只丢最后一个缓冲块，不会毁掉整个文件」是错的，已证伪。

写侧改成每轮运行一个文件；读侧按 gzip 成员边界扫描、坏成员单独跳过并出声
报告，同时把同前缀的多轮文件一并读入。旧损坏文件因此多恢复出 31/21 条
（tape）与 132/95 条（books）。

二、tape_shape 只统计主动买、只自区间顶部累积，这条曲线只适用于多头止盈。
exit_fill 两侧共用它，等于把空头的可成交量按多头分布高估。实测二者不对称：
主动买在顶部 20% 内已占 40%，主动卖在底部 20% 内只有 18%。分成 SHAPE_F 与
SHAPE_F_SHORT，avail_at 按方向查各自曲线。

两条曲线只有 45 根成交流样本，所以补了 --sensitivity：把空头可成交量砍一半，
10 万仓位下 BTC/ETH 预算完全不动、SOL 动 0.07bp。结论不依赖这 45 根样本。
顺带撤掉 step43 docstring 里已作废的「成交率 30%/16%/1.5%」。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 03:23:07 +08:00
jackandCursor 54792fe015 把 compute_ms 拆成排队与纯计算，据此否掉换机器这个方向 
compute_ms 一直是「提交进程池到拿到结果」的墙钟时间，排队和纯计算混在一个
数里，所以「加核有没有用」只能靠猜——这也是原先打算在 AWS 开第二台比 CPU
的依据。

worker 内部自己计时，连同父进程传入的提交时刻一起回传，拆出 queue_ms 与
inner_ms。实测中位 3ms / 695ms：2 个 worker 跑 3 个币并不排队，因为三个币的
收盘消息错峰到达。瓶颈全在单线程，加核压不到。

顺带把 README 里的内存数据从臆测的 1.5GB 改成实测 410MiB，并注明跨站点比
CPU 收益有限。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 03:02:06 +08:00
jackandCursor 95f2b614a2 延迟瓶颈实测为本机 CPU 而非机房位置，跨站对比主指标改为 compute_ms 
用户指出本机选新加坡是因为 Bitget 机房在新加坡。查证下来 ws.bitget.com 解析
到的是 CloudFront（dxotqhr62n6z4.cloudfront.net），落在新加坡 AS16509
（Amazon），即连的是 AWS 的 CDN 边缘而非 Bitget 自有机房。

腾讯云 ap-singapore（AS132203）到该边缘实测：ICMP 往返 2.1ms、TCP 握手
3.3ms、TLS 完成 9.0ms、首字节 87.8ms。首字节减 TLS 那约 79ms 是 CloudFront
回源开销，与我们的位置无关。

延迟构成（33 根样本）：数据到达中位 506ms、信号计算中位 646ms、合计 1315ms。
随机房位置变化的只有那 2ms 往返，占总延迟 0.15%。而 646ms 的信号计算是每根
在 2000 根 1m 加 800 根 5m 上重建缠论结构，本机 2 核、2 个计算进程，三币同时
收盘时第三个还要排队——这才是有改善空间的一项。

因此：
- 新增 deploy/netprobe.sh，把网络那一段单独量出来并入运行元数据。用到达
  延迟去比两个机房等于用公斤秤称克，必须把可变的那段拿出来单独看。
- compare_sites.py 主指标改为 compute_ms，lag_data_ms 降为自检项（两站应当
  接近；若差很多，先怀疑时钟而非网络）。元数据表加 nproc/cpu_model/往返。
- README 改写：第二台机器该测 CPU 规格而非地理位置，WORKERS 按核数减一给，
  币数多于 worker 数时排队时间直接计入 compute_ms。

另修正站点标签：本机是腾讯云而非 Hetzner，sg-hetzner → sg-tencent，标错的
33 行数据已清掉重采。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 02:51:51 +08:00
jackandCursor 631d97e493 加跨地部署脚本与站点对比，数据全表加 site 列 
目的是在第二台机器（AWS）上跑一套完全相同的采集，看不同地理位置的数据差异。
滑点里最大的一项是延迟漂移，而延迟含网络传输，所以机房选址是可优化参数。

数据侧两处必需改动：

- 全部输出加 site 列（三张 CSV 加 gzip 里的盘口与成交流）。没有这一列，两台
  机器的数据合起来就分不清来源。为免四处 writerow 漏加一处产生静默空值，
  改在 _SiteWriter 里统一注入。
- start.sh 在时钟未同步或偏移超 10ms 时**拒绝启动**。所有延迟数字都是
  「本地时钟 − 交易所 K 线收盘」，时钟偏 50ms 就全部同向偏 50ms，且不报错，
  只会让跨地对比得出一个干净且完全错误的结论。

deploy/ 下四个文件：setup.sh（docker + chrony + 拉镜像）、start.sh（校验时钟、
写运行元数据、起容器）、status.sh（健康速查）、README。运行元数据记 git commit、
镜像摘要、时钟偏移——两地数据对不上时，这三项任一不同都足以解释差异。

compare_sites.py 做配对对比：只取各站都有的 K 线（不取交集可能在比不同时段，
而延迟对市场活跃度敏感），并报配对差的符号占比而非两个中位数相减。已用注入
120ms 的合成数据验证能精确还原。另有一条自检：同一固定延迟点上两站漂移应当
相同——漂移是市场性质，若也差很多则先查时钟与时段对齐。

status.sh 里按列名取字段下标而非写死数字：加 site 列时字段整体右移过一次，
写死 $8 会静默变成读 lag_signal_ms 而非 lag_data_ms。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 02:39:47 +08:00
jackandCursor 01c4a4ab4d 主口径仓位定为 10 万 USDT，并量出限价单前方的排队量 
用户 2026-08-28 确认资金规模不会更大，故仓位档改为 25k/50k/100k/200k
（上下留档是为了读出局部斜率，单点看不出再大一倍会怎样）。该规模下两条
约束都不绑定：冲击占预算 0.1~11.1%，成交量效应使预算降幅不足 1%。

新增 queue_ahead：排队是唯一还没建模的成本项，exit_fill 假定我们能吃到该
价位的全部对手方成交量。10 万仓位相对最优档为 BTC 0.2 倍、ETH 0.7 倍、
SOL 69.7 倍。SOL 畸高是 tick 更细所致（同样的量摊到约 10 倍价位上），
对它应看 5bp 档（0.17 倍），但仍是三币中排队压力最大者。

同时在 shadow_depth 模块头标注：composite_fill 只算首次触及那一根的可成交
量，系统性偏悲观，不作为成交率结论——真实成交率见 lib/exit_fill.py。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 02:39:47 +08:00
jackandCursor 28075173af 出场模型改为按成交量结算止盈限价单，并出预算对仓位规模的曲线 
exit_model.walk_exits 给止盈记的毛收益是 target*a/entry，即假定限价单全额
成交在目标价。新增 lib/exit_fill.py：两张挂单常驻（半仓 3ATR、半仓 8ATR），
每根按该根在限价之上的可成交量逐步吃进，未成交部分继续持有，止损触发时
市价平掉剩余。可成交量 = 形状函数 f(k) × 该根主动买成交额，f 由影子成交流
实测（近似线性，即区间内均匀分布，故结论对形状假设不敏感）。

结果：预算对仓位规模远比预期稳健。到 100 万名义额，BTC 10.97→10.69、
ETH 15.34→15.20、SOL 17.21→15.83bp。原因是挂单常驻多根而非只在首次触及
那一根成交，且价格决定性穿过限价时整根成交量都可用。

首版实现有个静默 bug 值得记：avail_above 里有个 `hi <= 0` 的守卫，而空头
用「价格取负」处理，负价格空间里 hi 恒为负——所有空头挂单的可成交量一律
判 0，空头全被拖到 48 根超时收盘。下跌段里那比 3ATR 目标赚得多，于是预算
反而偏高 0.76bp，表现为「一个看似合理的模型差异」。已改为显式方向参数，
并加 assert_converges：仓位趋近 0 时必须逐笔收敛到 walk_exits，不符即抛错。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 02:39:47 +08:00
jackandCursor 181bca303f 影子测量改用框架吃单原语，并补齐容量与 maker 成交率两项测算 
吃单查询换成 Hummingbot 的 OrderBook.get_vwap_for_volume：手写的 walk_book
返回的是按计价币吃单的加权均价，但框架的 get_price_for_quote_volume 返回
边际价、get_vwap_for_volume 收基础币量，两者语义不同。改为按基础币下单
（真实委托与 PositionExecutor.amount 均是基础币计价），深度不足由
query_volume/result_volume 判定，框架此时返回 nan 而非一个看似正常的
部分成交均价。

落盘完整盘口（双边 50 档）。此前只记三个固定名义额的成交价，这批数据的
寿命就等于那几个档位的寿命；存完整深度后任意资金量级的冲击都能离线重算。
仓位档同时从 1k/5k/20k 提到十万量级，此前低估真实仓位约两个数量级。

订阅成交流，按根按价位聚合。买卖分开存——多头在目标位挂卖出靠主动买盘
成交，混在一起会把成交率高估约一倍。BTC 每根总成交额中位与 210 天历史
的 volume×close 差 0.3%，可确认采集完整。

新增两项测算：
- 冲击不是绑定约束。32 万仓位单边冲击 0.19~2.39bp，对 8.58~20.64bp 的
  预算只占 1.6~14.2%，冲击反推的资金上限 100~500 万。
- maker 成交率才是。止盈位被首次触及时，限价在该根价格区间中的位置
  中位 k=0.28（63.9 万次触及，三币一致）；合并每根成交额后，32 万仓位
  的全额成交率仅 30.1%/15.6%/1.5%。要 80% 全额成交，仓位须 ≤ 4.7 万
  /1.4 万/0.26 万——比冲击反推的上限低 40~370 倍。

回测把这些止盈按「全额成交在目标价」计，故预算所依据的收益流本身需重估。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 02:39:47 +08:00
jackyu66gitandCursor 6259f7380b research: 重算新出场口径下的并发，并修正「各笔基本独立」的说法 
分批出场把 1m 平均持仓从 9.9 根拉到 29 根，§3.3 的并发数字是旧口径的。
重算后 8 币组合平均并发 0.043→0.120、有仓位时间 4.0%→10.2%，峰值仍是 6。

更要紧的是顺带查出来的相关性：同一小时内有 ≥2 个币发信号的时段占 20.9%，
其中 92.7% 方向完全一致。所以「有仓位时间低 → 各笔基本独立」这个推理不成立
——时间上不重叠不等于统计上独立。t 值有一定虚高（不足以推翻，t 在 43 以上），
但更实际的后果是：加币不产生分散，仓位不能按「1% × N 个币」线性放。

用户问「整个市场都是正相关的，是不是很少有独立行情」。市场相关是真的，
但这不是伪装成策略的 beta：多空各占 50.7% / 49.3%，做空 PF 4.40 还略好于
做多 4.05，所有时段净方向合计仅 +185 笔。分年看，2021 大牛年做空的 PF 5.34
是整张表最高的一格，七年里没有一年、没有一个方向是亏的。空头占比随行情
切换（牛市 46.5% → 熊市 55.9%）。

所以 92.7% 同向该理解为「检测器正确识别到全市场级别的结构」——若 6 个币
同时发信号却方向随机，那才说明信号是噪声。

另补 3.33 扩币筛选：ATR 对门控阈值与流动性是两条方向相反的约束，最优区间
在中间。BTC 输在波动不够（ATR 中位 2026 仅 6.5bp，预算垫底），TRX 2026 门控
后只剩 4.2% 信号。保证金约束那条待办从「预计影响小」改为扩币前置条件。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 00:45:32 +08:00
jackyu66gitandCursor 32c18f0201 research: 1m 出场口径重定、费率修正，与影子测量的判据常数 
起因是用户看图指出「止盈没做好」，查下来 TP=3.0 确实把右尾截早了，
而且 1m 不该沿用 5m/15m/30m 的参数——成本固定在 bp、目标随 ATR 缩放，
1m 的 3 ATR 只有 0.39% 而 30m 是 1.87%，成本占比差 5 倍。

step41（5m/15m/30m）与 step42（1m）跑同一张全网格：
SL × TP × MAX_BARS × 分批（3 ATR 减半 → 剩余目标 × 剩余半仓止损位）。

- 1m 最优 SL2 / 3ATR 减半 / 剩余止损保持 2.0 / 目标 8ATR / 48 根，
  样本外 8/8 币、7/7 年全面提升，均R/R夏普/回撤/剔10%PF 四项全赢
- 分批要做，但**减仓后不要动止损**。止损位 0/0.5/1/1.5/2 ATR 严格单调，
  越紧越差，三组初始 SL 全一致。保本损是全表最差的一档
- SL=1.0 在 1m 上是废的：剔10%PF 0.78~0.99、中位收益 −0.122%

费率此前写的 taker 3bp / maker 1bp 隐含「原始 taker 6bp」的错误前提，
实际是原始 taker 0.040% / maker 0.016%、返 50% 后 2.0 / 0.8bp。方向是保守的，
所以首轮跑出来的数字全部偏低。exit_model 已改，费率只在分析阶段套用，
不必重跑模拟。改完 1m 的均R +8%，5m/15m/30m 只动 2%——费率只对 1m 有杠杆。

顺带查证了用户的一个假设：余量逐年递减是不是跟波动率有关。成立，而且
r = +0.989。毛/ATR 七年在 2.26~2.67 之间没有趋势，衰减的是 ATR 本身
（2021 的 22.1bp 压到 2026 的 8.8bp）。**是波动率压缩，不是 alpha 衰减。**

由此引出 ATR 门控：低 ATR 桶的毛 R 其实最高（1.16 vs 高 ATR 桶的 0.94），
断崖只在扣费之后出现。所以阈值是**费率的函数**（约 5 + 1.1×taker费），
不是市场常数。当前费率下 ≥8bp，在 5m/15m/30m 上几乎不触发，可作全局规则。

lib/shadow_budget.py 放影子测量要对照的常数：逐币预算、门控阈值、
腿→maker/taker 映射、lag 阈值、判据。记录与报表归 research/live/，
分工的理由是这些数会变——今天预算就动了四次。

out/*.feather 转为 ignore：70MB+ 且重跑可得，摘要都在 HANDOFF。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 00:05:56 +08:00
jackyu66gitandCursor 9b72173285 feat: 第四类买卖点（B4/S4）融入缠论引擎与 web 展示 
研究侧的 fast_bsp3 一直只活在 research/lib/ 里，web 端看不到，回测与目视
两条线对不上。这次把它搬进引擎，作为独立的第四类买卖点。

之所以单独立类而不是当作 B3/S3 的低滞后版：step30/31 显示引擎原生的
B3/S3 统计上呈逆势、显著亏损（胜率 27.4%、PF 0.66、t −18.76），而同一组
过滤器把 B4 从 PF 1.59 提到 2.26 却对它无效（0.66→0.71）。两者选的是
不同的交易群体，不是同一信号的早晚两版。

- chanlun/analysis/fast_bsp.py 原样搬入 find_fast_bsp3 与 build_htf_zones，
  另加 add_zone_ladder / htf_fx_timeline / attach_htf_agree
- research/lib/ 两个模块改为转发，所有 step 脚本导入不变，信号逐条比对一致
- 大级别上下文用 resample 从同一份 df 构建，不额外拉数据，因此与界面上选的
  周期和时间范围无关
- 前端三个复选框 + 过滤模式下拉；未过滤的原始信号用浅色，避免与主口径混淆

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-28 00:05:26 +08:00
UbuntuandCursor 7e339d2a54 research: 影子交易器落在 Hummingbot 上，并修掉 Bitget 连接器的换根延迟 
1m 腿的滑点余量只有几个 bp，所以要测的必须是生产路径的滑点——换个运行时
测出来的数就不作数。框架因此从「滑点已知后再定」提前到测量阶段就定为
Hummingbot（Spot/Perp 连接器均 v2.0，Bitget 是 Foundation Partner）。

新增 research/live/。前置测量：

- bench_compute.py 本机算力，1m 单币 0.318s、三币串行 1.38s
- venue_parity.py Binance 与 Bitget 同根信号重合仅 14.6~42.6%
- signal_sensitivity.py 0.25bp 扰动就换掉一半信号
- aggregate_robustness.py 但总体期望不降——脆的是信号身份，不是 alpha
- bitget_baseline.py 因此改用 Bitget 原生基线定预算：余量 BTC -0.13bp、
  ETH +4.02bp、SOL +2.92bp。BTC 本就为负，只作延迟测量的参照物

运行时选型：

- parity_env.py 容器与本机信号逐一相同（下标、中枢数、checksum 全等），
  容器内 0.26s/币反而更快。故 chanlun 直接挂载进容器，不必另起信号服务。
  装进现有 .venv 那条路走不通：Hummingbot 要 numba>=0.61.2 与
  aiohttp<3.14，与本机 Python 3.14 冲突
- latency_ccxt.py / latency_hummingbot.py / latency_compare.py 初测显示
  Hummingbot 比 ccxt.pro 慢约 1030ms，90 根逐根配对里 80~97% 更慢
- probe_ws_action.py 否掉「丢弃 snapshot」的猜测：换根首条就是 update
- probe_hb_vs_raw.py 与 latency_attribute.py 四路归因——容器网络 2~18ms、
  Hummingbot 处理 -10~-30ms，1350~1480ms 全落在解析方式上
- probe_ws_payload.py 定位根因：Bitget 换根会推一条带两根的消息
  [上一根, 新一根]，而上游取 data["data"][0] 拿到的是上一根，新一根要等
  下一条单元素消息

修复：

- patched_candles.py 处理消息里的全部元素。不能简单改成 [-1]——那样上一根
  的收盘价会永远停在换根前约 1 秒的那次推送上，而信号对 0.25bp 都敏感
- verify_patch.py 60 根配对验证：拿回 1060~1090ms，与原始 WS 只差 5~14ms
  已贴理论下限，19 根已收盘 K 线 OHLCV 逐根未变。折算 ETH 省 0.54bp、
  SOL 省 0.42bp。此 bug 值得向上游反馈

影子交易器：

- shadow_hb.py 不下单，读连接器真实盘口按仓位吃单深度算成交价，与次根开盘价
  （回测 entry_delay=1 的口径）相减，分解成延迟漂移、盘口价差、深度冲击。
  盘口 10Hz 滚动缓冲 30 秒，把延迟变成自变量：每个信号记 0.5/1/2/5s 与实际
  算完时刻各一个滑点值，本机算得慢也不影响能读出的曲线
- shadow_signal.py 信号计算隔离到子进程。0.26s 是纯 CPU 且 chanlun 受 GIL
  限制，放进 asyncio 循环会把行情处理一起卡住
- shadow_report.py 首日延迟门槛与滑点曲线报表

不用 paper trade 测滑点：它的成交由 Hummingbot 自己的撮合模型模拟，
测出来是模型行为而非市场行为。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-27 23:51:57 +08:00
jackyu66gitandCursor 66061f79a1 research: 低滞后信号口径定稿与实盘前偏差审计 
fast_bsp3 改用 tol=-1 + require_touch=False，信号滞后从 5.8 根降到 2.2 根。
滞后与收益严格单调（年化 370% -> 906%，同一份数据同一套成本），
这是本轮提升的主因，也意味着实盘延迟会直接侵蚀收益。

新增 step31~39 验证策略能否落地：
- 跨品种样本外——8 个未参与调参的币，PF 2.73 / t 28.5，无一为负
- 时点重建——只喂到信号那一根重算，同根命中 100%，确认无未来函数；
  1m 在 2000 根窗口即饱和，计算耗时 0.20s
- 偏差审计——多空对称、中枢生效时刻零回退、滑点稳健至 30bp、持仓几乎不重叠
- 消融——alpha 来自缠论中枢的上下文定位，而非「收盘转强」这个触发动作

补 research/HANDOFF.md：记录确切口径与参数、已排除的偏差、
已验证无效因而不必重做的方向，以及下一步用影子交易器实测执行滑点的方案。

清理 step1~20 的输出：早期方法论已被推翻（存在未来函数偏差），
其结论不再被引用；脚本保留，需要时可重跑。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-27 17:47:41 +08:00
jackyu66gitandCursor 7f393b93ed refactor: 精简仓库为 chanlun 核心与 web 分析，移除威科夫与遗留模块 
删除根目录旧 Chan 模块、策略、配置、文档及 wyckoff 相关代码；更新缠论 pipeline 与笔中枢计算；补充 research 研究与 web 测试。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-27 01:05:12 +08:00
jackyu66gitandCursor 8ee11317d3 fix(web): 自动刷新保留 K 线视窗；威科夫与图表增量更新 
自动刷新改用 tail update 与 scrollToPosition 恢复视窗，避免 setData 后跳到最右；拆分 chart_tv 模块并扩展 analyze/recent API。同步威科夫分析、pipeline 增量构建及相关策略与配置。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-08-25 22:57:43 +08:00