jack/Chan
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

缠论引擎提速 2.6x，瓶颈是逐行 Series 查找而非指标计算

Browse Source 
原以为浪费在 add_indicators 算了太多用不到的指标，实测它只占全量构建的
1.3%——talib 是向量化 C 代码，便宜。真正的两处：

cal_kl_data 占 96%：每根 K 线 df.iloc[i] 新建一个 40 列 Series，再在其上做
几十次逐键查找。改为预取 ndarray 后 2 万根 1946ms → 824ms。

ChanKLC.cal_all_ema_status 占 25%：每次合并 KLU 都立即重算，而它产出的
ema_status / ema52_pos / ema52_status 全仓无任何读取方（含前端）。改为惰性
求值，保留属性形式以防将来有人读。顺带删掉 get_klc_list 里累加一整轮后直接
丢弃的 ema_up_list / ema_down_list。

另加 TF_DF(lean=True)：只构建到中枢，跳过线段/走势中枢/MACD 状态机——这些
只服务 bsp_list 与 web 展示，笔和中枢不依赖。研究与实盘走这条快 3.6x。

结果 2 万根 5m：full 1946 → 754ms，lean → 543ms。

step46_engine_parity.py 是配套的安全网，改引擎前先跑一次 --save。它对 KLC
端点与分型、笔起止价与 is_sure、中枢 zg/zd/available_ts/阶梯、信号全部输出列，
以及 26 个被下游消费的 dataframe 列取哈希。本次三处改动逐步验证，另用
git stash 切回改动前代码在 20 万根 × 5 用例上做了跨版本逐位对拍，全部一致；
增量路径与 web API 也各验一遍。

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
jackyu66git
2026-08-28 04:04:44 +08:00
co-authored by Cursor
parent 3b14bba247
commit 0b4d7693b8
7 changed files with 1300 additions and 80 deletions
Download Patch File Download Diff File Expand all files Collapse all files
chanlun/core/ChanKLU.py
+33 -20
View File
@@ -160,27 +160,40 @@ class ChanKLU:
return False
else:
return True
# 属性名 ← dataframe 列名。两条赋值路径（逐行 Series / 预取 ndarray）共用这张表，
# 免得将来加指标时只改一处、另一处静默漏掉。
INDICATOR_FIELDS = (
('macd', 'macd'), ('signal', 'macdsignal'), ('macdhist', 'macdhist'),
('ema26', 'ema26'), ('ema52', 'ema52'), ('ema24', 'ema24'),
('ema104', 'ema104'), ('ema156', 'ema156'), ('ema208', 'ema208'),
('ema13', 'ema13'), ('ema7', 'ema7'), ('ema5', 'ema5'),
('rsi', 'rsi'), ('volume_ratio', 'volume_ratio'),
('bb52upper', 'bb52upper'), ('bb52lower', 'bb52lower'),
('bb2633upper', 'bb2633upper'), ('bb2633lower', 'bb2633lower'),
('bb2633middle', 'bb2633middle'), ('ma5', 'ma5'),
)
def set_indicators(self, item):
self.macd = float(item['macd']) if 'macd' in item and item['macd'] else 0
self.signal = float(item['macdsignal']) if 'macdsignal' in item and item['macdsignal'] else 0
self.macdhist = float(item['macdhist']) if 'macdhist' in item and item['macdhist'] else 0
self.ema26 = float(item['ema26']) if 'ema26' in item and item['ema26'] else 0
self.ema52 = float(item['ema52']) if 'ema52' in item and item['ema52'] else 0
self.ema24 = float(item['ema24']) if 'ema24' in item and item['ema24'] else 0
self.ema104 = float(item['ema104']) if 'ema104' in item and item['ema104'] else 0
self.ema156 = float(item['ema156']) if 'ema156' in item and item['ema156'] else 0
self.ema208 = float(item['ema208']) if 'ema208' in item and item['ema208'] else 0
self.ema13 = float(item['ema13']) if 'ema13' in item and item['ema13'] else 0
self.ema7 = float(item['ema7']) if 'ema7' in item and item['ema7'] else 0
self.rsi = float(item['rsi']) if 'rsi' in item and item['rsi'] else 0
self.volume_ratio = float(item['volume_ratio']) if 'volume_ratio' in item and item['volume_ratio'] else 0
self.bb52upper = float(item['bb52upper']) if 'bb52upper' in item and item['bb52upper'] else 0
self.bb52lower = float(item['bb52lower']) if 'bb52lower' in item and item['bb52lower'] else 0
self.bb2633upper = float(item['bb2633upper']) if 'bb2633upper' in item and item['bb2633upper'] else 0
self.bb2633lower = float(item['bb2633lower']) if 'bb2633lower' in item and item['bb2633lower'] else 0
self.bb2633middle = float(item['bb2633middle']) if 'bb2633middle' in item and item['bb2633middle'] else 0
self.ma5 = float(item['ma5']) if 'ma5' in item and item['ma5'] else 0
self.ema5 = float(item['ema5']) if 'ema5' in item and item['ema5'] else 0
"""单根赋值。增量追加时每次只有一根，走这条即可。
原写法是 `float(item[c]) if c in item and item[c] else 0`。其中的真值判断
是空转：值为 0.0 时 float(0.0) 仍是 0，值为 NaN 时 NaN 为真值、照样透传。
唯一起作用的是「列不存在则填 0」，所以这里只保留那一层。
"""
for attr, col in self.INDICATOR_FIELDS:
v = item[col] if col in item else 0
setattr(self, attr, float(v) if v else 0)
def set_indicators_from(self, cols, i):
"""从预取的 {列名: ndarray} 按下标赋值，语义与 set_indicators 相同。
全量构建时用这条：避免每根 `df.iloc[i]` 构造一个 Series，再在其上做
几十次逐键查找——那是 TF_DF 构建 96% 的耗时所在。
"""
for attr, col in self.INDICATOR_FIELDS:
arr = cols.get(col)
v = arr[i] if arr is not None else 0
setattr(self, attr, float(v) if v else 0)
def cal_macd_state(self):
# 按定义精简实现：优先级 CROSS0 > 位置(HIGH/HE/RETURN_ZERO) > NEAR0 > UNKNOWN
# 首条或缺前一根