jackandCursor
335d891478
实盘要跑在 AWS（API key 绑了 IP 白名单），而信号在新加坡那台算。借这次 把生产从研究侧摘出来，四条具体代价里第一条已经咬过： 1. live_state.json 原先落在 research/out/，而那里 shadow_hb 会自动 rename 归档、研究脚本会写、人也手工清过。那文件装的是 MAX_DAY_LOSS 累计与已 处理信号键，被清掉不报错，只是两道闸静默失效。改到 LIVE_HOME。 2. 采集器十币清空 300~560ms 直接叠在信号到达执行器的延迟上。 3. 研究侧探针 OOM 过一次（14.9GB），当时若有仓位在场会连坐执行器。 4. 为读两个常量 import 研究侧 step43，把 numpy/pandas/pyarrow 拖进实盘 进程。抽出 stdlib-only 的 live/exit_params.py，install.sh 加断言挡回归。 新增 live/ship_signals.py：AWS 侧 ssh tail 拉总线，每次重连从文件头重放 + 按幂等键去重，断线期间的信号自愈；旧信号由 staleness 闸挡掉不补做。 带时钟倒流检测——两机时钟不同步会让那道闸静默放宽。 部署件：systemd 两单元（搬运挂了执行器仍管在场仓位的超时平仓）、 install.sh、dryrun.sh（验密钥/白名单/时钟/ssh/取整）、status.sh、README。 验证：live_exec 重构后端到端空跑，SOL 多头与 ADA 空头的止损/两级止盈/ 数量取整逐项核对正确，isolated + post_only + reduceOnly 都在；搬运的去重、 重启不重复追加、脏数据跳过、断线重连重放均已测。 Co-authored-by: Cursor <cursoragent@cursor.com>
158 lines
7.1 KiB
Bash
Executable File
158 lines
7.1 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# 启动影子采集器。跑之前先 setup.sh。
|
||
#
|
||
# SHADOW_SITE=aws-tokyo bash research/live/deploy/start.sh
|
||
# SHADOW_SITE=aws-tokyo HOURS=168 WORKERS=2 bash research/live/deploy/start.sh
|
||
#
|
||
# 为什么 SHADOW_SITE 必填：它写进每一行数据，是两台机器的数据合起来之后
|
||
# 唯一的来源区分。缺了就只能靠文件路径猜，一合并就分不清了。
|
||
#
|
||
# 为什么时钟不同步就拒绝启动：所有延迟数字都是「本地时钟 − 交易所 K 线收盘
|
||
# 时间戳」。时钟偏 50ms，全部延迟就凭空偏 50ms，而这**不会有任何报错**，
|
||
# 只会让跨地对比得出一个完全错误的结论。这类静默错误必须在启动就挡掉。
|
||
set -euo pipefail
|
||
|
||
NAME="${NAME:-shadow}"
|
||
# lean 模式让 TF_DF 只构建到中枢，跳过线段/走势中枢/MACD 状态机。等价性由
|
||
# verify_lean_parity.py 在影子这条路径上逐根验过（180 窗口 / 90 命中零分歧）。
|
||
# 设 0 可退回 full，用来复量两模式的耗时差。
|
||
SHADOW_LEAN="${SHADOW_LEAN:-1}"
|
||
# 币池。默认三个流动性最好的做滑点测量；十币池是实际要交易的那批（TRX 剔除，
|
||
# ATR 门控几乎全刷掉）。
|
||
#
|
||
# 币数超过核数时排队会成为主项：所有币同一秒收盘。此时**加 worker 没用**
|
||
# ——CPU 密集的活，worker 超过核数不增吞吐，只会把等待从 queue_ms 挪到
|
||
# inner_ms。增量路径（SHADOW_INCR=1，默认开）已把清空压到 300~560ms。
|
||
#
|
||
# 再往下压的顺序见 HANDOFF §5.72（口径对齐后的实测）：单币 inner 100ms ≈
|
||
# 信号链 30ms + 追加 2.81 根 37ms + 2 核争抢 33ms。争抢只有 1.49x，所以
|
||
# **加核收益有限**；最便宜的一刀是按币绑定 worker（现在 symbol 随机落
|
||
# worker，每份缓存都漏掉对方处理过的根，于是人人要追 2.81 根而非 1 根）。
|
||
SYMS="${SYMS:-BTC,ETH,SOL}"
|
||
IMAGE="${SHADOW_IMAGE:-hummingbot/hummingbot:latest}"
|
||
HOURS="${HOURS:-168}"
|
||
WORKERS="${WORKERS:-2}"
|
||
MAX_OFFSET_MS="${MAX_OFFSET_MS:-10}"
|
||
|
||
REPO_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/../../.." && pwd)"
|
||
OUT="$REPO_ROOT/research/out"
|
||
# 信号总线的宿主机目录。**刻意放在仓库外**：这是交给实盘执行器（另一台机）的
|
||
# 交接点，而仓库会被 git checkout/clean 动。执行器那台用 ssh tail 拉这个文件，
|
||
# 所以它也不能在容器内部，必须挂出来
|
||
BUS_DIR="${BUS_DIR:-$HOME/chan-live/state}"
|
||
|
||
die() { printf '\033[31m错误：%s\033[0m\n' "$*" >&2; exit 1; }
|
||
say() { printf '\n\033[1m==> %s\033[0m\n' "$*"; }
|
||
|
||
[[ -n "${SHADOW_SITE:-}" ]] || die "必须设 SHADOW_SITE，例如 SHADOW_SITE=aws-tokyo。
|
||
它写进每一行数据，是跨地对比时区分来源的唯一依据。"
|
||
|
||
say "站点 $SHADOW_SITE"
|
||
|
||
mkdir -p "$BUS_DIR"
|
||
# 容器内是 root，写出来的总线文件宿主机上归 root。执行器那台用普通用户
|
||
# ssh 过来 tail，所以目录要可进入、文件要可读
|
||
chmod 755 "$BUS_DIR" 2>/dev/null || true
|
||
echo "信号总线：$BUS_DIR/signals_live.jsonl（容器内挂成 /bus）"
|
||
|
||
say "校验时钟同步"
|
||
offset_ms=""
|
||
if command -v chronyc >/dev/null 2>&1; then
|
||
if ! chronyc tracking >/dev/null 2>&1; then
|
||
die "chrony 没在跑。先 sudo systemctl start chrony（或 chronyd）"
|
||
fi
|
||
# System time 那行形如 "0.000058703 seconds fast of NTP time"
|
||
line="$(chronyc tracking | grep '^System time' || true)"
|
||
secs="$(awk '{print $4}' <<<"$line")"
|
||
offset_ms="$(awk -v s="$secs" 'BEGIN{printf "%.3f", s*1000}')"
|
||
echo "$line"
|
||
leap="$(chronyc tracking | awk -F': *' '/Leap status/{print $2}')"
|
||
[[ "$leap" == "Normal" ]] || die "chrony leap status = $leap，尚未收敛。等几分钟再试"
|
||
over="$(awk -v o="$offset_ms" -v m="$MAX_OFFSET_MS" 'BEGIN{print (o>m)?1:0}')"
|
||
[[ "$over" == "0" ]] || die "时钟偏移 ${offset_ms}ms 超过阈值 ${MAX_OFFSET_MS}ms。
|
||
所有延迟测量都会同向偏这么多且不报错，跨地对比会得出错误结论。
|
||
先等 chrony 收敛，或调 MAX_OFFSET_MS（不建议）。"
|
||
echo "偏移 ${offset_ms}ms，在 ${MAX_OFFSET_MS}ms 阈值内"
|
||
elif command -v timedatectl >/dev/null 2>&1; then
|
||
timedatectl | grep -qi 'synchronized: yes' \
|
||
|| die "系统时钟未同步。装 chrony：见 setup.sh"
|
||
echo "timedatectl 报已同步（无 chronyc，拿不到具体偏移）"
|
||
else
|
||
die "既无 chronyc 也无 timedatectl，无法确认时钟。装 chrony 后再启动"
|
||
fi
|
||
|
||
say "检查镜像"
|
||
docker image inspect "$IMAGE" >/dev/null 2>&1 || die "没有镜像 $IMAGE，先跑 setup.sh"
|
||
digest="$(docker image inspect "$IMAGE" --format '{{if .RepoDigests}}{{index .RepoDigests 0}}{{end}}' 2>/dev/null || true)"
|
||
|
||
say "停掉旧容器"
|
||
docker rm -f "$NAME" >/dev/null 2>&1 || true
|
||
|
||
mkdir -p "$OUT"
|
||
|
||
say "量网络距离"
|
||
netprobe="$(bash "$(dirname "${BASH_SOURCE[0]}")/netprobe.sh" 2>/dev/null || echo '{}')"
|
||
echo "$netprobe" | grep -E 'edge_org|self_org|self_city|icmp_min_ms|tcp_connect' || true
|
||
|
||
# 运行元数据。两地数据对不上时，先看这个文件——镜像摘要、代码版本、时钟偏移
|
||
# 三者任一不同都足以解释差异，不必去猜。网络探测并在这里，因为「换机房能省
|
||
# 多少」这个问题只有它能回答（到达延迟里网络只占约 2ms，用它比等于用公斤秤称克）。
|
||
meta="$OUT/run_meta_${SHADOW_SITE}.json"
|
||
cat >"$meta" <<EOF
|
||
{
|
||
"site": "$SHADOW_SITE",
|
||
"hostname": "$(hostname)",
|
||
"started_utc": "$(date -u +%Y-%m-%dT%H:%M:%SZ)",
|
||
"tz": "$(date +%Z%z)",
|
||
"clock_offset_ms": ${offset_ms:-null},
|
||
"git_commit": "$(git -C "$REPO_ROOT" rev-parse --short HEAD 2>/dev/null || echo unknown)",
|
||
"git_dirty": $(git -C "$REPO_ROOT" diff --quiet 2>/dev/null && echo false || echo true),
|
||
"image": "$IMAGE",
|
||
"image_digest": "${digest:-unknown}",
|
||
"hours": $HOURS,
|
||
"workers": $WORKERS,
|
||
"kernel": "$(uname -r)",
|
||
"nproc": $(nproc),
|
||
"cpu_model": "$(awk -F': ' '/model name/{print $2; exit}' /proc/cpuinfo 2>/dev/null || echo unknown)",
|
||
"mem_gb": $(free -g | awk '/^Mem:/{print $2}'),
|
||
"net": $netprobe
|
||
}
|
||
EOF
|
||
echo "元数据已写 $meta"
|
||
|
||
say "启动容器 $NAME"
|
||
docker run -d --name "$NAME" -w /home/hummingbot \
|
||
--restart unless-stopped \
|
||
-e PYTHONPATH=/home/hummingbot:/repo/research:/repo/research/live:/repo \
|
||
-e SHADOW_SITE="$SHADOW_SITE" \
|
||
-e SHADOW_LEAN="$SHADOW_LEAN" \
|
||
-e SHADOW_INCR="${SHADOW_INCR:-1}" \
|
||
-e TG_TOKEN="${TG_TOKEN:-}" \
|
||
-e TG_CHAT="${TG_CHAT:-}" \
|
||
-e TG_NOTIONAL="${TG_NOTIONAL:-500}" \
|
||
-e TG_LEVERAGE="${TG_LEVERAGE:-10}" \
|
||
-e TG_STALE_S="${TG_STALE_S:-90}" \
|
||
-e SIGNAL_BUS=/bus/signals_live.jsonl \
|
||
-v "$REPO_ROOT:/repo:ro" \
|
||
-v "$OUT:/out" \
|
||
-v "$BUS_DIR:/bus" \
|
||
--entrypoint /opt/conda/envs/hummingbot/bin/python \
|
||
"$IMAGE" /repo/research/live/shadow_hb.py \
|
||
--hours "$HOURS" --workers "$WORKERS" --syms "$SYMS" >/dev/null
|
||
|
||
echo "已启动。等启动自检（补丁断言 + 历史回填，约 60 秒）…"
|
||
sleep 45
|
||
docker logs "$NAME" 2>&1 | tail -12
|
||
|
||
cat <<EOF
|
||
|
||
看日志： docker logs -f $NAME
|
||
看状态： bash research/live/deploy/status.sh
|
||
停止： docker rm -f $NAME
|
||
|
||
启动日志里应能看到：
|
||
[补丁] 覆盖生效 —— 换根解析补丁有效（缺了会静默慢 1.06 秒）
|
||
成交流已挂 [...] —— maker 成交率要用
|
||
就绪 … 根 —— 历史回填完成
|
||
EOF
|