A-SHARE · POINT-IN-TIME · FROZEN WEB
A-share Reasoning Radar
PITFALL 的历史 A 股回放:测试 agent 能否从当时可见的资料中核对事实、 形成判断,而不是背诵一条财务口诀。
开发诊断,不是正式排名。
数据现已规整为自包含 Markdown points;本页保留旧 run 的概率诊断,
不能排除题库污染,且当前每题仅运行一次。
01 · PROBABILITY QUALITY
不同任务上的 Brier loss
02 · FAILURE SURFACE
模型在哪些财务逻辑族失分
03 · CASE AUDIT
逐题概率与实际结果
FORMAL RANKING GATE
还没有成熟且合格的 sealed suite
正式榜单不会从公开历史题的单次运行生成。首个 hard suite 需要在结果发生前完成预注册、 外部时间戳和完整运行封存,并等待所有 outcome 成熟。
- Cases
- ≥ 6
- Families
- ≥ 3
- Cases / family
- ≥ 2
- Models
- ≥ 2
- Repeats
- ≥ 3
- Primary metric
- Mean Brier loss