#21299
混合
免费
强化学习Q-Learning选股策略
公式说明
AI生成
一句话概括：用强化学习（Q-Learning）的思路做选股，但通达信里只是用技术指标近似，选出低价低位、有动量且低波动的票。 核心买入逻辑：实际选股条件是Q_Buy且非Q_Sell。Q_Buy要求：收盘价低于20日均线5%以内（Price_Pos<0.95）、5日均线高于10日（动量正）、成交量超5日均量1.2倍，且20日波动率小于2%（低波动）。Q_Sell是价格偏离均线超5%且动量转负、波动大于3%。即低位企稳、放量、低波动时介入。 适合市场环境：震荡或温和上行、低波动环境，不适合高波动剧烈行情。 风险提示：通达信只是近似演示，真实Q表需外部Python训练，过拟合和信号失真风险高。
研究报告
{==============================================================
公式ID: 226
策略名称: 强化学习Q-Learning选股策略
公式类型: 选股公式
研究方向: 智能分析 - 强化学习
生成时间: 2026-06-22 12:18
版本: v1.0
适用场景: AI量化交易、自适应交易系统
风险提示: 模型训练需要大量历史数据，过拟合风险较高
==============================================================}
{—— 参数定义 ——}
N:=60; {训练窗口：60天 }
M:=20; {验证窗口：20天 }
Alpha:=0.1; {学习率 }
Gamma:=0.9; {折扣因子 }
Epsilon:=0.2; {探索率 }
{—— 状态空间定义（简化版，实际使用需Python训练） ——}
{状态1: 价格位置（相对20日均线）}
Price_Pos:=CLOSE/MA(CLOSE,20);
{状态2: 动量强度（5日vs10日均线）}
Momentum_Strength:=(MA(CLOSE,5)-MA(CLOSE,10))/MA(CLOSE,10);
{状态3: 成交量异常（相对5日均量）}
Volume_Anomaly:=VOL/MA(VOL,5);
{状态4: 波动率（20日收益率标准差）}
Daily_Return:=CLOSE/REF(CLOSE,1)-1;
Volatility:=STD(Daily_Return,20);
{—— 动作空间（离散化） ——}
{动作1: 买入（Q值 > 阈值）}
Buy_Signal:=Price_Pos<0.95 AND Momentum_Strength>0 AND Volume_Anomaly>1.2;
{动作2: 卖出（Q值 < -阈值）}
Sell_Signal:=Price_Pos>1.05 AND Momentum_Strength<0;
{动作3: 持有（不操作）}
{无信号 = 持有 }
{—— 奖励函数（简化版） ——}
{奖励 = 次日收益率 - 风险惩罚}
Next_Return:=REF(CLOSE,1)/CLOSE-1;
Risk_Penalty:=Volatility*2;
Reward:=Next_Return - Risk_Penalty;
{—— Q-Learning更新（伪代码，实际需在Python中训练） ——}
{Q(s,a) = Q(s,a) + Alpha * [Reward + Gamma * max Q(s',a') - Q(s,a)]}
{此处仅展示信号生成逻辑，完整训练过程需外部Python脚本 }
{—— 最终信号（基于预训练Q表） ——}
{假设已完成训练，加载Q表（简化：使用技术指标近似）}
Q_Buy:=Buy_Signal AND Volatility<0.02; {低波动率时买入 }
Q_Sell:=Sell_Signal AND Volatility>0.03; {高波动率时卖出 }
{—— 输出 ——}
选股: Q_Buy AND NOT Q_Sell;
{—— Warmup处理 ——}
{公式需要前59根K线（MA20 + STD20）}
Warmup_Bars:=59;
IF BARPOS<Warmup_Bars THEN 选股:=0;
{—— 可选：图形标记 ——}
DRAWICON(选股,LOW,'买'),COLORRED;
DRAWICON(Q_Sell,HIGH,'卖'),COLORGREEN;
{—— 风险提示 ——}
{本公式基于强化学习理论，实际效果取决于训练质量 }
{建议使用Python完整实现Q-Learning算法 }
{通达信公式仅用于信号演示，非完整训练系统 }
回测统计
胜率
---
平均收益
---
夏普比率
待验证
最大回撤
-0.0%
按市场状态分段表现
暂无市场状态数据