易过拟合或产生不可预知的偏差。
他选择了更为稳健、透明,且便于迭代和调整的“多因子加权合成 + 状态机判别”的混合建模思路。整个过程,充满了试错、验证、再调整。
------
第一步:因子预处理与标准化
来自不同源头的数据首先需要进行清洗和预处理,消除极端值、处理缺失值。然后,是关键的标准化。他需要将不同量纲、不同取值范围的因子,映射到统一的、可比较的尺度上。
陆孤影没有使用简单的Min-Max归一化(缩放到0-1之间),因为某些指标(如涨跌停家数)的分布可能高度偏斜,且极值会随着时间推移而变化。他选择了基于滚动时间窗口的标准化。对于每个因子,计算其过去N个交易日(例如,N=60,代表一个季度)的滚动均值和滚动标准差,然后将当前值转换为“偏离其近期均值的标准差倍数”,即Z-Score。
例如:
当前上涨家数比例 = (当前值 - 过去60日该比例均值) / 过去60日该比例的标准差
这意味着,因子值表达的是“相对于近期正常水平,当前是异常的高还是低”。一个Z-Score为+2的因子,意味着其当前值比近期的平均水平高出2个标准差,处于统计学意义上的显著高位。这对于衡量情绪的“热度”或“冷度”非常直观。
他将所有连续型因子(如上涨家数比例、波动率、新闻情感得分、论坛关键词频率等)都进行了这样的处理。对于分类或计数型因子(如涨停家数、跌停家数),则采用类似的思路,计算其相对于近期滚动窗口内均值(或中位数)的偏离倍数。
处理后的因子,变成了一个个无量纲的、可比的、反映“偏离正常程度”的数值。
------
第二步:因子分类与情绪维度映射
接下来,他将预处理后的几十个因子,按照其反映的情绪倾向,分为两大类:
• 正向情绪因子: 当该因子值“异常高”时,通常对应市场情绪偏向贪婪、乐观、亢奋。例如:上涨家数比例(Z-Score高)、涨停家数(偏离倍数高)、融资买入占比(Z-Score高)、新闻积极情感比例(Z-Score高)、论坛“牛市”、“涨停”等贪婪关键词频率(Z-Score高)。
• 负向情绪因子: 当该因子值“异常高”时,通常对应市场情绪偏向恐惧、悲观、绝望。例如:
本章未完,请点击下一页继续阅读!