我眼中的模型评估

关注

原创最新推荐文章于 2026-02-23 00:22:51 发布 795 阅读 AI 写同款· GEO 优化 ›

我眼中的信用评分模型关于信用风险之前工作中涉及到信用风险，接下来几天就分享些我在信用风险建模领域的一些经验吧~ 推荐一本比较好的资料书-《信用风险评分卡研究-基于SAS的开发与实施》，书的核心内容为以逻辑回归为基础构建信用评分模型，如果将这本书的内... 阅读详情

模型验证样本是有要求的

模型验证样本需要与前面建模样本进行完全相同的处理，即：

模型的验证样本同样需要进行数据清洗、缺失值填充、分类变量WOE转换等处理；
在缺失值进行填补时，需要使用训练集的统计量而不是验证样本的统计量。例如训练集使用年龄的均值35岁作为填补缺失值，那么验证样本也应使用35作为填补缺失值，不可以随意进行缺失值的填补。

混淆矩阵有什么用

逻辑回归模型的几个衡量指标如洛伦兹曲线、ROC曲线、lift曲线等皆来源于混淆矩阵，如果针对同一个问题构建不同的模型，当进行模型间效果比较时，经常会用到这三个曲线。

不单单是逻辑回归模型具有混淆矩阵，只要因变量为离散形式的模型都具有混淆矩阵，混淆矩阵不是为逻辑回归模型设置的，而是为分类选择模型而设置的，连决策树与神经网络都会有混淆矩阵。

混淆矩阵中的数值是动态的数据，其中，A与D都是猜对的数据，理论上这两格中数据量越大越好，但是B与C的数据也是必不可少的，如果没有B与C部分的数据，则会造成过度拟合。一般，混淆矩阵会涉及到下面几个解读指数：

正确率=(A+D)/(A+B+C+D)，即猜对了比上总量；
灵敏度=A/(A+B)，即所有真实1中猜对的比例；
特异度=D/(C+D)，即所有真实0中猜对的比例；
命中率=A/(A+C)，即猜为1的数据中猜对的比例。

没人用决策树做信用评分模型

从模型稳定性角度来看，决策树不能做信用评分模型，原因涉及到决策树算法背后的搜索逻辑。决策树进行拆分时，其算法会以搜索的形式去寻找最优值，搜索的方式有穷举搜索与启发式搜索两种：

穷举搜索即设置一个很小的间隔，进行逐值扫描，速度较慢，R和SAS中一般会先设置5000次穷举；
启发式搜索为一种区间搜索，即将值分为不同区间，在区间内进行搜索。例如质数的搜索形式即为启发式搜索。

上面两种搜索形式，无论使用哪一种，都极有可能错过最优值，并非算法有问题，而是计算的方式存在问题，因此任何的统计软件都必须考虑截断误差，如果截断误差控制的不好，便很有可能会出现漏掉最优值的情况。

决策树最大的问题在于，每次计算规则都会发生变动，所以我经常在信用评分建模前用决策树进行风险分池，而绝不会用决策树去主导构建信用评分模型。何谓风险分池，举个例子，例如某个客户信用卡逾期，但是经查询发现该人为本地首富，那么可以断定该人违约可能并非出于本意，很可能是发生了意外的情况导致违约，风险分池就是将这样的人与老百姓分池分开。