数据清洗：异常值检测方法

原创 已于 2024-04-23 20:18:38 修改 · 1k 阅读 · 2 GEO检测
于 2024-04-23 19:57:36 首次发布
本文介绍了数据清洗中异常值检测的三种方法：3σ原则适用于正态分布数据，Z_score利用标准差衡量数据点偏离程度，Boxplot则通过四分位数和四分位数间距识别异常值。这些方法在数据预处理中至关重要。

异常值检测方法总结

在这里插入图片描述

一、基于分布

1、3σ原则

3σ原则又称为拉依达法则。该法则就是先假设一组检测数据只含有随机误差，对原始数据进行计算处理得到标准差，然后按一定的概率确定一个区间，认为误差超过这个区间的就属于异常值。
  这种判别处理方法仅适用于对正态或近似正态分布的样本数据进行处理，如下表所示，其中σ代表标准差，μ代表均值，x=μ为图形的对称轴。
  数据的数值分布几乎全部集中在区间(μ-3σ,μ+3σ)内，超出这个范围的数据仅占不到0.3%。故根据小概率原理，可以认为超出3σ的部分数据为异常数据。
在这里插入图片描述在这里插入图片描述
代码：

import pandas as pd
标签
#python
了解本专栏 订阅专栏 解锁全文 超级会员免费看
常用的检测数据异常值方式，以及异常数据如何处理！！
qlkaicx的博客
01-13 3616
对数据进行异常值清洗有很多好提高数据质量：异常值可能是由于数据采集、录入或处理过程中的错误或异常情况导致的，这些值会严重影响数据的质量和可靠性。清洗掉异常值可以提高数据的准确性和一致性，为后续的数据分析和建模提供更好的基础。避免错误的结论：异常值可能会对数据分析产生很大的影响，尤其是对于一些依赖于数据分布和统计特性的分析方法。如果忽视异常值，可能会导致错误的结论或模型预测结果。清洗掉异常值可以避免这种情况，提高分析的准确性和可靠性。保护隐私和安全。
数据清洗实战：如何高效识别与处理缺失值和异常值
weixin_29075633的博客
03-05 180
本文系统介绍了数据清洗中识别与处理缺失值和异常值的实战方法。通过Python和R代码示例，详细讲解了如何利用描述性统计、箱型图、3σ原则等工具高效识别问题数据，并提供了删除、填补、限幅及不处理等多种应对策略。文章强调结合业务理解选择方法，并分享了构建自动化清洗流水线的思路，旨在帮助数据工作者提升数据预处理效率与质量。
常用异常值检测方法总结梳理笔记
Together_CZ的博客
05-10 2万+
异常值检测方法 ...
掌握这些大数据领域数据清洗技巧，轻松应对数据挑战
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
12-17 1152
本文旨在帮助数据从业者（尤其是刚入门的分析师、数据工程师）掌握大数据场景下的核心数据清洗技巧。内容覆盖从基础概念到实战操作的全流程，重点讲解缺失值、重复值、异常值、格式错误四大常见问题的处理方法，并提供可复用的Python代码模板。本文从“整理图书馆”的故事切入，逐步拆解数据清洗的核心概念→原理→实战→应用，最后总结趋势与思考题。核心概念→算法原理→代码实战→场景应用→工具推荐→未来趋势缺失值：数据中的“空缺”，处理方法有删除、填充（均值/中位数/模型预测）；重复值。
异常值检测的常用方法简述
热门推荐
weixin_45109684的博客
06-17 3万+
目录 异常值定义 为什么进行异常值分析？ 常用的异常值检测方法如下 1. 简单的描述性统计分析方法 2. 3原则方法 3. 箱型图分析方法 4.Z-score方法 5.DBSCAN方法 6.孤立森林（Isolation Forest）方法 异常值定义 异常值是指样本中的个别值，其数值明显偏离它（或他们）所属样本的其余观测值。 为什么进行异常值分析？ 异常值分析是检验...
异常值检测：3 种强大但鲜为人知的方法
gongdiwudu的专栏
03-30 1680
异常值检测是数据分析的关键部分，有助于识别可能预示数据错误、欺诈或罕见事件的异常情况。虽然 Z 分数和 IQR 等传统方法被广泛使用，但也有一些鲜为人知的算法提供了强大的替代方案。在这篇文章中，我将介绍三种这样的方法：隔离森林 （iForest）、局部异常值概率 （LoOP） 和最小协方差行列式 （MCD）。每个解释都将涵盖该方法背后的直觉、算法的详细工作原理以及使用模拟数据的 Python 示例。
金融时间序列数据清洗实战指南：异常值检测与处理的终极方法
gitblog_00125的博客
03-22 947
在量化交易的世界中，**金融时间序列数据清洗**是构建稳健交易策略的基石。无论你是量化交易新手还是经验丰富的开发者，掌握数据清洗的完整流程和异常值检测的核心技术，都能让你的策略在真实市场中立于不败之地。本文将通过一个专业的Python量化交易项目，为你揭示金融时间序列数据清洗的实战技巧和异常值处理的终极方法。 ## 🔍 为什么金融数据清洗如此重要？ 金融时间序列数据往往充满噪声、缺失值和异常
用matlab代码进行数据探索、数据清洗学习笔记
a112113114q的博客
02-09 1万+
目录1.说明2.作文目的3.数据质量分析3个判别方法3-1.异常值判别3-1-1.箱型图法3-1-2.3σ准（原）则 1.说明 该学习笔记仅供个人学习使用，不代表任何官方指导或意见。 该学习笔记为个人原创，转载请征得博主同意，或声明原文链接。 有需要其他资料或有其他问题可私信或者加qq2356081476，这不是我的义务但也欢迎各位朋友与我讨论相关问题，共同进步。 错字，语法，排版等问题请见谅。...
3 种简单的异常值检测统计方法
龙哥盟
10-23 774
原文：towardsdatascience.com/3-simple-statistical-methods-for-outlier-detection-db762e86cd9d3 种简单的异常值检测统计方法异常值。图片由作者提供如我们所知，数据科学家工作的一大部分是清理和预处理数据。这其中的很大一部分涉及到异常值的检测和移除。大的异常值、尖峰和坏数据可能会真正干扰训练一个准确的机器学习模型，因此正确处理异常值非常重要。但是数据科学家并不总是使用隔离森林或局部异常因子等机器学习模型来识别异常值。
python数据清洗学习笔记--数据预处理
高雅的博客
04-04 1296
python数据清洗学习笔记–数据预处理 重复值处理 • 数据清洗一般先从重复值和缺失值开始处理 • 重复值一般采取删除法来处理 • 但有些重复值不能删除，例如订单明细数据或交易明细数据等 df[df.duplicated()] np.sum(df.duplicated()) df.drop_duplicates() df.drop_duplicates(subset=['appname','...
机器学习之数据预处理——数据清洗(缺失值、异常值和重复值的处理)
qq_50675813的博客
12-07 3390
机器学习之数据预处理——数据清洗缺失值、异常值和重复值的处理基础知识数据列缺失的4种处理方法丢弃补全真值转换法不处理 基础知识 在数据清洗过程中，主要处理的是缺失值，异常值和重复值。所谓清洗，是对数据进行丢弃，填充，替换，去重等操作，实现去除异常，纠正错误，补足缺失的目的。 数据缺失分为2种： 行记录的缺失，这种情况又称为数据记录丢失； 数据列值的丢失，即由于各种原因导致的数据记录种某些列的值缺失。 这里重点讨论数据列类型缺失值的处理 数据列缺失的4种处理方法 丢弃 补全 相对于丢弃而言，补全是更加常用
python数据分析之数据清洗
Sunny_zrm的博客
09-06 1060
1.数据清洗步骤：识别并处理“缺失值”、“异常值”、“重复值” .info( ) 函数：快速浏览数据集并输出，无需print 对于缺失值： 1）可删除：通过.drop(index= ,inplace= True)函数 2）可补全：通过 .fillna(value, inplace=True)函数 “value是指对缺失所填充的值” ...
常用的数据清洗方法学习笔记（全面、完整）
NZR的blog
04-06 2267
常用的数据清洗方法 在数据处理过程中，一般都需要进行数据的处理工作，如数据集是否存在重复、是否存在缺失、数据是否具有一定的完整性和一致性、数据中是否存在异常值等，当发现数据中可能存在上述问题时，都需要有针对的处理，本节主要介绍如何识别和处理重复观测、缺失值和异常值。 1. 重复观测处理 重复观测是指观测行存在重复的现象，重复观测的存在会影响数据分析和挖掘结果的准确性，所以在数据分析和建模之前需要进行观测的重复性检验，如果存在重复观测，还需要进行重复项的删除；下图中唯品会出现了2次。 检测数据集的记录是否存
python缺失值与异常值处理_Python数据清洗-缺失值、异常值、重复值处理
weixin_39722946的博客
11-20 1924
基于《python数据分析与数据运营》的总结与部分代码修正缺失值的处理整体思路：找到缺失值——分析缺失值在整体样本中分布占比及是否具有显著的无规律分布特征——后续使用的模型中是否能满足缺失值的自动处理——采用哪种处理方式1.丢弃缺失值超过总体的10%以及存在明显数据分布规律或特征的不宜丢弃2.补全统计法：对于数值型数据使用均值、加权均值、中位数等方法补全；对于分类数据使用类别众数最多的值补足模型法...
基于MATLAB的异常值剔除方法实战详解
weixin_36483050的博客
11-06 900
简介：异常值剔除是数据预处理中的关键步骤，对提升统计分析与机器学习模型准确性至关重要。本文介绍在MATLAB环境下实现异常值检测与剔除的两种常用方法：基于四分位距（IQR）的Tukey法和基于标准分数（Z-score）的方法。提供的两个MATLAB程序“okhutichuoutlier.m”和“Removedataoutliers.m”分别实现了上述策略，适用于不同类型的数据分布。通过合理选择和调整参数，用户可在保留数据完整性的同时有效识别并剔除异常值，为后续建模与分析奠定可靠基础。
数据清洗：缺失值、重复值、异常值——处理脏数据的正确姿势
最新发布
qq_42982974的博客
07-03 371
数据清洗没有银弹——不同数据用不同策略。关键是先看数据（infodescribeisnull），再动手。下一篇讲 groupby 和 agg，这两招学完，数据分析 80% 的活你就能干了。
Pandas 数据清洗详解
墨上烟雨
12-30 1164
数据清洗概述。
18 - 数据清洗 - 数据清理
汪洋中的一条虫
12-31 1064
数据清理是数据预处理的关键环节，占整个数据分析流程50%-70%的时间。主要处理三类数据问题：缺失值、重复值和异常值。
利用Pandas实现数据清洗的五大核心技巧从缺失值处理到异常值检测
yaoeye的博客
10-13 912
数据标准化则包括格式的统一，例如将字符串的大小写统一、去除多余空格等，这可以通过字符串方法（如`str.lower()`, `str.strip()`）结合`apply()`或`map()`函数实现。缺失值是数据清洗中最常见的问题之一。结合`sum()`方法，可以快速计算每列的缺失值数量：`df.isnull().sum()`。更直接的方法是使用`drop_duplicates()`来删除重复行，该方法默认保留第一次出现的副本，并可以根据列的子集（`subset`参数）来判断重复，极大提升了处理的灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清木!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值