SQL2005删除大数据

客户端连接也变的异常慢,并且公司的数据库所占空间大,因为是软件是深圳一家软件提供的,只有服务器在本地,而和这个公司沟通异常困难,所以只有自立更生了。

经过简单查看

create table #t(name varchar(255), rows bigint, reserved varchar(20), data varchar(20), 
index_size varchar(20), unused varchar(20))
exec sp_MSforeachtable "insert into #t exec sp_spaceused '?'" 
select * from #t order by name 
drop table #t

发现最大的一个表A,居然有1亿6千万数据,就是它了,并且这个表还在不停增长中,每天大概270-300万行,非常恐怖,这也是我接触过最大数据了,之前应用过的最多也就3千万,跟这比,有点小巫见大巫了,呵呵。

按上头意思,把不必要的删了,然后开始删,最开始是按日期,

between and  这样太慢了,删除一个月数据,都要大半天,很费时间,后来改用ID,根据时间查到某月最大ID是B,删除<B,速度稍微快一点,还是慢,在这里比较笨,删除了近半数据后,查查,也只是少了8千万,还有9千万,还要再删,这时再也不想像上面那样操作了。开始寻找新办法。

发现SQL2005 BCP可以导出导入数据,并且性能非常高,在本机试了一下,不错,每秒 51202.31 行,速度太给力了。那就把需要的数据导出来,然后truncate table,再将数据导回。按照这个思路。

导出-->

EXEC master..xp_cmdshell'BCP "SELECT  * FROM XXX.dbo.A whereid>117634587" queryout e:\A-10.1.txt -c -S".,20001" -U"jtx" -P"Jtx"'
--已复制 49312222 行。
--总时钟时间(毫秒)     : 942750 平均值: (每秒 52306.79 行。)

导入-->

  EXEC master..xp_cmdshell 'BCP XXX.dbo.Ain E:\A-10.1.txt -c -T'


转载于:https://my.oschina.net/u/1020927/blog/172888

ARM功耗管理之功耗状态及功耗模式 思考:功耗状态?功耗模式?Core&Cluster&Device&SoC如何映射? 阅读详情

相关推荐

深入理解SQL Server 2005中的CLR触发器

本文探讨了SQL Server 2005中CLR触发器的部署、权限设置、调试方法和相关函数。介绍了触发器在DML和DDL操作中的应用,并通过示例代码展示了如何构建和执行CLR触发器。强调了权限安全、触发器上下文的获取和处理,以及如何通过调试CLR对象来优化数据库操作。

weixin_42593549的博客 895

mysql删除日期最,MySQL删除重复的记录,除了一个有最时间

I have a table which has multiple RFID records and each record has a column called time and what I want is deleting duplicate RFID recods except one which has max time.table name is attendance_images(...

weixin_31068491的博客 353

顺势加仓-v1.20.ex4

简介本产品是迈达量化全系列产品中的一款趋势加仓类半自动EA。使用这个EA在面对极端行情或者单边的时候,可以很好的抓住突破的每次入场机会。设定参数以后,趋势的识别,加仓,移动止损,风险控制这一些都是全自动的。结合手工交易与智能交易的各自优点,并解决盯盘和错过入场机会问题。设计原理行情出现连续单边上涨或下跌时间只占有整个市场运行时间的20%左右,然而这个时候才是真正应该做交易的时候。然而很多人在面对单边行情的时候,要么不敢做,要么来不及。内心不断挣扎,在各种纠结中错过机会,好不容易鼓足勇气入场,结果却进了天花板。该软件就是帮助交易员解决执行力的问题,解决面对快速行情操作速度跟不上的问题。本软件根据用户指定的参数识别趋势并加仓,直到最后一单止损然后全部离场。具体的使用细节详见软件内置的使用帮助中。注意事项程序运行期间不要在未来连续建立很多策略,否则可能出现多个策略都是同一波趋势的行情。每一次趋势结束之后,系统会平仓或者删除所有的订单。

sql删除数据的三种方式

1、delete删除数据:delete from tablename  删除记录中的记录,但是注意:删除记录并不能释放数据库里被占用的数据块空间. 它只把那些被删除的数据块标成unused,删除的数据可以使用数据支持数据的回滚 delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发. 2、回滚数据的操...

qq_15571729的博客 5万+

SQL Server删除整个数据库数据的方法(不影响结构)

1.查看数据库中所有名称: select Name from sysobjects where xtype='U' order by name asc; sysobjects是系统,关于SQL Server数据库的一切信息都保存在系统中 2.删除整个数据库数据: declare c cursor for --定义游标select NAME from sysobject...

weixin_33910137的博客 1244

SQL Server数据中数据的增加(插入)、查询、修改、删除

目录 零、码仙励志 一、数据中数据的增加(插入) 二、数据中数据的查询 三、数据中数据的修改 四、数据中数据的删除   零、码仙励志 伟人所达到并保持着的高处,并不是一飞就到的,而是他们在同伴们都睡着的时候,一步步艰辛地向上攀爬的 特别提醒(一定要看一下): 这篇文章写的是:SQL Server数据中数据的增加(插入)、查询、修改、删除 不是:SQL Server中...

秦哥的博客 21万+

数据采集服务程序--ADO连续插入记录,2天后,插入速度明显变慢,求解原因?...

Delphi7+SQL2000+CPU3.0G+内存1.5G+分区30G+Windows2003系统SQL缓冲区200M,插入控件ADOQuery,直接插入,不用存储过程。以单线程执行操作。以每秒中插入200条记录的速度,连续插入。每插入200条,Sleep10毫秒。刚开始1天左右,插入的速度都很正常,可2天...

weixin_30642029的博客 281

SQL Server 2014创建分区

背景:随着公司的业务迅猛发展,导致部分数据的数据量剧增(T_ZK_C0075ALog、T_ZK_C007ALog),无法满足用户对查询效率、性能的要求。  意义:在于将大数据从物理上切割为几个相互独立的小部分,从而在查询时只取出其中一个或几个分区,减少影响的数据;另外,对置于不同文件组的分区,并行查询的性能也要高于对整个的查询性能。  事实上,在SQL Server 2005 中就

cashcat的技术专栏 5842

升级到SQL Server 2005 的10理由

前言 SQL Server 2000从上市到现在已经整整五个年头。现在望眼欲穿的SQL Server 2005 终于发布了。五年磨一剑,SQLServer 2005 将是微软具有里程碑性质的企业级数据库产品。本文从用户关心的技术要点出发比较和讨论SQL Server 2005 相对它的前版本SQL Server 2000所做的重改进或新增功能,介绍了SQL Server 2005 中最值

天行健 ● 君子以自强不息 3358

从MS SQL删除大数据说开去

对于数据库删除数据,你说要注意什么呢?代码怎样写? 多数同学看到这两个问题,想都不想就说,就一个Delete语句,注意删除的条件不要删除错了就是,有什么好注意的! 是的,可以我再问一下,删除动作是会写日志的,你放日志的磁盘够空间吗? 本文的内容: 1. 我先举个实际的工作问题; 2. 整理T-SQL删除数据的语句和写法; 3. 解决这个工作中的问题和效果总结。   先举个我实际

MinSen 860

Sql Server 千万级数据量删除

公司有套非常老的系统,数据库是MSSQL server 2005,数据千万级,删除14年之前的数据(delete 语句),非常缓慢,求神们指教

nlgup5的专栏 4123

SQL Server2005删除重复行

以前写的东西,可以看看思路  /**//*删除中重复行的方法*/if exists(select 1 from sys.tables where name=t_dup)    drop table t_dupgocreate table t_dup(id int,age int,name varchar(32))insert into t_dupselect 1,1,auni

大数据之路-infotrim.cn 2361

【转载】升级到SQL Server 2005 的10理由

前言 SQL Server 2000从上市到现在已经整整五个年头。现在望眼欲穿的SQL Server 2005 终于发布了。五年磨一剑,SQLServer 2005 将是微软具有里程碑性质的企业级数据库产品。本文从用户关心的技术要点出发比较和讨论SQL Server 2005 相对它的前版本SQL Server 2000所做的重改进或新增功能,介绍了SQL Server 2005 中最值得你为之

缘来是我 805

升级到SQL Server 2005 的十理由

【IT168 数据库】    前言     本文从用户关心的技术要点出发比较和讨论SQL Server 2005 相对它的前版本SQL Server 2000所做的重改进或新增功能,介绍了SQL Server 2005 中最值得你为之升级的10 个理由。无论你是想了解或学习SQL Server 2005,还是正在评估或考虑升级到SQL Server 2005,本文都将对您有很好的参考作用。   

大森林的专栏(Jack Wu) 849

SQL2008R2导入数据到SQL2005

SQL2008R2导入数据到SQL2005,数据很,数据文件概有120G。 尝试过直接离线附加,失败 尝试过备份还原,失败 最后找到了 1、先执行 exec sp_msforeachtable 'alter table ? nocheck constraint all' 然后新建一个空的数据库 执行数据里的导入导出功能。 库里有外键关系,勾选删除数据会提示错误 ...

weixin_34007020的博客 224

SQL Server 2005 的新特性及增强

五年磨一剑,SQLServer 2005 是微软具有里程碑性质的企业级数据库产品。本文从用户关心的技术要点出发比较和讨论SQL Server 2005 相对它的前版本SQL Server 2000所做的重改进或新增功能,介绍了SQL Server 2005 中最值得你为之升级的10 个理由。无论你是想了解或学习SQL Server 2005,还是正在评估或考虑升级到SQL Server 2005

ggw128的专栏 680

SQL Server 2005 创建分区

背景:随着公司的业务迅猛发展,导致部分数据的数据量剧增(T_ZK_C0075ALog、T_ZK_C007ALog),无法满足用户对查询效率、性能的要求。 意义:在于将大数据从物理上切割为几个相互独立的小部分,从而在查询时只取出其中一个或几个分区,减少影响的数据;另外,对置于不同文件组的分区,并行查询的性能也要高于对整个的查询性能。 事实上,在SQL Server 2005

绘宇智能 367
上一篇: 关于网络爬虫
chourene2166
博客等级 码龄10年 0粉丝 0原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值