CSV文件及其使用

批量读取图片保存为csv文件 工具 采取QT5.6.1+opencv2.4.9 本文以实现将手写数字图片转化为csv文件列子 实现思路: -1.将手写数字以分类在不同文件夹中(0-9)如下图所示: -2.将所有图片的路径加载到txt文件中,cmd实现方式是,输入dir /b/s *.png > image.txt;生成的txt文件如下图: -3.创立QFile csvFile(FILE_PATH),FILE_PATH为最 阅读详情
CSV文件及其使用
    在集图的过程中,你肯定会常常听到CSV文件这个词。那么所谓CSV文件到底是个什么东西呢? 它有什么用处呢?又要如何使用呢?认真读完下面的文字,相信你对CSV会有一个初步的了解。
    所谓“CSV”,是Comma Separated Value(逗号分隔值)的英文缩写,通常都是纯文本文件。 下面是一个实际CSV文件中的部分内容,让大家对他有一个感性的认识。我们选的是Sjojo_Rescan 的CSV文件(Sjojo是ASW-亚洲扫图风的成员之一)。
sj_mino1001.jpg,715282,4FB55FE8,
sj_mino1002.jpg,471289,93203C5C,
sj_mino1003.jpg,451929,C4E80467,   
通常CSV文件开头是不留空的,以行为单位,每行中记录一张图片的了多项数据,每项数据用逗号 来分隔(标准英文逗号)。一般说来集图用的.CSV文件的格式是这样的:
文件名,文件大小(以字节为单位),CRC校验值,注释(可省略)
sj_mino1001.jpg,715282,4FB55FE8,
     |             |       |        |
   文件名      文件大小  CRC值   注释(已省略)     
如果你的机器上装了Microsoft Excel的话,.csv文件默认是被Excel打开的。需要注意的是,当你 双击一个.CSV文件,Excel打开它以后即使不做任何的修改,在关闭的时候Excel往往会提示是否要 改成正确的文件格式,这个时候千万记得要选择“否”。因为Excel认为.CSV 文件中的数字是要用 科学记数法来表示的,而我们要的.CSV文件中的数字是普通的。如果你选择了“是”的话,Excel
会把CSV文件中所有的数字用科学计数来表示(2.54932E+5这种形式),这个文件就没法用了。 所 以如果你的CSV文件绝大部分都是用在集图上的话,建议把.CSV的默认打开方式改成任意一个文本 编辑器,系统自带的记事本就是个不错的选择。
    好,让我们回到CSV文件的格式中来。见上面,从左到右 sj_mino1001.jpg是文件名,715282 是以字节表示的文件大小。当文件名中包含逗号的时候,由于逗号在CSV文件中特殊的作用,为了 不至于产生歧义,需要用引号把文件名括起来。比如 "The Art, Fantasy.jpg",384211,...,.... 接着是一个8位的16进制数字 4FB55FE8,这是文件的CRC32校验值。整个CSV文件的精髓都在这里。
让我们举个小例子来说明它的意义:Sjojo发布了一张图sj_mino1001.jpg,假设你是从朋友手中拿 到这张图的,那么你肯定常常会有这样的疑问,这张图在传播的过程中是否被改动过呢?是否无意 中遭到了损坏呢?CRC就是为解决这个问题而存在的。一般情况下,扫图家每发布了一套图,就同 时放出一个CSV文件(这种CSV通常叫做Official CSV,也就是官方发布的CSV的意思),这个CSV中 的CRC值是用专门的软件通过CRC32算法(常用的CRC算法还有CRC16)对文件运算后生成的一个值, 这个值可用作文件真身的标志。在绝大多数情况下,如果这个文件在传播过程中无论是大小还是内 容被改动过。那么,用同样的CRC32算法再对文件进行运算后产生的CRC校验值就完全不一样了。如 果得出的CRC值是一样的,则完全有理由认为这个文件是真身,没有被改动过。还有些时候,收来 的图片文件名被改动过了,那么你怎么知道谁是谁呢?这个时候CRC值又起作用了:用专用的软件对图片处理后,可以得到文件的大小和CRC值,然后根据大小和CRC值在CSV中寻找是否有适合的图片。如果有,就会把图片的名字改成CSV里的。举个例子,你收到了一张图片,名字是pic0001.jpg,同时你知道这张图片是Sjojo_Rescan这个集子里面的,但是不知道具体是哪一张。用软件得到它的大小和CRC分别是715282和4FB55FE8,那么软件在CSV文件里找到一行sj_mino1001.jpg,715282,4FB55FE8,大小和CRC都符合,软件就认为这张图片的原名是sj_mino1001.jpg,接着自动把文件的名字改成sj_mino1001.jpg。改动的不是CSV文件而是图片的文件名。接下来的是注释和说明,可以省略掉。需要注意的是注释的后面是没有逗号的,如果要省略注释的话,一定要在CRC值的后面保留一个逗号,否则软件会把CRC值认为是注释的。
    相信看完上面的一大堆东西后,你不但对CSV文件有了个大概地了解,对它的用途应该也有些模糊的概念了吧。我们收集图片往往是通过各种各样不同的渠道,比如从网站上,IRC上,抑或干脆是朋友送的光盘。在整个的传播过程中,图片有可能遭受到各种各样的非人待遇。尤其是从网站上收来的图片。有些时候仅仅是简单的改了一下名字,更多的时候由于很多PLMM站空间有限,常把图片的尺寸缩小,或者把图片文件缩小。一张1356x588的图被改成了678x294,或者一个四五百K的文件被缩成了几十K都是常有的事。比较可恶的是,许多网站把原来扫图家的Logo去掉,打上自己网站的Logo。还有些许搞笑派的玩家,把各种各样的图片移花接木,改头换面。这些对于一般的看
图娱乐无伤大雅,但是对于集图来说,收到这样的图片是无法容忍的。如何验明图片的正身,这是扫图家和集图者共同面对的问题。CSV文件就是为了解决这样的问题而出现的。CSV文件最早用在简单的数据库里,由于其格式简单,并具备很强的开放性,所以起初被扫图家用作自己图集的标记。 如上面所说的,CSV文件是个纯文本文件,每一行表示一张图片的许多属性。你在收一套图集时,只要能找到它的CSV文件,用专用的软件校验后,你对该图集的状况就可以了如指掌。比如这套图一共有多少张,你收到了多少张,哪些是原图,那些是可能被改动过或者损坏了的图片......我们可以把.CSV文件看作一份索引,你不但可以“按图索骥”,还可以检查自己收来的“马子”血统是 否纯正。
    CSV文件的来源通常有两种:一种是扫图家自己发布的CSV,一般称作Official CSV。也就是官方发布的CSV,通常说来是有相当的权威性的。比较特殊的是亚洲的许多扫图家,除了公开发布的图以外,还有一些私下发布的Special图,或者一些专门送给朋友的图。加上扫图家不愿意或者不会做CSV,所以他们图集的CSV往往由集图界中一些资深前辈出头来做。在这种情况下,往往会出现一个图集有好几个版本的CSV文件,并且每个版本之间都有不小的差别。此时的CSV不仅是验明真身的依据,同时也给了集图者一个希望:即使缺的再多,即使用这个版本csv收全的人再少,一定会有一个人是全的,就是此CSV的作者!集图界前辈LiQing有一句名言:“有CSV就表示一定有图!” 自然而然的,民间现了一些权威的做CSV的玩家。比如早期的EDZONE,现在依然活跃的OSun,shum,vsam,TE,Paul... 还有偶们COC图盟的WQC  
    好了,说了那么多,大家可能会问,CSV文件那么好用,到底要怎么用呢?不会要自己手工来检测吧?呵呵,还记得上文中一再出现的“软件”这个字眼吗?有专用的软件可以帮助我们完成这项工作。常用的软件有The!Checker和The Hunter。目前这两个软件都有汉化的简体中文版,汉化人是来自北方的snowtank(感谢snowtank  )
CSV(Comma-Separate-Values)逗号分隔值文件 前言 一、CSV文件背景 二、CSV文件用法 三、CSV文件规则 四、CSV文件包含的各种数据 1.常规的内容 2.字段内部有逗号 3.字段内部有引号 4.字段内部有换行符 5.字段内部有空格 五、CSV文件规则 阅读详情

相关推荐

【Claude Code】Claude Code 使用指南

本文介绍了AI编码助手Claude的基础和进阶操作指南。基础部分涵盖启动命令、模式切换(自动编辑/Plan/Yolo模式)、资源监控等核心功能,重点讲解了斜杠命令的使用方法。进阶操作详细说明了CLAUDE.md文件的创建与管理,包括项目规范、代码风格等内容的配置,以及如何通过该文件建立持久上下文。同时提醒了使用过程中的安全风险,建议通过配置文件限制AI对关键代码的访问权限。全文提供了完整的操作指引和安全建议,帮助开发者高效安全地使用Claude进行编码辅助。

大家好,我是敖云岚,一个沉迷代码的 “技术玩家”。擅长 Java、C++ 开发,对 MySQL、Redis、RabbitMQ 等技术也颇有研究。博客里既有硬核技术干货,也有诙谐幽默的编程日常分享。愿和你一起,笑着学技术,快乐敲代码! 1万+

CITES Wildlife Trade Database CITES野生动物贸易数据库-数据集

该数据集记录了2016年进行的所有合法物种进出口(以及2017年的一些记录),并向CITES报告。未列入《濒危物种公约》名单的物种不包括在内;重大的、高度非法的、正在进行的黑市交易活动也不包括在内。 comptab_2018-01-29 16_00_comma_separated.csv

Python爬虫:抓取专利数据并分析专利趋势

本文展示了如何使用 Python 爬虫技术抓取中国专利数据,并对数据进行了清洗、分析和趋势预测。通过分析专利数据,企业和科研机构可以了解行业的技术发展趋势,进行技术创新战略规划。未来,我们可以进一步扩展爬虫的功能,抓取更多专利数据,增加多维度的数据分析,如技术领域、地域分布等。同时,可以尝试使用深度学习模型(如 LSTM)进行时间序列预测,以获得更准确的专利趋势预测。

2201_76125261的博客 1763

图片路径,存入CSV文件

图片路径,存入CSV文件

qq_43596592的博客 1275

CSV格式文件注意细节

使用CSV格式文件经常遇到一些小错误: 在CSV格式文件中,插入图表,保存,再打开后,图表就不见了。

symoriaty的博客 1648

python深度学习图像处理CSV文件分类标签图片到各个文件

这里写自定义目录标题python深度学习图像处理CSV文件分类标签图片到各个文件夹导入库读取csv文件读取并分类图片文件分为测试集、训练集、验证集、和train_valid python深度学习图像处理CSV文件分类标签图片到各个文件夹 最近在学习沐神的深度学习课程,下面是用python处理CSV数据分类文件夹 以一个树叶分类的数据集作例子,数据集在这儿下载添加链接描述简单讲解一下怎样用python将数据分类存入相应文件夹 我们下载的数据集为下图形式。images中为训练集和测试集图片,其他分别有test,

weixin_44477424的博客 9506

基于python的图片CSV标签文档绘制

基于python对目录下的图片生成对应的标签文档。

图灵追幕者博客录 993

GitHub下载,可达到2MB/s,堪称加速神器!

点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文Sometimes the best way to get someon...

程序员小乐 4886

不一样的按钮

????????关注后回复“进群”,拉你进程序员交流群????????作者丨白老板来源丨知识小集(ID:zsxjtip)本文整理自 WWDC 21 《Meet the UIKit bu...

iOS_开发 616

GitHub 重新定义了 IDE!

你好,我是坚持分享干货的 EarlGrey,翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书籍。如果我的分享对你有帮助,请关注我,一起向上进击。免费送 《Java 核心技术》(速学版),点此参加送书活动!微软的“GitHub版Devin”——Copilot WorkSpace,终于上线了!WorkSpace是一种“Copilot原生”的全新开发环境,目的是让所有开发者都...

codingpy的博客 253

「每周译Go」这次我们来点不一样的!--《How to Code in Go》系列上线

Go是一门在Google备受挫折后而诞生的语言。开发者不得不频繁地在两种语言中选择,要么选择一门执行效率高但是编译时间长的语言,要么选择一种易于编程但在生产中运行效率低下的语言。Go被设计为同时提供所有这三个功能快速编译、易于编程和生产中的高效执行。虽然Go是一门通用的编程语言,可用于许多不同类型的编程项目,但它特别适合网络/分布式系统项目,赢得了“云语言”的美誉。恭喜!至此,你已经在Ubuntu机器上设置了Go编程工作区,可以开始写项目了!Hugohttpsissue。......

biyusr的专栏 196

惊爆内幕:老MDK也可以使用新编译器——arm大佬文章,硬核!

原创GorgonMeducer 傻孩子裸机思维2020-10-15 收录于话题 #MDK2 #单片机3 #编译器9 【写在前面的话】 如果说“喜新厌旧”是人类的天性,那么嵌入式程序员一定是特例——他们尤其不喜欢更换自己用惯了的工具——拿IDE来说吧,相当一部分人仍然抱着老版本的MDK迟迟不愿意更新,这里的原因很多: “忙的要死,哪有时间去尝试新版本” “新版本有啥特别的么?能用树状结构管理工程文件了么?” “新编译器稳定么?” “有破解么?” ...

liming0931的专栏 566

python中把图片 或者 数据存储到本地 用csv方式储存

1.open 打开文件 写入文件 关闭文件 f = open(r"D:\Image\1.jpg",'wb') #eg:一个图片下载保存 f.write(urllib2.urlopen(url).read()) # url的图片链接 f.close() 2.with 自带close()效果 # 请参考上篇爬虫 音乐爬取 with open("D:\\Music\\{}.mp3".fo...

hou9876543210的博客 3917

新手--从网络加载图片并存储在本地,断开网络后依然可以显示图片

新手--从网络加载图片并存储在本地,断开网络后依然可以显示图片

yanfarong的博客 1055

python-根据csv数据标签给图片分类存储

python-根据csv数据标签给图片分类存储

liiojhggg的博客 1158

【OCR批量读取文件夹所有图片并存储到CSV

在日常工作中,我们可能需要处理大量的图片数据,并需要将图片中的文本提取出来以进行进一步的分析。本文将介绍如何使用Python编写一个程序,批量识别图片中的文本,并将结果保存到CSV文件中。接着,它使用Tesseract OCR引擎识别图像中的文本,将识别结果清理并返回。通过本文,我们学习了如何使用Python编写一个程序来批量识别图片中的文本,并将结果保存到CSV文件中。它使用正则表达式将文件名中的中文字符替换为空字符串,并将新的文件名用于重命名文件。最后,它返回新的文件路径和识别的文本。

OverlordDuke的博客 554

可视化CSV图片列HTML渲染

CSV数据验收问题解决方案 核心问题:CSV文件预览存在图片无法直观显示、大文件检查效率低、路径格式不统一等问题。 解决方案: 使用viscsv工具将CSV转为交互式HTML页面 支持图片列缩略图预览(需指定列名和根目录) 提供搜索、排序等基础功能 输出静态文件便于协作共享 优势: 提升图片数据验收效率 兼容不同平台路径格式 无需搭建额外服务 适用场景:数据标注质检、爬虫结果验收、数据集复核等。

weixin_46248339的博客 52

CSV文件转换为灰度图像

CSV文件数据格式转换成灰度图

qq_56269661的博客 2377

【数据处理】:(一)图片

一、csv文件中包含图片地址与分类 1、先读取csv文件 train_data = pd.read_csv("../data/classify-leaves/train.csv") test_data = pd.read_csv("../data/classify-leaves/test.csv") 2、将分类取出,得到classes classes = sorted(list(set(train_data['label']))) 3、把classes转成对应的数字 classes_to_num = .

折花入酒的博客 6021

FM1288_富迪fm1388_fm1388资料_富迪_FM1388pdf_降噪

富迪FM1388语音降噪及回音消除的专用IC开发资料.

上一篇: 枚举类型的用法
下一篇: textBox multiline
web_gus
博客等级 码龄24年 18粉丝 176原创
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值