Pandas系列-读取csv/excel/mysql数据

pandas 读取excel文件 pandas 读取excel文件一 read_excel() 的基本用法二 read_excel() 的常用的参数:三 示例1. IO:路径2. sheet_name:指定工作表名3. header :指定标题行4. names: 指定列名5. index_col: 指定列索引6. skiprows:跳过指定行数的数据7. skipfooter:省略从尾部的行数据8.dtype 指定某些列的数据类型 pandas 读取excel文件使用的是 read_excel方法。本文将详细解析read_excel方法 阅读详情

本代码演示:

  1. pandas读取纯文本文件
  • 读取csv文件
  • 读取txt文件
  1. pandas读取xlsx格式excel文件
  2. pandas读取mysql数据表
import pandas as pd

1、读取纯文本文件

1.1 读取CSV,使用默认的标题行、逗号分隔符

fpath = "./datas/ml-latest-small/ratings.csv"
# 使用pd.read_csv读取数据
ratings = pd.read_csv(fpath)
# 查看前几行数据
ratings.head()
userIdmovieIdratingtimestamp
0114.0964982703
1134.0964981247
2164.0964982224
31475.0964983815
41505.0964982931
# 查看数据的形状,返回(行数、列数)
ratings.shape
(100836, 4)
# 查看列名列表
ratings.columns
Index(['userId', 'movieId', 'rating', 'timestamp'], dtype='object')
# 查看索引列
ratings.index
RangeIndex(start=0, stop=100836, step=1)
# 查看每列的数据类型
ratings.dtypes
userId         int64
movieId        int64
rating       float64
timestamp      int64
dtype: object

1.2 读取txt文件,自己指定分隔符、列名

fpath = "./datas/crazyant/access_pvuv.txt"
pvuv = pd.read_csv(
    fpath,
    sep="\t",
    header=None,
    names=['pdate', 'pv', 'uv']
)
pvuv
pdatepvuv
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

2、读取excel文件

fpath = "./datas/crazyant/access_pvuv.xlsx"
pvuv = pd.read_excel(fpath)
pvuv
日期PVUV
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

3、读取MySQL数据库

import pymysql
conn = pymysql.connect(
        host='127.0.0.1',
        user='root',
        password='12345678',
        database='test',
        charset='utf8'
    )
mysql_page = pd.read_sql("select * from crazyant_pvuv", con=conn)
mysql_page
pdatepvuv
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

本文的代码地址:https://github.com/peiss/ant-learn-pandas

[MySQL] 用Python读取MySQL中的数据 用python导入MySQL数据 阅读详情

相关推荐

上手Pandas,带你玩转数据(2)-- 使用pandas从多种文件中读取数据

上手Pandas,带你玩转数据(2)-- 使用pandas从多种文件中读取数据

看,未来的博客 2336

python使用pandas读取csv文件

需求:使用pandas读取ratings.csv文件,把读取的内容按时间戳排序后写入文件中 csv文件:ratings.csv userId,movieId,rating,timestamp 1,296,5.0,1147880044 1,306,3.5,1147868817 1,307,5.0,1147868828 1,665,5.0,1147878820 1,899,3.5,1147868510...

海旋风的博客 5419

ratings.csv

适合做推荐的数据集,适合新手使用的数据,对电影的评分以及用户对其产生行为的时间戳组成。共有四个属性,userId,movieId,rating,以及timestamp。

[Pandas] 读取Excel文件

本文主要讲解Pandas中的read_excel()函数的相关知识点

Hudas的博客 1万+

告别抖动与滞后:深入博能传动伺服DSC功能,用105报文提升多轴同步性能

本文深入解析博能传动伺服DSC功能如何通过105报文实现多轴同步性能提升,有效解决工业自动化中的抖动与滞后问题。详细介绍了DSC技术原理、105报文实现机制及多轴同步工程实践,帮助工程师优化伺服系统性能,实现绝对齿轮同步。

weixin_30394981的博客 182

【KBrowser】基于 Kiwi/chromium 制作全新外壳,将 chromium 代码当作 webview 使用,实现可控核替换

chromium 其实只需几步巧妙的架构,就能拿来“换核”,甚至可以插件化,实现类似webview.apk 的效果。重新设计界面,不再是差不多的回声。而 Kiwi 基于 chrome 77 ,只有 50 MB。优势是兼容好、可安装扩展。

sinat_27171121的博客 2017

pandas操作Excel文件

本文主要介绍了pandas读取和写入excel文件的一些注意点,以及读取数据的几种常用方法,DataFrame与numpy数据的相互转换,DataFrame类型筛选数据的方法,并且给出了相应的实现代码。

weixin_46846685的博客 1万+

【数据结构】面试题整理 共36题

链表是一种常见的数据结构,它由一系列节点组成,每个节点包含数据和一个指向下一个节点的指针。与数组不同,链表中的元素在内存中不必是连续存储的,这使得链表在插入和删除操作时非常高效。单向链表(Singly Linked List):每个节点只包含一个指向下一个节点的指针。双向链表(Doubly Linked List):每个节点包含两个指针,一个指向下一个节点,一个指向前一个节点。循环链表(Circular Linked List):链表的最后一个节点指向第一个节点,形成一个环。

weixin_44329069的博客 7185

Pandas系列-读取csv/txt/excel/mysql数据

本代码演示: pandas读取纯文本文件 读取csv文件 读取txt文件 pandas读取xlsx格式excel文件 pandas读取mysql数据表 import pandas as pd 1、读取纯文本文件 1.1 读取CSV,使用默认的标题行、逗号分隔符 fpath = "./datas/ml-latest-small/ratings.csv" # 使用pd.read_...

weixin_30278311的博客 316

产品必备技能(十):如何绘制原型图?先要绘制页面流程图+页面原型图!附实操原型图、流程图实例(抖音)

文章目录目标题目实操步骤模板实操【抖音】APP的视频发布功能页面流程绘制页面流程图合格标准绘制页面原型图合格标准 目标 新入行的产品经理都对原型抱有向往的心境,但是有经验的产品经理不会一上来就画原型,而是先画页面流程再来画原型。通过学习,你将学会如何用页面流程图规划用户行为路径、如何借助原型识别问题、减少风险、有效沟通。 题目 任意选择一款你喜欢的产品,体验某个功能,下载并梳理此功能至少5个以上的页面流程跳转点(后面会解释),还原2 - 3个主要界面的低保真原型图。 实操步骤 可使用手绘以及Process

汪雯琦的博客 4821

COMSOL仿真避坑指南:列管反应器模拟中多孔介质与化学反应设置的5个常见错误

本文详细解析了COMSOL仿真中列管反应器模拟的5个常见错误,包括多孔介质模型选择、化学反应接口配置、对流扩散方程处理、薄层热阻设置及网格独立性验证。特别针对多孔介质与化学反应设置的误区,提供了实用的判断标准和修正方法,帮助工程师避免计算偏差,提升仿真精度。

weixin_29597551的博客 318

pandas读取csv写入mysql_Pandas系列-读取csv/txt/excel/mysql数据

本代码演示:pandas读取纯文本文件读取csv文件读取txt文件pandas读取xlsx格式excel文件pandas读取mysql数据表import pandas as pd1、读取纯文本文件1.1 读取csv,使用默认的标题行、逗号分隔符fpath = "./datas/ml-latest-small/ratings.csv"# 使用pd.read_csv读取数据ratings = pd.r...

weixin_39765100的博客 259

量子密钥分发(QKD)原理、工程实现与实战部署全解析

密钥分发是信息安全的核心基础,它解决了通信双方如何安全共享秘密密钥的难题。传统方法依赖于数学问题的计算复杂性,而量子密钥分发(QKD)则基于量子力学原理,为密钥分发提供了信息论安全的物理保障。其核心价值在于,利用量子不可克隆定理和测量坍缩原理,使得任何窃听行为都会被合法通信方检测到,从而在理论上实现无条件安全的密钥协商。这项技术特别适用于对安全性要求极高的场景,如金融数据同步、政务专网和电力系统保护。本文聚焦于量子保密通信,深入剖析了以BB84协议为代表的QKD工作原理,并详细拆解了包含单光子探测、偏振编码

weixin_29324401的博客 332

excel读取mysql数据报错_Pandas系列-读取csv/txt/excel/mysql数据

本代码演示:pandas读取纯文本文件读取csv文件读取txt文件pandas读取xlsx格式excel文件pandas读取mysql数据表import pandas as pd1、读取纯文本文件1.1 读取CSV,使用默认的标题行、逗号分隔符fpath = "./datas/ml-latest-small/ratings.csv"# 使用pd.read_csv读取数据ratings = pd.r...

weixin_35732273的博客 181

【时时三省】vector cast 常见错误解决/vcast常见错误解决

介绍在使用 vector cast/vcast 软件的过程中,遇到的异常问题。其它异常可以私信解决(购买专栏的前提下)。

时时三省的博客 442

低功耗边缘设备部署指南:YOLO26 INT8量化与TensorRT加速全流程

将YOLO26 INT8部署到低功耗边缘设备,核心原则是“校准为王、敏感层精准回退、端到端验证”。校准集≥500张,来自真实推理场景,未经训练增强校准集预处理与推理pipeline逐行对齐trtexec命令必带--fp16作为fallback量化后用polygraphy定位敏感层,而非盲猜仅回退必要层(通常2-3个),保留INT8收益在真实部署场景测试集上验证mAP,不以COCO为准C++部署使用异步推理+双缓冲nsys profiling确认无传输瓶颈。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 207

使用pandas读取和保存csv、excel、mysql文件

一、读取和保存scv文件 pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL 使用read_ csv方法读取,结果为dataframe格式 在读取csv文件时,文件名称尽量是英文 参数较多,可以自行控制,但很多时候用默认参数 读取csv时,注意编码,常用编码为utf-8、gbk、gbk2312和gb18030等 使用to_ csv方法快速保存 df = pd.read.c...

weixin_44947339的博客 2045

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Pandas基础07(Csv/Excel/Mysql数据的存储与读取)

在数据科学和机器学习的流程中,数据的加载与存储是非常重要的一环。Pandas是Python中用于数据处理的强大库,它提供了多种方式来加载和保存数据,支持不同的数据格式,如CSV、Excel以及数据库(例如MySQL)。CSV(逗号分隔值)是最常见的数据存储格式之一,Pandas提供了简便的API来将数据存储为CSV文件以及从CSV文件加载数据。Excel文件是另一种常见的数据存储格式,Pandas提供了很方便的方法来处理Excel文件。方法可以读取CSV文件并将其转换为DataFrame。

XYX_888的博客 1042

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

pandas数据加载(csv、excel、json、mysql、webAPI)

pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。 数据的输入是数据分析的第一步,如果不能将数据快速方便的导入导出python,那么pandas不可能成为强大而.

学而思(xiejava的blog) 2771

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Pandas读取保存数据

写文件方法读取文件,常用参数如下index_col指定索引列列下标指定为索引列名指定为索引对指定列解析为时间日期类型将指定的列解析为时间日期类型通过列下标解析该列为时间日期类型通过列名解析该列为时间日期类型将df的索引解析为时间日期类型指定字符分隔符为\t读取tsv文件Pandas和MySQL进行交互(读写)# 需要安装 pip istall pymysql# 需要安装 pip istall sqlalchemy# 导入sqlalchemy的数据库引擎。

骑着居居追飞机的博客 1538

pandas读取csv写入mysql_使用Pandas读取Excel、csv、mysql等文件存入到MySQL

数据处理步骤:1、Pandas读取数据(如:excel、csv等)2、对数据做过滤、统计分析3、Pandas将数据存储到MySQL,用于Web页面的页面显示,或是对后序进一步的SQL分析(处理后的数据)步骤一:准备数据import pandas as pddf = pd.read_excel('C:/Users/xhl/Desktop/input/class.xlsx')#为索引加上名称为id,以...

weixin_35433448的博客 744

掌握基础的pandas读取数据

在当今的数据驱动时代,数据的获取和处理是数据分析和机器学习项目中不可或缺的一环。Python作为一种强大的编程语言,提供了多种读取数据源数据的库和方法。在这篇博客中,我们将探讨使用pandas库来读取不同来源的数据。通过掌握pandas的基础读取功能,你可以轻松地从各种数据源中获取数据,并开始你的数据分析和处理之旅。无论你是处理CSV文件、Excel文件、数据库查询结果还是API数据,pandas都为你提供了强大的支持。

youganma的博客 2086

Pandas读取数据:csv、excel、sql全攻略

核心函数速查python# CSV# Excel# SQL# 其他pd.read_html() # HTML表格pd.read_clipboard() # 剪贴板pd.read_parquet() # Parquet(列式存储,推荐大文件)数据读取最佳实践1. 预览数据:先用 nrows=5 快速查看结构2. 指定类型:手动指定dtype可大幅节省内存3. 处理缺失值:使用 na_values 统一标记4. 日期列:用 parse_dates 提前解析。

m0_51069462的博客 730

Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战(超详细 附源码)

Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战(超详细 附源码)

showswoller的博客 3198
上一篇: 5分钟学会Python爬取整个网站
下一篇: Pandas系列-DataFrame和Series数据结构
蚂蚁学Python
博客等级 码龄18年 393粉丝 280原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蚂蚁学Python

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值