Pandas系列-读取csv/txt/excel/mysql数据

本代码演示:

  1. pandas读取纯文本文件
  • 读取csv文件
  • 读取txt文件
  1. pandas读取xlsx格式excel文件
  2. pandas读取mysql数据表
import pandas as pd

1、读取纯文本文件

1.1 读取CSV,使用默认的标题行、逗号分隔符

fpath = "./datas/ml-latest-small/ratings.csv"
# 使用pd.read_csv读取数据
ratings = pd.read_csv(fpath)
# 查看前几行数据
ratings.head()
userIdmovieIdratingtimestamp
0114.0964982703
1134.0964981247
2164.0964982224
31475.0964983815
41505.0964982931
# 查看数据的形状,返回(行数、列数)
ratings.shape
(100836, 4)
# 查看列名列表
ratings.columns
Index(['userId', 'movieId', 'rating', 'timestamp'], dtype='object')
# 查看索引列
ratings.index
RangeIndex(start=0, stop=100836, step=1)
# 查看每列的数据类型
ratings.dtypes
userId         int64
movieId        int64
rating       float64
timestamp      int64
dtype: object

1.2 读取txt文件,自己指定分隔符、列名

fpath = "./datas/crazyant/access_pvuv.txt"
pvuv = pd.read_csv(
    fpath,
    sep="\t",
    header=None,
    names=['pdate', 'pv', 'uv']
)
pvuv
pdatepvuv
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

2、读取excel文件

fpath = "./datas/crazyant/access_pvuv.xlsx"
pvuv = pd.read_excel(fpath)
pvuv
日期PVUV
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

3、读取MySQL数据库

import pymysql
conn = pymysql.connect(
        host='127.0.0.1',
        user='root',
        password='12345678',
        database='test',
        charset='utf8'
    )
mysql_page = pd.read_sql("select * from crazyant_pvuv", con=conn)
mysql_page
pdatepvuv
02019-09-1013992
12019-09-09185153
22019-09-0812359
32019-09-076540
42019-09-0615798
52019-09-05205151
62019-09-04196167
72019-09-03216176
82019-09-02227148
92019-09-0110561

本文的代码地址:https://github.com/peiss/ant-learn-pandas

转载于:https://www.cnblogs.com/crazyant/p/11525230.html

STM32实战:5分钟搞定CanFestival协议栈下的CANopen心跳报文配置(附避坑指南) 本文详细介绍了如何在STM32平台上使用CanFestival协议栈快速配置CANopen心跳报文,包括硬件准备、协议栈移植、心跳报文配置及常见问题解决方案。通过实战步骤和避坑指南,帮助开发者高效实现节点状态监控,提升工业控制系统的可靠性。 阅读详情

相关推荐

别再迷信Intel网卡了!用普通笔记本+TWINCAT3搭建EtherCAT主站的完整避坑实录

本文详细介绍了如何用普通笔记本和TWINCAT3搭建EtherCAT主站的完整避坑指南。通过破除必须使用Intel网卡的迷思,提供软件环境搭建、关键配置步骤、Wireshark抓包技巧及性能优化建议,帮助开发者低成本实现EtherCAT主站功能。

weixin_29305337的博客 698

pandas学习

1. Pandas读取数据 1pandas读取纯文本文件 读取csv文件 读取txt文件 (1)读取CSV,使用默认的标题行、逗号分隔符 fpath = "./datas/ml-latest-small/ratings.csv" ratings = pd.read_csv(fpath) # 查看每列的数据类型 ratings.dtypes (2)读取txt文件,自己指定分隔符、列名 fpath = "./datas/crazyant/access_pvuv.txt" pvuv = p

qq_42036869的博客 960

关于光耦隔离与SP3485E芯片一起使用无法拉高485使能引脚问题

最近在做的一个项目,定制了一块STM32F407ZG的工控板,工控板载4个485接口全部都是只能接收数据,不能对外发送数据。1.接线不正确:接线不正确导致485收发出现问题。 2.程序端口初始化问题:控制光耦隔离的输入脚IO的初始化和置位状态有问题。 3.GPIO复用问题:控制对应串口的GPIO不是正点原子默认的GPIO,而是经过复用的其他IO,复用问题。 4.程序设置与485E芯片收发模式不对应:对于使能引脚的电平要根据光耦的输出情况确定输入IO与RE的关系,可能模式没有对应。 5.光耦隔离或者SP485

weixin_45862642的博客 2967

Pandas系列-读取csv/excel/mysql数据

02. Pandas读取数据 本代码演示: pandas读取纯文本文件 读取csv文件 读取txt文件 pandas读取xlsx格式excel文件 pandas读取mysql数据表 import pandas as pd 1、读取纯文本文件 1.1 读取CSV,使用默认的标题行、逗号分隔符 fpath = "./datas/ml-latest-small/ratings.csv" ...

蚂蚁学Python 803

避免踩坑!杰理AC63蓝牙名修改常见问题及解决方案(含BLE后缀处理)

本文详细解析了杰理AC63蓝牙设备名称修改的全过程,包括基础操作、BLE后缀处理及高级调试技巧。针对蓝牙名修改中的常见问题,提供了实用的解决方案和代码示例,帮助开发者避免踩坑并实现高效定制。

q6r7s8t9的博客 404

解决k8s核心组件calico pod资源不创建问题

解决k8s核心组件calico pod资源不创建问题 1.问题描述 由于K8S集群Master节点故障,导致calico网络组件虽然处于Running状态,但是一直无法准备就绪,如下图所示 calico-node-lpt7h运行在master节点,第一时间紧急处理方法就是将其pod删除,让K8S自动重建该pod,使整个集群快速恢复 但是就当我将calico-node-lpt7h pod删除后,该pod始终无法自建,就好像是从来没有这个pod似的 2.解决方法 期初排查时,我觉得可能是由于当前master

江晓龙的博客 4804

pandas之数据文件导入和导出(python读取.csv,.txt,excel文件(.xlsx)以及导出为.csv、excel文件)

文件类型:.csv,.txt,.xlsx .csv文件,一行即为数据表的一行。生成数据表字段用逗号隔开(英文的逗号!!!!)。csv文件用记事本和excel都能打开,用记事本打开显示逗号,用excel打开,没有逗号了,逗号都用来分列了。 .txt文件和.csv文件没有太大差别,.txt文件也可由用逗号进行分割,直接将.txt文件改成.csv文件完全可以。 用excel打开data1.csv文...

leilei7407的博客 2万+

【AI智能体】Dify 搭建数据分析应用实战操作详解

Dify 搭建数据分析应用实战详解

congge 7254

pandas读取csv,txt,excel文件

准备工作 导包 import pandas as pd 读取csv文件 pandas的 read_excel() 方法 fpath = './datas/ml-latest-small/ratings.csv' # # 使用pd.read_csv读取数据 ratings = pd.read_csv(fpath) 查看DataFrame的具体结构 ratings.head() # 查看前几行数据 userId movieId rating timestamp 0 1 1 4.0 964

weixin_44706011的博客 697

【AgentScope 2.0】01-不搭 demo,直接解剖一个生产级 Agent 平台:loser-agent 全链路地图

本文介绍生产级Agent平台loser-agent的完整请求旅程,从用户发消息到返回结果共七站:入口鉴权、灰度路由、Agent装配、模型路由、工具执行、持久化与流式响应。课程以真实源码为线索,深入剖析每一步实现逻辑,涵盖灰度发布、权限控制、HITL审批、多模态处理、状态持久化等核心能力。强调框架仅负责Agent运行时语义,平台自建管理请求生命周期中所有非框架部分,适合Java后端开发者系统掌握Agent工程化落地。

loser.with.m的博客 721

检索增强生成(RAG)、微调(Fine-tuning)与知识蒸馏(Knowledge Distillation):核心差异与技术选型指南

在自然语言处理(NLP)领域,大型预训练语言模型(如GPT、BERT系列)的崛起彻底改变了技术生态。面对实际业务场景中模型效果优化与资源效率平衡的永恒命题,开发者主要依赖三大技术路径:检索增强生成(Retrieval-Augmented Generation, RAG)、模型微调(Fine-tuning)和知识蒸馏(Knowledge Distillation)。本文将通过技术原理拆解、典型应用场景对比和实战选型策略三个维度,深入解析这三种技术的本质差异。

fudaihb的博客 1818

python数据分析之pandas(1)

python数据分析之pandas(1) 前言 最近在学习关于数据分析和数据挖掘相关的东西,来记录一下自己的学习过程,和大家一起分享。希望能够和大家一起讨论,学习更多。 工具 我用的是anaconda的jupyter notebook,学习资料大部分来自Github。 开始 学习pandas库,最先接触到的就是读取数据啦,我们pandas可以读取纯文本文件(csv文件, txt文件),还可以读取xlsx的excel文件,当然还可以读取MySQL数据表。 ps:现在连接MySQL数据库的方法主要有MySQLd

qq_42909511的博客 503

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

pandas读取csv写入mysql_Pandas系列-读取csv/txt/excel/mysql数据

本代码演示:pandas读取纯文本文件读取csv文件读取txt文件pandas读取xlsx格式excel文件pandas读取mysql数据表import pandas as pd1、读取纯文本文件1.1 读取csv,使用默认的标题行、逗号分隔符fpath = "./datas/ml-latest-small/ratings.csv"# 使用pd.read_csv读取数据ratings = pd.r...

weixin_39765100的博客 259

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

excel读取mysql数据报错_Pandas系列-读取csv/txt/excel/mysql数据

本代码演示:pandas读取纯文本文件读取csv文件读取txt文件pandas读取xlsx格式excel文件pandas读取mysql数据表import pandas as pd1、读取纯文本文件1.1 读取CSV,使用默认的标题行、逗号分隔符fpath = "./datas/ml-latest-small/ratings.csv"# 使用pd.read_csv读取数据ratings = pd.r...

weixin_35732273的博客 181

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战(超详细 附源码)

Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战(超详细 附源码)

showswoller的博客 3198

txt、Csv、Excel、JSON、SQL文件读取(Python)

创建一个txt文件open( )是打开文件的方法'text.txt’文件名 在同一个文件夹下所以可以省略路径如果不在同一个文件夹下 ‘xxx/xxx/text.txt’ 文件名前加路径encoding:设置字符编码read( )是读取文件内容close( )是关闭文件。

小旺的博客 1183

csv ,TXT ,Excel 以及数据库的保存和读取

导入pandas numpy 模块 import numpy as np import pandas as pd 1.csv文件的读取和保存 1.csv文件的读取 chunksize=None 可以选择读取多少条 df = pd.read_csv('上课数据/ex1.csv',engine='python') df 2.让列索引变为第一行(header=None) engine=‘python’ 指定解释器 sep=’,’ 指定分隔符 df = pd.read_csv('上课数据/e.

weixin_46700209的博客 1513

pandas(九) 数据读取-读取csv、excle、txt、mysql数据

数据资料:https://grouplens.org/datasets/movielens/读取excel文件,使用默认的标题行、逗号分隔符。读取CSV, 使用默认的标题行、逗号分隔符号。读取txt, 自己指定分隔符,标题行。查看数据的形状,返回(行数、列数)读取MySQL数据库。

风华浪浪的博客 1046

基于Python的大数据分析基础(三)--- Pandas 操作文件(csv,excel,txt,Mysql)

4.Pandas 读取并操作文件(csv,excel,txt,Mysql数据库) 4.1 CSV文件的读取 # -*- coding: UTF-8 -*- ''' @Author :Jason pandas 操作 csv 文件 ''' import pandas as pd import csv def write_to_csv(): df = pd.DataFrame( ...

郑德帅 9663

python 按列读取数据并写入txt_Python数据分析之Pandas读写外部数据文件!

阅读目录1 引言2 文本文件(txt、csv)2.1 读取数据2.2 写入数据3 excel文件3.1 读取数据3.2 写入数据4 mysql数据库5 mongodb数据库1 引言数据分析、数据挖掘、可视化是Python的众多强项之一,但无论是这几项中的哪一项都必须以数据作为基础,数据通常都存储在外部文件中,例如txt、csv、excel、数据库。本篇中,我们来捋一捋Python中那些外部数据文件...

weixin_39603622的博客 4303

Python本地读写:CSV/excel/html/sql/txt

Python本地读写:CSV/excel/html/sql/txt csv文件是一种以逗号为分隔符的纯文本形式存储的表格数据。 通常csv文件的第一行是列名。 既然是表格类的数据,那么最先想到的应是pandas库的读取方法。pandas以dataframe或series为格式,其实就是表格形式的数据。所以下面介绍用pandas来读取的方法。 当然pandas还可以读取许多其他格式的文件,之...

【人工智能】王小草的博客 3544

pandas——数据读取(txt、excel、sql)

pandas数据读取 数据类型 说明 数据读取方法 csv、tsv、txt 用逗号分隔、tab分割的纯文本文件 pd.read_csv() excel xls或xlsx文件 pd.read_excel() mysql 关系型数据库表 pd.read_sql() 1、读取txt文件 import pandas as pd data = pd.read_csv("文件路径",sep="文本分隔符号",header="None",names=['列名1','列名2']) #header

weixin_47258431的博客 965

Pandas-简介&读取数据方法

一、Pandas简介 1.Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。 2.Pandas 名字衍生自术语 "panel data"(面板数据)和 "Python data analysis"(Python 数据分析)。 3.Pandas 一个强大的分析结构化数据的工具集,基础是Numpy(提供高性能的矩阵运算)。 4.Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。 5.Pandas 可以.

qq_40703593的博客 6079

数据读取操作【Pandas】

本文章主要讲述了有关pandas中数据读取的相关操作

qq_46044325的博客 1388

Pandas 二:读取数据

Pandas 二:读取数据pandas读取纯文本文件读取csv文件读取txt文件pandas读取xlsx格式excel文件pandas读取mysql数据表 加载Pandas库 import pandas as pd pandas读取纯文本文件 读取csv文件 源数据: 读取CSV,使用默认的标题行、逗号分隔符 fpath = "E:/ratings.csv" 使用pd.read_csv读取数据 ratings = pd.read_csv(fpath) 查看前几行数据 print(ratings.he

cai_and_luo的博客 8109

500万数据的txt格式_python 从excel、csv、mysql、txt获取数据源

使用python进行数据分析工作的第一步是获取数据源,数据源来可能来自于excel、txt、csv文件、mysql数据库。分别看看这些数据源怎么导入到python中。1. Excel 数据源导入python首先导入pandas 模块import pandas as pd excel 导入格式为:pd.read_excel( 路径,sheet_name=’’ ,header=0,name=’’, ...

weixin_35676977的博客 283
上一篇: SSM整合之分页功能的实现
下一篇: 面试之葵花宝典
weixin_30278311
博客等级 码龄11年 90粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值