Python数据分析之读取Excel数据并导入数据库

这篇具有很好参考价值的文章主要介绍了Python数据分析之读取Excel数据并导入数据库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

曾某年某一天某地
时间如静止的空气
你的不羁
给我惊喜
——《谁愿放手》陈慧琳


前言

入职新公司两个多月,发现这边的数据基础很差,很多数据甚至没有系统承载,大量的Excel表,大量的人工处理工作,现阶段被迫“面向Excel”编程。本文主要介绍使用Python读取Excel数据并导入mysql数据库的方法,供各位小伙伴参考。


一、Python读取Excel数据

Python读取Excel数据主要是使用pandas包,语法为read_excel(“excel文件名”)。

(一)创建测试Excel表

Excel表数据如下
python excel导入数据库,Python,python,数据分析,excel

(二)读取Excel

相关代码如下,其中sheet_name可以省略,sheet_name="具体sheet页面"则只读该sheet页,sheet_name=0则读取第一个sheet页。

import pandas as pd

df = pd.read_excel("test_20230312.xlsx", sheet_name="Sheet1")
print(df)

(三)结果展示

python excel导入数据库,Python,python,数据分析,excel

二、Python连接mysql数据库

Python连接mysql数据库主要是使用pymysql包,创建连接语法为connect(host=‘数据库地址’,port=‘端口号’,user=‘用户名’,password=‘密码’,database=‘数据库库名’,charset=‘utf8’),读取mysql表的语法为read_sql(‘SQL语句’, con=mysql连接)

(一)创建数据库连接,读表测试

相关代码如下

import pymysql

conn = pymysql.connect(host='xxx',
                       port='xxx',
                       user='xxx',
                       password='xxx',
                       database='xxx',
                       charset='utf8')

df = pd.read_sql('select * from test.dim_category', con=conn)
print(df)

(二)结果展示

python excel导入数据库,Python,python,数据分析,excel

三、将Excel数据导入数据库表

(一)相关思路

建立数据库连接 -> 读取Excel表 -> 形成数据集 -> 将数据集插入数据库表,具体代码如下。

import pandas as pd
import pymysql

conn = pymysql.connect(host='xxx',
                       port='xxx',
                       user='xxx',
                       password='xxx',
                       database='xxx',
                       charset='utf8')

df = pd.read_excel("test_20230312.xlsx", sheet_name="Sheet1")
infodata = pd.DataFrame(df).values
cur = conn.cursor()

length = len(infodata)
for i in range(0, length):
    data_each = []
    data_each = infodata[i]
    print(data_each)
    sql = "insert into test_python_insert values{}".format(tuple(data_each))
    try:
        cur.execute(sql)
        conn.commit()
        print(i)
    except:
        conn.rollback()

cur.close()
conn.close()


(二)结果展示

python excel导入数据库,Python,python,数据分析,excel


四、知识拓展

(一)借助sqlalchemy包操作数据库

sqlalchemy包不同于上文使用的pymysql,它属于ORM(Object Relational Mapping对象关系映射)工具包。通过ORM,开发者可以用面向对象的方式来操作数据库,不需要编写SQL语句。有固定的格式语法,合理使用可以提高编码效率。

import pandas as pd
from sqlalchemy import create_engine

HOST = 'xxx'
PORT = 'xxx'
DB = 'xxx'
USERNAME = 'xxx'
PASSWORD = 'xxx'
TABLE = 'xxx'

engine = create_engine('mysql+pymysql://%s:%s@%s:%s/%s?charset=utf8'
                       % (USERNAME, PASSWORD, HOST, PORT, DB))

col_name = ['id', 'name', 'age']
df = pd.read_excel('test_20230312.xlsx', names=col_name)
print(df.head())
df.to_sql(TABLE, engine, if_exists='append', index=False)

(二)结果展示

python excel导入数据库,Python,python,数据分析,excel

五、小贴士

(一)python库包安装

上文使用了几个python包,如pandas、pymysql、sqlalchemy
如果没有安装这些包,可以使用以下命令直接在window cmd命令行界面安装。

pip install 包名

python excel导入数据库,Python,python,数据分析,excel

总结

Python可以通过一些非常实用的包,如pandas,numpy等,对数据进行清洗,整理分析,合理利用Python可以提高我们处理分析数据的效率。文章来源地址https://www.toymoban.com/news/detail-822228.html

到了这里,关于Python数据分析之读取Excel数据并导入数据库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包