Python读取excle文件,插入到数据库

这篇具有很好参考价值的文章主要介绍了Python读取excle文件,插入到数据库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Python读取excle文件,插入到数据库,Python办公自动化,数据库

 一、需求背景

        最近项目实践过程中遇到了一个问题:在使用Navicat将数据导入到PostgreSQL数据库时,发现时间格式的字段中的时间数值发生了变化,导致部分数据的时间不正确,故数据手动导入数据库报错。为了解决这个问题,决定编写Python代码来读取Excel文件,并将数据逐行插入到目标数据库中,以确保时间数据的准确性。

二、实践流程

  1. 确保已安装所需的Python库(如pandaspsycopg2),用于处理Excel文件和连接PostgreSQL数据库。

  2. 准备要导入的Excel文件,确保其中的时间字段格式正确,并且包含需要导入的数据。

  3. 编写Python脚本来执行数据导入操作。

三、代码实践

import psycopg2
import pandas as pd

# 连接数据库
conn = psycopg2.connect(database='jiangyu_01', user='bigdata', password='postgres', host='192.168.22.168', port='1234')
cur = conn.cursor()

# 读取Excel文件并更新数据库中的数据
def synonym():
    data_xls = pd.read_excel('new.xlsx', usecols=[0, 5], Sheetname='news')  # 读取Excel文件中的两列数据,Sheet名为'news'
    print(len(data_xls))
    for data in data_xls.values:
        sql = """UPDATE public.jiaozheng_dataxx SET upload_time='{}' WHERE id={}""".format(data[1], data[0])
        cur.execute(sql)
        conn.commit()

def get_dataset():
    # 读取数据库中的数据示例
    conn = psycopg2.connect(database='sanyu_01', user='tatt', password='postgres', host='192.168.91.13', port='5432')
    cur = conn.cursor()
    cur.execute("SELECT * FROM public.jiaozheng_dingweixx LIMIT 1")
    data = cur.fetchall()
    print(data)

if __name__ == '__main__':
    synonym()  # 执行更新操作

        上述代码是一个例子,实现了通过 psycopg2 库连接到 PostgreSQL 数据库,并读取 Excel 文件中的数据,并将其逐行更新到数据库的指定表 jiaozheng_dataxx 中的 upload_time 字段。

        代码中的 synonym() 函数用于读取 Excel 文件 'new.xlsx' 的 'news' Sheet 中的两列数据,并使用 SQL 更新语句将数据逐行更新到数据库中。get_dataset() 函数用于演示从数据库中读取数据的方法。

        你可以根据自己的需求,将数据库连接参数、Excel 文件路径、表名和字段名等信息进行相应的修改,以满足你实际的数据库和数据更新需求。同时,你也可以根据需要添加异常处理、日志记录等功能来完善代码。

        这样就实现了读取文件插入到数据库的方式,暂时解决当前使用Navicat工具手动导入数据失败的问题。文章来源地址https://www.toymoban.com/news/detail-574215.html

到了这里,关于Python读取excle文件,插入到数据库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • MySQL 数据库表格创建、数据插入及获取插入的 ID:Python 教程

    要在MySQL中创建表格,请使用\\\"CREATE TABLE\\\"语句。 确保在创建连接时定义了数据库的名称。 示例创建一个名为 \\\"customers\\\" 的表格: 如果上述代码没有出现错误,那么您已成功创建了一个表格。 您可以通过使用\\\"SHOW TABLES\\\"语句列出数据库中的所有表格来检查表格是否存在: 示例返

    2024年02月05日
    浏览(9)
  • Python办公自动化 – 自动化文本翻译和Oracle数据库操作

    Python办公自动化 – 自动化文本翻译和Oracle数据库操作

    以下是往期的文章目录,需要可以查看哦。 Python办公自动化 – Excel和Word的操作运用 Python办公自动化 – Python发送电子邮件和Outlook的集成 Python办公自动化 – 对PDF文档和PPT文档的处理 Python办公自动化 – 对Excel文档和数据库的操作运用、设置计划任务 Python办公自动化 – 对

    2024年01月17日
    浏览(16)
  • Python办公自动化 – 操作NoSQL数据库和自动化图像识别

    Python办公自动化 – 操作NoSQL数据库和自动化图像识别

    以下是往期的文章目录,需要可以查看哦。 Python办公自动化 – Excel和Word的操作运用 Python办公自动化 – Python发送电子邮件和Outlook的集成 Python办公自动化 – 对PDF文档和PPT文档的处理 Python办公自动化 – 对Excel文档和数据库的操作运用、设置计划任务 Python办公自动化 – 对

    2024年02月02日
    浏览(13)
  • 使用DataGrip创建数据库并读取sql文件

    使用DataGrip创建数据库并读取sql文件

    DataGrip是由 JetBrains 公司生产的又一个强大且优秀的数据库管理工具。它支持几乎所有的主流的关系数据库产品。对于一些习惯使用Navicat来说,使用DataGrip不太习惯。下面我通过DataGrip 2023.1创建数据库并读取sql文件,其实这个过程是很简单的 DataGrip安装完成后第一次使用时基本

    2024年02月07日
    浏览(21)
  • Python读取hbase数据库

    Python读取hbase数据库

    1. hbase连接 首先用hbase shell 命令来进入到hbase数据库,然后用list命令来查看hbase下所有表,以其中表“DB_level0”为例,可以看到库名“baotouyiqi”是拼接的,python代码访问时先连接: 备注:完整代码在最后,想运行的直接滑倒最后复制即可 2. 按条件读取hbase数据 然后按照条件

    2024年04月09日
    浏览(9)
  • .net core .net6 读取数据库 读取配置文件 保姆级教程

    .net core .net6 读取数据库 读取配置文件 保姆级教程

    本文环境 Microsoft Visual Studio 2022 .Net6 SQLServer2019 在解决方案管理器右键添加相关的包,如下两个包 Microsoft.Data.SqlClient SQLServer SQLServer数据库 Microsoft.Extensions.Configuration.Json json配置文件 添加配置文件 appsettings.json,选始终复制 添加json配置文件内容如下 DefaultConnection 根据自己的

    2024年02月08日
    浏览(12)
  • Python读取excel文件往Elasticsearch数据插入时遇到的问题

    Python读取excel文件往Elasticsearch数据插入时遇到的问题

    背景:需要完成一个功能,使用python读取一个excel文件进行读取数据,然后将这些数据直接保存到Elasticsearch中。 用到的工具:python、Elasticsearch 一、问题描述 在将项目部署到甲方的时候,出现用户导入文件无法进行正常插入到Elasticsearch中的情况,当时看的服务器的日志,报

    2023年04月09日
    浏览(14)
  • Python爬虫之读取数据库中的数据

    Python爬虫之读取数据库中的数据

    之前几篇我们一直在研究如何从网站上快速、方便的获取数据,并将获取到的数据存储在数据库中。但是将数据存储在数据中并不是我们的目的,获取和存储数据的目的是为了更好的利用这些数据,利用这些数据的前提首先需要从数据库按一定的格式来读取数据,这一篇主要

    2023年04月13日
    浏览(11)
  • Python数据分析之读取Excel数据并导入数据库

    Python数据分析之读取Excel数据并导入数据库

    曾某年某一天某地 时间如静止的空气 你的不羁 给我惊喜 ——《谁愿放手》陈慧琳 入职新公司两个多月,发现这边的数据基础很差,很多数据甚至没有系统承载,大量的Excel表,大量的人工处理工作,现阶段被迫“面向Excel”编程。本文主要介绍使用Python读取Excel数据并导入

    2024年01月25日
    浏览(13)
  • 在Linux平台下使用.NET Core访问Access数据库读取mdb文件数据

    今天有群友在群里问 C# 能不能在 Linux 下访问 Access数据库 ? 我觉得这很有趣,因此研究折腾了一下,也因为很久没有写博文了,所以特意上来写博文分享经验。 操作系统: Ubuntu 22.04.3 LTS (Jammy) 开发工具: Visual Studio 2022 (17.8.0) 运行时版本: .NET Runtime 8.0 依赖库: unixodbc 、

    2024年02月05日
    浏览(12)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包