【Python】从入门到上头— IO编程(8)

这篇具有很好参考价值的文章主要介绍了【Python】从入门到上头— IO编程(8)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.IO编程是什么

IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘、网络等,就需要IO接口

比如你打开浏览器,访问新浪首页,浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器,告诉它我想要首页的HTML,这个动作是往外发数据,叫Output,随后新浪服务器把网页发过来,这个动作是从外面接收数据,叫Input。所以,通常,程序完成IO操作会有Input和Output两个数据流。当然也有只用一个的情况,比如,从磁盘读取文件到内存,就只有Input操作,反过来,把数据写到磁盘文件里,就只是一个Output操作。

  • IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一个水管,数据就是水管里的水,但是只能单向流动。Input Stream就是数据从外面(磁盘、网络)流进内存,Output Stream就是数据从内存流到外面去。对于浏览网页来说,浏览器和新浪服务器之间至少需要建立两根水管,才可以既能发数据,又能收数据。

由于CPU和内存的速度远远高于外设的速度,所以,在IO编程中,就存在速度严重不匹配的问题。举个例子来说,比如要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒,怎么办呢?有两种办法:

  • 第一种是CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行,这种模式称为同步IO;

  • 另一种方法是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行,这种模式称为异步IO。

同步和异步的区别就在于是否等待IO执行的结果

  • 好比你去麦当劳点餐,你说“来个汉堡”,服务员告诉你,对不起,汉堡要现做,需要等5分钟,于是你站在收银台前面等了5分钟,拿到汉堡再去逛商场,这是同步IO。

    • 你说“来个汉堡”,服务员告诉你,汉堡需要等5分钟,你可以先去逛商场,等做好了,我们再通知你,这样你可以立刻去干别的事情(逛商场),这是异步IO。

很明显,使用异步IO来编写程序性能会远远高于同步IO,但是异步IO的缺点是编程模型复杂

  • 想想看,你得知道什么时候通知你“汉堡做好了”,而通知你的方法也各不相同。如果是服务员跑过来找到你,这是回调模式
  • 如果服务员发短信通知你,你就得不停地检查手机,这是轮询模式。总之,异步IO的复杂度远远高于同步IO

操作IO的能力都是由操作系统提供的,每一种编程语言都会把操作系统提供的低级C接口封装起来方便使用,Python也不例外。我们后面会详细讨论Python的IO编程接口。

注意,本章的IO编程都是同步模式,异步IO由于复杂度太高,后续涉及到服务器端程序开发时我们再讨论。

二.文件读写

1.读取文件

  1. 使用Python内置的open()函数,传入文件名和标示符

    f = open('/data/est.txt', 'r')
    
    • 标示符'r'表示读,如果文件不存在,open()函数就会抛出一个IOError错误,表示文件不存在:

      Traceback (most recent call last):
        File "<stdin>", line 1, in <module>
      FileNotFoundError: [Errno 2] No such file or directory: '/data/est.txt'
      
  2. 如果文件打开成功,调用read()方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str对象表示:

    f.read()
    #'Hello, world!'
    
  3. 调用close()方法关闭文件

    • 文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的:
    f.close()
    
  4. 文件读写可能产生IOError,一旦出错,后面的f.close()就不会调用。为了保证无论是否出错都能正确地关闭文件,我们可以使用try ... finally来实现:

    try:
        f = open('/data/file.txt', 'r')
        print(f.read())
    finally:
        if f:
            f.close()
    
    • 每次都这么写实在太繁琐,所以,Python引入了with语句来自动帮我们调用close()方法:

      with open('/data/file.txt', 'r') as f:
          print(f.read())
      
  5. 调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容

    • 另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list

建议:如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

2.file-like Object

像open()函数返回的这种有个read()方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等file-like Object不要求从特定类继承,只要写个read()方法就行。

  • StringIO就是在内存中创建的file-like Object,常用作临时缓冲

二进制文件

要读取二进制文件,比如图片、视频等等,用'rb'模式打开文件即可:

f = open('/Users/michael/test.jpg', 'rb')
f.read()
`b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # `十六进制表示的字节

字符编码

要读取非UTF-8编码的文本文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件:

f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
f.read()
  • 遇到有些编码不规范的文件,你可能会遇到UnicodeDecodeError,因为在文本文件中可能夹杂了一些非法编码的字符。

    • 这种场景open()函数还接收一个errors参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略:
     f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
    

3.写文件

写文件和读文件是一样的,唯一区别是调用open()函数时,传入标识符'w'或者'wb'表示写文本文件写二进制文件

  • 以’w’模式写入文件时,如果文件已存在,会直接覆盖(相当于删掉后新写入一个文件)
  • 如果我们希望追加到文件末尾怎么办?可以传入'a'以追加(append)模式写入
    f = open('/data/test.txt', 'w')
    f.write('Hello, world!')
    f.close()
    
  • 可以反复调用write()来写入文件,但是务必要调用close()来关闭文件。
    • 当我们写文件时,操作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入
      • 只有调用close()方法时,操作系统才保证把没有写入的数据全部写入磁盘
      • 忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。所以,还是用with语句来得保险:
    with open('/Users/michael/test.txt', 'w') as f:
        f.write('Hello, world!')
    

file对象的常用函数

【Python】从入门到上头— IO编程(8),Python,python,java,开发语言,pyqt,git,windows

常见标识符

【Python】从入门到上头— IO编程(8),Python,python,java,开发语言,pyqt,git,windows

三.StringIO和BytesIO

  • StringIO和BytesIO是在内存中操作str和bytes的方法,使得和读写文件具有一致的接口。

1.StringIO

StringIO顾名思义就是在内存中读写str。

  1. 先创建一个StringIO,然后,像文件一样写入即可:

    from io import StringIO
    
    f = StringIO()
    f.write('hello')
    # 5
    f.write(' ')
    # 1
    f.write('world!')
    # 6
    print(f.getvalue())
    # hello world!
    
    • getvalue()方法用于获得写入后的str。
  2. 读取StringIO,可以用一个str初始化StringIO,然后,像读文件一样读取:

    from io import StringIO
    	
    f = StringIO('Hello!\nHi!\nGoodbye!')
    while True:
        s = f.readline()
        if s == '': 
            break
        print(s.strip())
    
    # Hello!
    # Hi!
    # Goodbye!
    

2.BytesIO

如果要操作二进制数据,就需要使用BytesIO。

  1. BytesIO实现了在内存中读写bytes,创建一个BytesIO,然后写入一些bytes:

    • 写入的不是str,而是经过UTF-8编码的bytes。
    from io import BytesIO
    f = BytesIO()
    f.write('中文'.encode('utf-8'))
    #6
    
    print(f.getvalue())
    #b'\xe4\xb8\xad\xe6\x96\x87'
    
  2. 初始化一个BytesIO,然后,像读文件一样读取:

    from io import BytesIO
    f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')
    f.read()
    #b'\xe4\xb8\xad\xe6\x96\x87'
    

四.操作文件和目录

如果要在Python程序中执行这些目录和文件的命令dir、cp、del操作怎么办

  • Python内置的os模块也可以直接调用操作系统提供的接口函数。
#导入os模块
import os

#操作系统类型  如果是posix,说明系统是Linux、Unix或Mac OS X,如果是nt,就是Windows系统。
print(os.name)

# 查看当前目录的绝对路径:
print(os.path.abspath('.'))
# 'E:\29_resources_python\study'

#把两个路径合成一个时,不要直接拼字符串,而要通过os.path.join()函数,
#这样可以正确处理不同操作系统的路径分隔符。在Linux/Unix/Mac下,os.path.join()返回这样的字符串
print(os.path.join('E:/29_resources_python/study/', 'testdir'))

#创建一个目录:
os.mkdir('E:/29_resources_python/study/testdir')

#删掉一个目录:
os.rmdir('E:/29_resources_python/study/testdir')


#对文件重命名:
os.rename('E:/29_resources_python/study/test1', 'test.py')
#删掉文件:
os.remove('test.py')
  • os模块中不存在复制文件功能
    • 因是复制文件并非由操作系统提供的系统调用。我们通过文件读写可以完成文件复制,只不过要多写很多代码。

      • 幸运的是shutil模块提供了copyfile()的函数,你还可以在shutil模块中找到很多实用函数,它们可以看做是os模块的补充

五.序列化和反序列化

  • 把变量从内存中变成可存储或传输的过程称之为序列化,序列化之后,就可以写入磁盘,或者通过网络传输到别的机器上。

  • 反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化Python提供了pickle模块来实现序列化。

1.pickle.dumps()

  • pickle.dumps()方法可以任意对象序列化成一个bytes,然后,就可以把这个bytes写入文件。

    import pickle
    d = dict(name='Bob', age=20, score=88)
    print(pickle.dumps(d))
    #执行结果
    #b'\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.'
    
    • 或者使用pickle.dump()直接把对象序列化后写入一个指定文件中
    f = open('dump.txt', 'wb')
    pickle.dump(d, f)
    f.close()
    

2.pickle.loads()

  • 当我们要把对象从磁盘读到内存时,可以先把内容读到一个·bytes·,然后用pickle.loads()方法反序列化出对象,也可以直接用·pickle.load()·方法从一个文件直接反序列化出对象。

    f = open('dump.txt', 'rb')
    d = pickle.load(f)
    f.close()
    print(d)
    #{'age': 20, 'score': 88, 'name': 'Bob'}
    

3.JSON

  • 将数据序列化为JSON,可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。

    • JSON表示的对象就是标准的JavaScript语言的对象,JSON和Python内置的数据类型对应如下:
    • 【Python】从入门到上头— IO编程(8),Python,python,java,开发语言,pyqt,git,windows

Python内置的json模块提供了非常完善的Python对象到JSON格式的转换

Python序列化为Json对象

  • dumps():方法返回一个str,内容就是标准的JSON

  • dump():方法可以直接把JSON写入一个文件中

    import json
    d = dict(name='Bob', age=20, score=88)
    json.dumps(d)
    #'{"age": 20, "score": 88, "name": "Bob"}'
    

JSON反序列化为Python对象

  • loads():JSON的字符串反序列化

  • load():从文件中读取字符串并反序列化:

    import json
    json_str = '{"age": 20, "score": 88, "name": "Bob"}'
    json.loads(json_str)
    #{'age': 20, 'score': 88, 'name': 'Bob'}
    

Class转JSON

  • 对象实例直接转class会报错报错,原因是Student对象不是一个可序列化为JSON的对象。

    import json
    
    class Student(object):
        def __init__(self, name, age, score):
            self.name = name
            self.age = age
            self.score = score
    
    s = Student('Bob', 20, 88)
    print(json.dumps(s))
    
    Traceback (most recent call last):
      ...
    TypeError: <__main__.Student object at 0x10603cc50> is not JSON serializable
    
  • 默认情况下,dumps()方法不知道如何将Student实例变为一个JSON的{}对象。我需要为Student专门写一个转换函数,再把函数传进去即可:

    def student2dict(std):
        return {
            'name': std.name,
            'age': std.age,
            'score': std.score
        }
    
    • 需要Student实例首先被student2dict()函数转换成dict,然后再被顺利序列化为JSON

      s = Student('Bob', 20, 88)
      print(json.dumps(s, default=student2dict))
      # {"age": 20, "name": "Bob", "score": 88}
      
    • 也可以把任意class的实例变为dict:

      print(json.dumps(s, default=lambda obj: obj.__dict__))
      # {"age": 20, "name": "Bob", "score": 88}
      
      • 因为通常class的实例都有一个__dict__属性,它就是一个dict,用来存储实例变量。也有少数例外,比如定义了__slots__的class

JSON转Class

先用loads()方法首先转换出一个dict对象,然后传入的转换函数负责 将dict转换为Student实例:文章来源地址https://www.toymoban.com/news/detail-687201.html

def dict2student(d):
    return Student(d['name'], d['age'], d['score'])
json_str = '{"age": 20, "score": 88, "name": "Bob"}'
print(json.loads(json_str, object_hook=dict2student))
#<__main__.Student object at 0x000001C3B0BD9CD0>

到了这里,关于【Python】从入门到上头— IO编程(8)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【当学C语言 或者 java 或者 python时 是不是IO文件操作部分很难学懂?这三道例题帮你理解IO】【IO三道例题】

    示例1 示例2 示例3 注意:我们现在的方案性能较差,所以尽量不要在太复杂的目录下或者大文件下实验

    2024年02月16日
    浏览(51)
  • 【python】IO编程

    简化为下面的语法糖 这个文件中,每行的末尾都有一个看不见的换行符,而print 语句也会加上一个换行符,因此每行末尾都有两个换行符:一个来自文件,另一个来自print 语句。 调用 read() 会一次性读取文件的全部内容,但如果文件有10G,内存就爆了。所以,要保险起见,可

    2024年02月09日
    浏览(31)
  • 入门人工智能 —— 学习一门编程语言 python 基础代码编写和运算符介绍(1)

    随着人工智能技术的快速发展,越来越多的年轻人开始关注这个领域。作为入门者,学习人工智能编程语言至关重要。这里将介绍人工智能编程语言Python的基础知识,帮助初学者更好地理解人工智能领域的基本概念和技术。 下面是一些入门 Python 编程语言的基本知识: 安装

    2024年02月09日
    浏览(66)
  • 🔥🔥Java开发者的Python快速进修指南:网络编程及并发编程

    今天我们将对网络编程和多线程技术进行讲解,这两者的原理大家都已经了解了,因此我们主要关注的是它们的写法区别。虽然这些区别并不是非常明显,但我们之所以将网络编程和多线程一起讲解,是因为在学习Java的socket知识时,我们通常会将它们结合使用,以实现服务器

    2024年02月05日
    浏览(69)
  • Python编程入门基础及高级技能、Web开发、数据分析和机器学习与人工智能

    安装 Python 环境,选择一个 IDE,如 PyCharm、VSCode等。 安装 Python 环境是使用 Python 进行编程的第一步。Python 官网提供了 Windows、Linux 和 macOS 等主流操作系统的安装包,可以前往官网下载对应版本的 Python 并进行安装。 在安装完 Python 后,需要使用 pip 工具对常用的第三方库进行

    2024年02月09日
    浏览(71)
  • 用Python编程实现百度自然语言处理接口的对接,助力你开发智能化处理程序

    用Python编程实现百度自然语言处理接口的对接,助力你开发智能化处理程序 随着人工智能的不断进步,自然语言处理(Natural Language Processing,NLP)成为了解决文本处理问题的重要工具。百度自然语言处理接口提供了一系列强大的功能,如提取、文本分类、情感分析等,

    2024年02月13日
    浏览(105)
  • 【文末送书】Python高并发编程:探索异步IO和多线程并发

    欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。搜索关注公粽号 《机器和智能》 发送“刷题宝

    2024年02月15日
    浏览(44)
  • 对#多种编程语言 性能的研究和思考 go/c++/rust java js ruby python

    打算学习一下rust 借着这个契机 简单的写了计算圆周率代码的各种语言的版本 比较了一下性能 只比拼单线程简单计算能力 计算十亿次循环 不考虑多线程 go/c++/rust java js ruby python 耗时秒数 1:1:1:22:3:250:450 注:能启用则启用编译优化 其中java 使用8、17两个版本测试时间分别是

    2024年01月25日
    浏览(55)
  • 全面对比 Python、Go、VB、PHP、C/C++、C#、.Net、Java、… 等多编程语言区别

    1. 语言类型: 首先,C/C++、Java 、Python都是 强类型 的语言。强类型语言的定义如下: 强类型语言是一种强制类型定义的语言,即一旦某一个变量被定义类型,如果不经强制转换,那么它永远就是该数据类型。而弱类型语言是一种弱类型定义的语言,某一个变量被定义类型,

    2024年02月02日
    浏览(61)
  • APP开发入门:了解主流的编程语言

    在过去的几年里,有许多程序员开始学习和使用编程语言。这其中包括C、C++、 Java和 Python。尽管有许多语言可供选择,但大多数程序员都会选择最容易学习的编程语言。 如今,有很多编程语言供选择。程序员们在学习这些语言时可以自由地选择他们喜欢的方式,因为他们的

    2024年02月15日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包