go读取文件的几种方法

这篇具有很好参考价值的文章主要介绍了go读取文件的几种方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一. 整个文件读入内存

直接将数据直接读取入内存,是效率最高的一种方式,但此种方式,仅适用于小文件,对于大文件,则不适合,因为比较浪费内存

1.直接指定文化名读取

在 Go 1.16 开始,ioutil.ReadFile 就等价于 os.ReadFile,二者是完全一致的

1.1使用os.ReadFile函数读取文件
package main
 
import (
    "fmt"
    "os"
)
 
func main() {
    content, err := os.ReadFile("a.txt")
    if err != nil {
        panic(err)
    }

    fmt.Println(string(content))
}

1.2使用ioutil.ReadFile函数读取文件

package main
 
import (
    "io/ioutil"
    "fmt"
)
 
func main() {
    content, err := ioutil.ReadFile("a.txt")
    if err != nil {
        panic(err)
    }
    fmt.Println(string(content))
}

2.先创建句柄再读取

2.1使用os.OpenFile函数只读形式获取句柄
package main
 
import (
"os"
"io/ioutil"
"fmt"
)
 
func main() {
    file, err := os.Open("a.txt")
    if err != nil {
        panic(err)
    }

    defer file.Close()
    content, err := ioutil.ReadAll(file)
    fmt.Println(string(content))
}

二.每次只读取一行

一次性读取所有的数据,太耗费内存,因此可以指定每次只读取一行数据,方法有三种:

(1)bufio.读行()

(2)bufio.读取字节("\n")

(3)bufio.ReadString(’\n’)

在 bufio 的源码注释中,曾说道 bufio.ReadLine() 是低级库,不太适合普通用户使用,更推荐用户使用 bufio.ReadBytes和bufio.ReadString 去读取单行数据

因此,这里不再介绍 bufio.读行()

1.使用bufio.Reader结构体的ReadBytes方法读取字节数

ReadBytes读取直到第一次遇到delim字节,返回一个包含已读取的数据和delim字节的切片。如果ReadBytes方法在读取到delim之前遇到了错误,它会返回在错误之前读取的数据以及该错误(一般是io.EOF)。当且仅当ReadBytes方法返回的切片不以delim结尾时,会返回一个非nil的错误

package main
 
import (
    "bufio"
    "fmt"
    "io"
    "os"
    "strings"
)
 
func main() {
    // 创建句柄
    fi, err := os.Open("christmas_apple.py")
    if err != nil {
        panic(err)
    }
    //func NewReader(rd io.Reader) *Reader {},返回的是bufio.Reader结构体
    r := bufio.NewReader(fi)// 创建 Reader
 
    for {
        lineBytes, err := r.ReadBytes('\n')
        //去掉字符串首尾空白字符,返回字符串
        line := strings.TrimSpace(string(lineBytes))
        if err != nil && err != io.EOF {
            panic(err)
        }
        if err == io.EOF {
            break
        }
        fmt.Println(line)
    }
}

2.使用bufio.Reader结构体的ReadString方法读取字符串

ReadString读取直到第一次遇到delim字节,返回一个包含已读取的数据和delim字节的字符串。如果ReadString方法在读取到delim之前遇到了错误,它会返回在错误之前读取的数据以及该错误(一般是io.EOF)。当且仅当ReadString方法返回的切片不以delim结尾时,会返回一个非nil的错误

package main
 
import (
    "bufio"
    "fmt"
    "io"
    "os"
    "strings"
)
 
func main() {
    // 创建句柄
    fi, err := os.Open("a.txt")
    if err != nil {
        panic(err)
    }
 
    // 创建 Reader
    r := bufio.NewReader(fi)
 
    for {
        line, err := r.ReadString('\n')
        line = strings.TrimSpace(line)
        if err != nil && err != io.EOF {
            panic(err)
        }
        if err == io.EOF {
            break
        }
        fmt.Println(line)
    }
}

三.每次只读取固定字节数

每次仅读取一行数据,可以解决内存占用过大的问题,但要注意的是,并不是所有的文件都有换行符 \n;
因此对于一些不换行的大文件来说,还得再想想其他办法

1.使用os库

通用的做法是:

先创建一个文件句柄,可以使用 os.Open 或者 os.OpenFile;

然后 bufio.NewReader 创建一个 Reader;

然后在 for 循环里调用 Reader 的 Read 函数,每次仅读取固定字节数量的数据

Read方法读取数据写入p;本方法返回写入p的字节数;本方法一次调用最多会调用下层Reader接口一次Read方法,因此返回值n可能小于len§;读取到达结尾时,返回值n将为0而err将为io.EOF

package main
 
import (
    "bufio"
    "fmt"
    "io"
    "os"
)
 
func main() {
    // 创建句柄
    fi, err := os.Open("a.txt")
    if err != nil {
        panic(err)
    }
 
    // 创建 Reader
    r := bufio.NewReader(fi)
 
    // 每次读取 1024 个字节
    buf := make([]byte, 1024)
    for {
        //func (b *Reader) Read(p []byte) (n int, err error) {}
        n, err := r.Read(buf)
        if err != nil && err != io.EOF {
            panic(err)
        }
 
        if n == 0 {
            break
        }
        fmt.Println(string(buf[:n]))
    }
}

2.使用 syscall库

os 库本质上也是调用 syscall 库,但由于 syscall 过于底层,如非特殊需要,一般不会使用 syscall;

本篇为了内容的完整度,这里也使用 syscall 来举个例子;

本例中,会每次读取 100 字节的数据,并发送到通道中,由另外一个协程进行读取并打印出来文章来源地址https://www.toymoban.com/news/detail-687419.html

package main
 
import (
    "fmt"
    "sync"
    "syscall"
)
 
func main() {
    fd, err := syscall.Open("christmas_apple.py", syscall.O_RDONLY, 0)
    if err != nil {
        fmt.Println("Failed on open: ", err)
    }
    defer syscall.Close(fd)
 
    var wg sync.WaitGroup
    wg.Add(2)
    dataChan := make(chan []byte)
    go func() {
        wg.Done()
        for {
            data := make([]byte, 100)
            n, _ := syscall.Read(fd, data)
            if n == 0 {
                break
            }
            dataChan <- data
        }
        close(dataChan)
    }()
 
    go func() {
        defer wg.Done()
        for {
            select {
            case data, ok := <-dataChan:
                if !ok {
                    return
                }
 
                fmt.Printf(string(data))
            default:
 
            }
        }
    }()
    wg.Wait()
}

到了这里,关于go读取文件的几种方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Unity读取Json的几种方法

    目录 存入和读取JSON工具 读取本地Json文件 1、unity自带方法 类名:JsonUtility          序列化:ToJson()                    反序列化:FromJson()         用于接收的JSON实体类需要声明 [Serializable]  序列化 实体类中的成员变量要是字段而不是属性{get;set;} 处理数组的话,外

    2024年01月21日
    浏览(41)
  • 【GoLang】Go语言几种标准库介绍(一)

    前言 随着计算机科学的迅猛发展,编程语言也在不断涌现。 在这个多样化的编程语言生态系统中,Go语言凭借其简洁、高效、并发支持等特性逐渐崭露头角。 作为一门开源的静态编程语言,Go语言自带了丰富的标准库,为开发者提供了强大的工具和功能。 本文将深入介绍G

    2024年02月04日
    浏览(60)
  • 【GoLang】Go语言几种标准库介绍(二)

    前言 上一篇,我们介绍了 bufio (buffered I/O)库和 bytes 库 ,这篇我们继续介绍剩下的库 几种库 container 库 (封装堆、列表和环形列表等容器) container 包并不是一个独立的包,而是包含了一些子包,如 container/list 、 container/heap 等,用于实现不同类型的容器数据结构。这些数据

    2024年02月04日
    浏览(57)
  • 【GoLang】Go语言几种标准库介绍(三)

    前言 上一篇,我们介绍了container、crypto、database三个库,这篇我们继续介绍剩下的库 几种库 debug 库 (各种调试文件格式访问及调试功能) 在 Go 语言的标准库中,并没有一个名为 debug 的独立库。 然而,Go 提供了一系列的工具和包,用于调试和性能分析。 这些工具和包包括 d

    2024年02月03日
    浏览(46)
  • Unity中常用的几种读取本地文件方式

    使用的命名空间如下 using LitJson; using System.Collections.Generic; using System.IO; using System.Text; using UnityEngine; using UnityEngine.Networking; 1、通过UnityWebRequest获取本地StreamingAssets文件夹中的Json文件 View Code 2、通过UnityWebRequest和StreamReader读取本地StreamingAssets文件夹中的Json文件 View Code  3、通

    2024年02月04日
    浏览(48)
  • 【SpringBoot系列】读取yml文件的几种方式

    前言 在Spring Boot开发中,配置文件是非常重要的一部分,而yml文件作为一种常用的配置文件格式,被广泛应用于Spring Boot项目中。Spring Boot提供了多种方式来读取yml文件中的属性值,开发者可以根据具体的需求和场景选择合适的方式。本文将介绍Spring Boot读取yml文件的主要方式

    2024年02月05日
    浏览(43)
  • Java如何读取文件文本内容的几种方式汇总

    本文为joshua317原创文章,转载请注明:转载自joshua317博客 Java如何读取文件文本内容的几种方式汇总 - joshua317的博客 本文为joshua317原创文章,转载请注明:转载自joshua317博客 Java如何读取文件文本内容的几种方式汇总 - joshua317的博客

    2024年02月12日
    浏览(72)
  • 【Golang】Golang进阶系列教程--Go 语言 map 如何顺序读取?

    Go 语言中的 map 是一种非常强大的数据结构,它允许我们快速地存储和检索键值对。 然而,当我们遍历 map 时,会有一个有趣的现象,那就是输出的键值对顺序是不确定的。 先看一段代码示例: 当我们多执行几次这段代码时,就会发现,输出的顺序是不同的。 首先,Go 语言

    2024年02月14日
    浏览(67)
  • 【GoLang入门教程】Go语言几种标准库介绍(六)

    前言 上一篇,我们介绍了image、IO、math三个库,这篇我们继续介绍剩下的库 几种库 Net库 (网络库,支持 Socket、HTTP、邮件、RPC、SMTP 等) 在 Go 语言的标准库中, net 包提供了对网络操作的支持,包括基本的网络协议、Socket 编程、HTTP 客户端和服务器等。 net 包包含多个子包,其

    2024年02月02日
    浏览(57)
  • 【GoLang入门教程】Go语言几种标准库介绍(七)

    前言 上一篇,我们介绍了Net、OS、path三个库,这篇我们继续介绍剩下的库 几种库 plugin库 (Go 1.7 加入的插件系统。支持将代码编译为插件,按需加载) 在 Go 语言的标准库中, plugin 包提供了对 Go 插件的支持。 插件是一种在运行时加载并与主程序交互的机制,允许程序在不重新

    2024年01月16日
    浏览(85)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包