go 实现ringbuffer以及ringbuffer使用场景介绍

这篇具有很好参考价值的文章主要介绍了go 实现ringbuffer以及ringbuffer使用场景介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ringbuffer因为它能复用缓冲空间,通常用于网络通信连接的读写,虽然市面上已经有了go写的诸多版本的ringbuffer组件,虽然诸多版本,实现ringbuffer的核心逻辑却是不变的。但发现其内部提供的方法并不能满足我当下的需求,所以还是自己造一个吧。

源码已经上传到github

https://github.com/HobbyBear/ringbuffer

需求分析

我在基于epoll实现一个网络框架时,需要预先定义好的和客户端的通信协议,当从连接读取数据时需要判读当前连接是否拥有完整的协议(实际网络环境中可能完整的协议字节只到达了部分),有才会将数据全部读取出来,然后进行处理,否则就等待下次连接可读时,再判断连接是否具有完整的协议。

由于在读取时需要先判断当前连接是否有完整协议,所以读取时不能移动读指针的位置,因为万一协议不完整的话,下次读取还要从当前的读指针位置开始读取。

所以对于ringbuffer 组件我会实现一个peek方法

func (r *RingBuffer) Peek(readOffsetBack, n int) ([]byte, error)

peek方法两个参数,n代表要读取的字节数, readOffsetBack 代表读取是要在当前读位置偏移的字节数,因为在设计协议时,往往协议不是那么简单(可能是由多个固定长度的数据构成) ,比如下面这样的协议格式。

go 实现ringbuffer以及ringbuffer使用场景介绍

完整的协议有三段构成,每段开头都会有一个4字节的大小代表每段的长度,在判断协议是否完整时,就必须看着3段的数据是否都全部到达。 所以在判断第二段数据是否完整时,会跳过前面3个字节去判断,此时readOffsetBack 将会是3。

此外我还需要一个通过分割符获取字节的方法,因为有时候协议不是固定长度的数组了,而是通过某个分割符判断某段协议是否结束,比如换行符。

func (r *RingBuffer) PeekBytes(readOffsetBack int, delim byte) ([]byte, error) 

接着,还需要提供一个更新读位置的方法,因为一旦判断是一个完整的协议后,我会将协议数据全部读取出来,此时应该要更新读指针的位置,以便下次读取新的请求。

func (r *RingBuffer) AddReadPosition(n int) 

n 便是代表需要将读指针往后偏移的n个字节。

ringbuffer 原理解析

接着,我们再来看看实际上ringbuffer的实现原理是什么。

首先来看下一个ringbuffer应该有的属性

type RingBuffer struct {  
   buf             []byte  
   reader          io.Reader  
   r               int // 标记下次读取开始的位置  
   unReadSize      int // 缓冲区中未读数据大小  
}

buf 用作连接读取的缓冲区,reader 代表了原链接,r代表读取ringbuffer时应该从字节数组的哪个位置开始读取,unReadSize 代表缓冲区当中还有多少数据没有读取,因为你可能一次性从reader里读取了很多数据到buf里,但是上层应用只取buf里的部分数据,剩余的未读数据就留在了buf里,等待下次被应用层继续读取。

我们用一个5字节的字节数组当做缓冲区, 首先从ringbuffer读取数据时,由于ringbuffer内部没有数据,所以需要从连接中读取数据然后写到ringbuffer里。

如下图所示:

假设ringBuffer规定每次向原网络连接读取时 按4字节读取到缓冲区中(实际情况为了减少系统调用开销,这个值会更多,尽可能会一次性读取更多数据到缓冲区) write pos 指向的位置则代表从reader读取的数据应该从哪个位置开始写入到buf字节数组里。

writePos = (r + unReadSize) % len(buf)

go 实现ringbuffer以及ringbuffer使用场景介绍
接着,上层应用只读取了3个字节,缓冲区中的读指针r和未读空间就会变成下面这样

go 实现ringbuffer以及ringbuffer使用场景介绍

如果此时上层应用还想再读取3个字节,那么ringbuffer就必须再向reader读取字节填充到缓冲区上,我们假设这次向reader索取3个字节。缓冲区的空间就会变成下面这样

go 实现ringbuffer以及ringbuffer使用场景介绍
此时已经复用了首次向reader读取数据时占据的缓冲空间了。

当填充上字节后,应用层继续读取3个字节,那么ringBuffer会变成这样

go 实现ringbuffer以及ringbuffer使用场景介绍

读指针又指向了数组的开头了,可以得出读指针的计算公式

r = (r + n)% len(buf)

ringBuffer 代码解析

有了前面的演示后,再来看代码就比较容易了。用peek 方法举例进行分析,

func (r *RingBuffer) Peek(readOffsetBack, n int) ([]byte, error) { 
   // 由于目前实现的ringBuffer还不具备自动扩容,所以不支持读取的字节数大于缓冲区的长度
   if n > len(r.buf) {  
      return nil, fmt.Errorf("the unReadSize is over range the buffer len")  
   }  
peek:  
   if n <= r.UnReadSize()-readOffsetBack {  
      // 说明缓冲区中的未读字节数有足够长的n个字节,从buf缓冲区直接读取
      readPos := (r.r + readOffsetBack) % len(r.buf)  
      return r.dataByPos(readPos, (r.r+readOffsetBack+n-1)%len(r.buf)), nil  
   }  
   // 说明缓冲区中未读字节数不够n个字节那么长,还需要从reader里读取数据到缓冲区中
   err := r.fill()  
   if err != nil {  
      return nil, err  
   }  
   goto peek  
}

peek方法的大致逻辑是首先判断要读取的n个字节能不能从缓冲区buf里直接读取,如果能则直接返回,如果不能,则需要从reader里继续读取数据,直到buf缓冲区数据够n个字节那么长。

dataByPos 方法是根据传入的元素位置,从buf中读取在这个位置区间内的数据。

// dataByPos 返回索引值在start和end之间的数据,闭区间  
func (r *RingBuffer) dataByPos(start int, end int) []byte {  
   // 因为环形缓冲区原因,所以末位置索引值有可能小于开始位置索引  
   if end < start {  
      return append(r.buf[start:], r.buf[:end+1]...)  
   }  
   return r.buf[start : end+1]  
}

fill() 方法则是从reader中读取数据到buf里。

fill 情况分析

reader填充新数据到buf后,未读空间未跨越buf末尾

go 实现ringbuffer以及ringbuffer使用场景介绍
当从reader读取完数据后,如果 end := r.r + r.unReadSize + readBytes end指向了未读空间的末尾,如果没有超过buf的长度,那么将数据复制到buf里的逻辑很简单,直接在当前write pos的位置追加读取到的字节就行。

// 此时writePos 没有超过 len(buf)
writePos = (r + unReadSize)

未读 空间 本来就 已经从头覆盖

当未读空间本来就重新覆盖了buf头部,和上面类似,这种情况也是直接在write pos 位置追加数据即可。

go 实现ringbuffer以及ringbuffer使用场景介绍

未读空间未跨越buf末尾,当从reader追加数据到buf后发现需要覆盖buf头部

go 实现ringbuffer以及ringbuffer使用场景介绍
这种情况需要将读取的数据一部分覆盖到buf的末尾

 writePos := (r.r + r.unReadSize) % len(r.buf)  
 n := copy(r.buf[writePos:], buf[:readBytes])  

一部分覆盖到buf的头部

end := r.r + r.unReadSize + readBytes  
copy(r.buf[:end%len(r.buf)], buf[len(r.buf)-writePos:])  

现在再来看fill的源码就比较容易理解了。文章来源地址https://www.toymoban.com/news/detail-471890.html

func (r *RingBuffer) fill() error {  
   if r.unReadSize == len(r.buf) {  
      // 当未读数据填满buf后 ,就应该等待上层应用把未读数据读取一部分再来填充缓冲区
      return fmt.Errorf("the unReadSize is over range the buffer len")  
   }  
   // batchFetchBytes 为每次向reader里读取多少个字节,如果此时buf的剩余空间比batchFetchBytes小,则应该只向reader读取剩余空间的字节数
   readLen := int(math.Min(float64(r.batchFetchBytes), float64(len(r.buf)-r.unReadSize)))  
   buf := make([]byte, readLen)  
   readBytes, err := r.reader.Read(buf)  
   if readBytes > 0 {  
     // 查看读取readBytes个字节后,未读空间有没有超过buf末尾指针,如果超过了,在复制数据时需要特殊处理
      end := r.r + r.unReadSize + readBytes  
      if end < len(r.buf) {
        // 没有超过末尾指针,直接将数据copy到writePos后面  
         copy(r.buf[r.r+r.unReadSize:], buf[:readBytes])  
      } else {  
        // 超过了末尾指针,有两种情况,看下图分析
         writePos := (r.r + r.unReadSize) % len(r.buf)  
         n := copy(r.buf[writePos:], buf[:readBytes])  
         if n < readBytes {  
            copy(r.buf[:end%len(r.buf)], buf[len(r.buf)-writePos:])  
         }  
      }  
      r.unReadSize += readBytes  
      return nil  
   }  
   if err != nil {  
      return err  
   }  
   return nil  
}

到了这里,关于go 实现ringbuffer以及ringbuffer使用场景介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Go类型嵌入介绍和使用类型嵌入模拟实现“继承”

    目录 Go类型嵌入介绍和使用类型嵌入模拟实现“继承” 一、独立的自定义类型 二、继承 三、类型嵌入 3.1 什么是类型嵌入 四、接口类型的类型嵌入 4.1 接口类型的类型嵌入介绍 4.2 一个小案例 五、结构体类型的类型嵌入 5.1 结构体类型的类型嵌入介绍 5.2 小案例 六、“实现继

    2024年02月05日
    浏览(29)
  • 【JMeter】后置处理器的分类以及场景介绍

    1.常用后置处理器的分类 Json提取器 针对响应体的返回结果是 json格式 的 会自动生成新的变量名为【提取器中 变量名_MatchNr 】,取到的个数由jsonpath expression取到的个数决定 可以当作普通变量调用,调用语法:${ 提取器中 变量名_MatchNr } 正则表达式提取器 返回结果是 任何数

    2024年02月05日
    浏览(38)
  • Go语言网络编程介绍以及案例运用

    1. 基本概念 TCP 和 UDP : Go语言支持TCP(传输控制协议)和UDP(用户数据报协议)。TCP提供可靠的、面向连接的通信,而UDP提供无连接的快速数据传输。 并发 : Go语言的并发模型是通过goroutines实现的。每个网络请求都可以在自己的goroutine中处理,实现高效的并发。 Channels : 用于

    2024年01月25日
    浏览(49)
  • 【Linux系统进阶详解】Linux核心命令深度实战实现原理详解和每个命令使用场景以及实例分析

    在Linux系统中, find 、 xargs 、 sed 、 grep 、正则表达式和通配符是非常常用的命令和技巧。它们可以结合使用,实现更复杂的文件查找、过滤和操作。下面将详细介绍它们的实现原理和使用场景。 find命令 ``find`命令通过遍历指定目录及其子目录来查找符合条件的文件或目录。

    2024年02月08日
    浏览(216)
  • EIP-712签名介绍以及使用hardhat实现

    EIP-712是一种高级安全的交易签名方法。使用该标准不仅可以签署交易并且可以验证签名,而且可以将数据与签名以用户可见内容的方式一起传递到智能合约中,并且可以根据该数据验证签名以了解签名者是否是实际发送该签名的人要在交易中调用的数据。 EIP-712提出了数据的

    2024年02月02日
    浏览(31)
  • Go语言中入门Hello World以及IDE介绍

    您可以阅读Golang教程第1部分:Go语言介绍与安装 来了解什么是golang以及如何安装golang。 Go语言已经安装好了,当你开始学习Go语言时,编写一个\\\"Hello, World!\\\"程序是一个很好的入门点。 下面将会提供了一些有关IDE和在线编辑器的信息,和如何使用Go语言编写并运行一个简单的

    2024年02月07日
    浏览(46)
  • 【介绍一个组件】go: Copy-On-Write map,对读极多和写极少的场景做优化

    作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 代码请看:https://github.com/ahfuzhang/cowmap 有这样一种场景:数据量不多的map,在使用中读极多写极少。为了在这种场景下做极致的优化,我实现了 copy-on-write 的map: 其实现

    2024年04月24日
    浏览(19)
  • Oauth2.0四种授权模式适用场景和授权流程介绍以及个人的一些思考

    Oauth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准,先前曾经了解过在 spring-security-oauth2 中 Oauth 四种模式的实现,也通过 Shiro 实现了 Oauth 的授权流程。 目前 spring-security-oauth2 已经被逐步废弃, Spring 也提供了新的框架 spring-authorization-server ,整个框架基于

    2024年02月03日
    浏览(25)
  • stack 、 queue的语法使用及底层实现以及deque的介绍【C++】

    stack是一种容器适配器,具有后进先出,只能从容器的一端进行元素的插入与提取操作 队列是一种容器适配器,具有先进先出,只能从容器的一端插入元素,另一端提取元素 stack和queue在STL中并没有将其划分在容器的行列,而是称为容器适配器 因为stack和queue对其他容器的接口

    2024年02月12日
    浏览(33)
  • Go新项目-调研关于go项目中redis的使用场景,lua实战(7)

    参考地址 https://juejin.cn/post/7079756129433370638 https://blog.csdn.net/gaogaoshan/article/details/41039581 https://redis.io/docs/clients/go/ redis的使用场景的解释 下面一一来分析下Redis的应用场景都有哪些。 1、缓存 缓存现在几乎是所有中大型网站都在用的必杀技,合理的利用缓存不仅能够提升网站访

    2024年01月18日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包