GO语言如何手动管理TCP粘包精解

日期: 2019-12-06 15:30 浏览次数 :

前言

前言

什么样是TCP粘包难题以致为什么会产生TCP粘包,本文不加商讨。本文使用golang的bufio.Scanner来落到实处自定义协议解包。

诚如所谓的TCP粘包是在一回选用数据无法完全地反映一个全体的消息数据。TCP通信为什么存在粘包呢?主因是TCP是以流的措施来管理数据,再增加网络上MTU的一再小于在使用项理的消息数据,所以就能抓住叁回接纳的数量无法满意音讯的内需,导致粘包的留存。管理粘包的并世无双方法正是制定应用层的数据通信合同,通过协商来标准现成采用的数额是不是满意音讯数据的须要。在动用中拍卖粘包的基础艺术主要有二种分别是以4节字描述消息大小或以结束符,实际上也是有五头相结合的如HTTP,redis的通信公约等。

上面话相当的少说了,来一同会见详细的介绍吧。

利用处景

合计数据包定义GO语言如何手动管理TCP粘包精解。

绝大好些个TCP通信场景下,使用自定义通信左券

正文模拟三个日志服务器,该服务器收到顾客端传到的多少包并展现出来

图片 1

type Package struct {
 Version  [2]byte // 协议版本,暂定V1
 Length   int16 // 数据部分长度
 Timestamp  int64 // 时间戳
 HostnameLength int16 // 主机名长度
 Hostname  []byte // 主机名
 TagLength  int16 // 标签长度
 Tag   []byte // 标签
 Msg   []byte // 日志数据
}

粘包管理原理:通过伏乞头中多少包大小,将客户端N次发送的数目缓冲到三个数码包中

谐和定义部分从没什么样好讲的,依据实际的政工逻辑定义就可以。

例如:

多少打包

央浼头占3个字节(指令头1字节、数据包长度2字节),版本占1个字节,指令占2个字节

是因为TCP左券是言语无关的左券,所以直接把协商数据包结构体发送到TCP连接中也是不也许的,只好发送字节流多少,所以须求本人实现数据编码。所幸golang提供了binary来帮衬大家贯彻网络字节编码。

商事规定一个数码包最大是512字节,供给头中数量包记录是1300字节,完整的数据包是1307个字节,那个时候服务器端需求将顾客端3次发送数据进行粘包管理

func (p *Package) Pack(writer io.Writer) error {
 var err error
 err = binary.Write(writer, binary.BigEndian, &p.Version)
 err = binary.Write(writer, binary.BigEndian, &p.Length)
 err = binary.Write(writer, binary.BigEndian, &p.Timestamp)
 err = binary.Write(writer, binary.BigEndian, &p.HostnameLength)
 err = binary.Write(writer, binary.BigEndian, &p.Hostname)
 err = binary.Write(writer, binary.BigEndian, &p.TagLength)
 err = binary.Write(writer, binary.BigEndian, &p.Tag)
 err = binary.Write(writer, binary.BigEndian, &p.Msg)
 return err
}

代码示例

Pack方法的出口指标为io.Writer,有助于接口扩大,只要达成了该接口就可以编码数据写入。binary.BigEndian是字节序,本文一时半刻不商量,有需求的读者能够自行检索资料钻探。

package server
import (
 "net"
 "bufio"
 "ftj-data-synchro/protocol"
 "golang.org/x/text/transform"
 "golang.org/x/text/encoding/simplifiedchinese"
 "io/ioutil"
 "bytes"
 "ftj-data-synchro/logic"
 "fmt"
 "strconv"
)
/*
 客户端结构体
 */
type Client struct {
 DeviceID string  //客户端连接的唯标志
 Conn  net.Conn  //连接
 reader *bufio.Reader //读取
 writer *bufio.Writer //输出
 Data  []byte  //接收数据
}
func NewClient(conn *net.TCPConn) *Client {
 reader := bufio.NewReaderSize(conn, 10240)
 writer := bufio.NewWriter(conn)
 c := &Client{Conn:conn, reader:reader, writer:writer}
 return c
}
/**
 数据读取(粘包处理)
 */
func (this *Client)read() {
 for {
  var data []byte
  var err error
  //读取指令头 返回输入流的前4个字节,不会移动读取位置
  data, err = this.reader.Peek(4)
  if len(data) == 0 || err != nil {
   continue
  }
  //返回缓冲中现有的可读取的字节数
  var byteSize = this.reader.Buffered()
  fmt.Printf("读取字节长度:%dn", byteSize)
  //生成一个字节数组,大小为缓冲中可读字节数
  data = make([]byte, byteSize)
  //读取缓冲中的数据
  this.reader.Read(data)
  fmt.Printf("读取字节:%dn", data)
  //保存到新的缓冲区
  for _, v := range data {
   this.Data = append(this.Data, v)
  }
  if len(this.Data) < 4 {
   //数据包缓冲区清空
   this.Data = []byte{}
   fmt.Printf("非法数据,无指令头...n")
   continue
  }
  data, err = protocol.HexBytesToBytes(this.Data[:4])
  instructHead, _ := strconv.ParseUint(string(data), 16, 16)
  //指令头效验
  if uint16(instructHead) != 42330 {
   fmt.Printf("非法数据n")
   //数据包缓冲区清空
   this.Data = []byte{}
   continue
  }
  data = this.Data[:protocol.HEADER_SIZE]
  var p = protocol.Decode(data)
  fmt.Printf("消息体长度:%dn", p.Len)
  var bodyLength = len(this.Data)  
  /**
   判断数据包缓冲区的大小是否小于协议请求头中数据包大小
   如果小于,等待读取下一个客户端数据包,否则对数据包解码进行业务逻辑处理
   */
  if int(p.Len) > len(this.Data) - protocol.HEADER_SIZE {
   fmt.Printf("body体长度:%d,读取的body体长度:%dn", p.Len, bodyLength)
   continue
  }
  fmt.Printf("实际处理字节:%vn", this.Data)
  p = protocol.Decode(this.Data)
  //逻辑处理
  go this.logicHandler(p)
  //数据包缓冲区清空
  this.Data = []byte{}
 }
}

数据解包

待优化部分:

解包须要将TCP数据包剖判到布局体中,接下去会讲怎么必要增加多少个数据毫无干系的长度字段。

type Client struct {
 DeviceID string  //客户端连接的唯标志
 Conn  net.Conn  //连接
 reader *bufio.Reader //读取
 writer *bufio.Writer //输出
 Data  []byte  //接收数据
}
func (p *Package) Unpack(reader io.Reader) error {
 var err error
 err = binary.Read(reader, binary.BigEndian, &p.Version)
 err = binary.Read(reader, binary.BigEndian, &p.Length)
 err = binary.Read(reader, binary.BigEndian, &p.Timestamp)
 err = binary.Read(reader, binary.BigEndian, &p.HostnameLength)
 p.Hostname = make([]byte, p.HostnameLength)
 err = binary.Read(reader, binary.BigEndian, &p.Hostname)
 err = binary.Read(reader, binary.BigEndian, &p.TagLength)
 p.Tag = make([]byte, p.TagLength)
 err = binary.Read(reader, binary.BigEndian, &p.Tag)
 p.Msg = make([]byte, p.Length-8-2-p.HostnameLength-2-p.TagLength)
 err = binary.Read(reader, binary.BigEndian, &p.Msg)
 return err
}

布局体中Data属性可考虑接收bytes.Buffer实现。

由于主机名、标签这种数量是不牢固长度的,所以必要五个字节来标志数据长度,不然读取的时候只晓得三个总的数据长度是敬谢不敏区分主机名、标签字、日志数据的。

Golang标准库文书档案: