缓冲器的基本结构如下:
~~~
//集冲器接口的实现类型type myBuffer struet { //存放数据的通道 ch chan interface{} //缓冲器的关闭状态:0-未关闭;2-已关闭 closed uint32 //为了消除因关闭缓冲器而产生的竞态条件的读写锁 closingLock sync.RWMutex}
~~~
显然,缓冲器的实现就是对通道类型的简单封装,只不过增加了两个字段用于解决前面所说的那些问题。字段 closed 用于标识缓冲器的状态。缓冲器自创建之后只有两种状态:未关闭和已关闭。注意,我们需要用原子操作访问该字段的值。
closingLock 字段代表了读写锁。如果你在程序中并发地进行向通道发送值和关闭该通道的操作的话,会产生竞态条件。通过在使用 go 命令(比如 go test)时加入标记 -race,可以检测到这种竞态条件。后面你会看到使用读写锁消除它的正确方法。
NewBuffer 函数用于创建一个缓冲器:
~~~
// NewBuffer 用于创建一个缓.冲器。// 参数size代表缓冲器的容量func NewBuffer(size uint32) (Buffer, error) { if size == 0 { errMsg := fmt.Sprintf("illegal size for buffer: %d", size) return nil, errors.NewIllegalParameterError(errMsg) } return &myBuffer{ ch: make(chan interFace{}, size), }, nil}
~~~
它先检验参数值,然后构造一个 \*myBuffer 类型的值并返回。显然,在实现接口方法时,接收者的类型都是 \*myBuffer。
注意,errors.NewIllegalParameterError 用于生成一个代表参数错误的错误值,其中 errors 代表的并不是标准库中的 errors 包,而是代码包中的 gopcp.v2/chapter6/webcrawler/
errors 包。大家可以在我的网盘中下载相关代码包(链接:[https://pan.baidu.com/s/1yzWHnK1t2jLDIcTPFMLPCA](https://pan.baidu.com/s/1yzWHnK1t2jLDIcTPFMLPCA) 提取码:slm5)。
Buffer 接口的 Cap 方法和 Len 方法实现起来都相当简单,只需把内建函数 cap 或 len 应用在字段 ch 上就好了。这里也无需使用额外的保证并发安全的措施。
对于 Put 方法,需要注意的是对读写锁的运用和对缓冲器状态的判断。在 Put 方法中,我们应该使用读锁。因为“向通道发送值”的操作会受到“关闭通道”操作的影响。如果不关闭通道,根本无需在进行发送操作时使用锁。另外,如果在进行发送操作前就已经发现通道关闭,就不应该再去尝试发送值了。下面来看 Put 方法的实现:
~~~
func (buf *myBuffer) Put(datum interface{}) (ok bool, err error) { buf.closingLock.RLock() defer buf.closingLock.RUnlock() if buf.Closed() { return false, ErrClosedBuffer } select { case buf.ch <- datum: ok = true default: ok = false } return}
~~~
在写锁的保护下关闭通道。对应地,在 Put 方法的起始处锁定读锁,然后再去做状态判断。如果反过来,那么通道就有可能在状态判断之后且锁定读锁之前关闭。这时,Put 方法会以为通道未关闭,然后在读锁的所谓保护下向通道发送值,引发运行时恐慌。
接下来的 select 语句主要是为了让 Put 方法永远不会阻塞在发送操作上。在 default 分支中把结果变量 ok 的值设置为 false,加之这时的结果变量 err 必为 nil,就可以告知调用方放入数据的操作未成功,且原因并不是缓冲器已关闭,而是缓冲器已满。
Get 方法的实现要简单一些。因为从通道接收值的操作可以丝毫不受到通道关闭的影响,所以无需加锁。其实现如下:
~~~
func (buf *myBuffer) Get() (interface{}, error) { select { case datum, ok := <-buf.ch: if !ok { return nil, ErrClosedBuffer } retum datum, nil default: return nil, nil }}
~~~
这里同样使用 select 语句让它变成非阻塞的。顺便提一句,ErrClosedBuffer 是一个变量,表示缓冲器已关闭的错误,它的声明是这样的:
//表示缓冲器已关闭的错误
var ErrClosedBuffer = errors.New("closed buffer")
这遵从了 Go语言程序中的惯用法。标准库中的类似变量有 io.EOF、bufio.ErrBufferFull 等。
再来说 Close 方法。在关闭通道之前,先要避免重复操作。因为重复关闭一个通道也会引发运行时恐慌。避免措施就是先检查 closed 字段的值。当然,必须使用原子操作。下面是它的实现:
~~~
func (buf *myBuffer) Close() bool { if atomic.CompareAndSwapUint32(&buf.closed, 0, 1) { buf.closingLock.Lock() close(buf.ch) buf.closingLock.Unlock() return true } return false}
~~~
最后,在 Closed 方法中读取 closed 字段的值时,也一定要使用原子操作:
~~~
纯文本复制
~~~
~~~
func (buf *myBuffer) Closed() bool { if atomic.LoadUint32(&buf.closed) == 0 { return false } return true}
~~~
千万不要假设读取共享资源就是并发安全的,除非资源本身做出了这种保证。
- 1.Go语言环境搭建
- 1.1 安装与环境
- 1.2 国内镜像配置
- 1.3 IDE的选择
- 2.Go语言基础语法
- 2.1 Go语言变量的声明
- 2.2 Go语言变量的初始化
- 2.3 Go语言多个变量同时赋值
- 2.4 Go语言匿名变量
- 2.5 Go语言变量的作用域
- 2.6 Go语言整型
- 2.7 Go语言浮点类型
- 2.8 Go语言复数
- 2.9 Go语言输出正弦函数(Sin)图像
- 2.10 Go语言bool类型
- 2.11 Go语言字符串
- 2.12 Go语言字符类型
- 2.13 Go语言数据类型转换
- 2.14 Go语言指针详解
- 2.15 Go语言变量逃逸分析
- 2.16 Go语言变量的生命周期
- 2.17 Go语言常量和const关键字
- 2.18 Go语言模拟枚举
- 2.19 Go语言type关键字
- 2.20 Go语言注释的定义及使用
- 2.21 Go语言关键字与标识符简述
- 2.22 Go语言运算符的优先级
- 2.23 Go语言strconv包
- 3.Go语言容器
- 3.1 Go语言数组详解
- 3.2 Go语言多维数组简述
- 3.3 Go语言切片详解
- 3.4 Go语言append()为切片添加元素
- 3.5 Go语言切片复制
- 3.6 Go语言从切片中删除元素
- 3.7 Go语言range关键字
- 3.8 Go语言多维切片简述
- 3.9 Go语言map
- 3.10 Go语言遍历map
- 3.11 Go语言map元素的删除和清空
- 3.12 Go语言sync.Map
- 3.13 Go语言list
- 3.14 Go语言nil
- 3.15 Go语言make和new关键字的区别及实现原理
- 4.Go语言流程控制
- 4.1 Go语言分支结构
- 4.2 Go语言循环结构
- 4.3 Go语言输出九九乘法表
- 4.4 Go语言键值循环
- 4.5 Go语言switch语句
- 4.6 Go语言goto语句
- 4.7 Go语言break
- 4.8 Go语言continue
- 4.9 Go语言聊天机器人
- 4.10 Go语言词频统计
- 4.11 Go语言缩进排序
- 4.12 Go语言实现二分查找算法
- 4.13 Go语言冒泡排序
- 5.Go语言函数
- 5.1 Go语言函数声明
- 5.2 Go语言将秒转换为具体的时间
- 5.3 Go语言函数中的参数传递效果测试
- 5.4 Go语言函数变量
- 5.5 Go语言字符串的链式处理
- 5.6 Go语言匿名函数
- 5.7 Go语言函数类型实现接口
- 5.8 Go语言闭包(Closure)
- 5.9 Go语言可变参数(变参函数)
- 5.10 Go语言defer(延迟执行语句)
- 5.11 Go语言递归函数
- 5.12 Go语言处理运行时错误
- 5.13 Go语言宕机(panic)
- 5.14 Go语言宕机恢复(recover)
- 5.15 Go语言计算函数执行时间
- 5.16 Go语言通过内存缓存来提升性能
- 5.17 Go语言函数的底层实现
- 5.18 Go语言Test功能测试函数详解
- 6.Go语言结构体
- 6.1 Go语言结构体定义
- 6.2 Go语言实例化结构体
- 6.3 Go语言初始化结构体的成员变量
- 6.4 Go语言构造函数
- 6.5 Go语言方法和接收器
- 6.6 Go语言为任意类型添加方法
- 6.7 Go语言使用事件系统实现事件的响应和处理
- 6.8 Go语言类型内嵌和结构体内嵌
- 6.9 Go语言结构体内嵌模拟类的继承
- 6.10 Go语言初始化内嵌结构体
- 6.11 Go语言内嵌结构体成员名字冲突
- 6.12 Go语言使用匿名结构体解析JSON数据
- 6.13 Go语言垃圾回收和SetFinalizer
- 6.14 Go语言将结构体数据保存为JSON格式数据
- 6.15 Go语言链表操作
- 6.16 Go语言数据I/O对象及操作
- 7.Go语言接口
- 7.1 Go语言接口声明
- 7.2 Go语言实现接口的条件
- 7.3 Go语言类型与接口的关系
- 7.4 Go语言类型断言简述
- 7.5 Go语言实现日志系统
- 7.6 Go语言排序
- 7.7 Go语言接口的嵌套组合
- 7.8 Go语言接口和类型之间的转换
- 7.9 Go语言空接口类型
- 7.10 Go语言使用空接口实现可以保存任意值的字典
- 7.11 Go语言类型分支
- 7.12 Go语言error接口
- 7.13 Go语言接口内部实现
- 7.14 Go语言表达式求值器
- 7.15 Go语言实现Web服务器
- 7.16 Go语言音乐播放器
- 7.17 Go语言实现有限状态机(FSM)
- 7.18 Go语言二叉树数据结构的应用
- 8.Go语言包
- 8.1 Go语言包的基本概念
- 8.2 Go语言封装简介及实现细节
- 8.3 Go语言GOPATH详解
- 8.4 Go语言常用内置包简介
- 8.5 Go语言自定义包
- 8.6 Go语言package
- 8.7 Go语言导出包中的标识符
- 8.8 Go语言import导入包
- 8.9 Go语言工厂模式自动注册
- 8.10 Go语言单例模式简述
- 8.11 Go语言sync包与锁
- 8.12 Go语言big包
- 8.13 Go语言使用图像包制作GIF动画
- 8.14 Go语言正则表达式
- 8.15 Go语言time包
- 8.16 Go语言os包用法简述
- 8.17 Go语言flag包
- 8.18 Go语言go mod包依赖管理工具使用详解
- 8.19 Go语言生成二维码
- 8.20 Go语言Context(上下文)
- 8.21 客户信息管理系统
- 8.22 Go语言发送电子邮件
- 8.23 Go语言(Pingo)插件化开发
- 8.24 Go语言定时器实现原理及作用
- 9.Go语言并发
- Go语言并发简述(并发的优势)
- Go语言goroutine(轻量级线程)
- Go语言并发通信
- Go语言竞争状态简述
- Go语言GOMAXPROCS(调整并发的运行性能)
- 并发和并行的区别
- goroutine和coroutine的区别
- Go语言通道(chan)——goroutine之间通信的管道
- Go语言并发打印(借助通道实现)
- Go语言单向通道——通道中的单行道
- Go语言无缓冲的通道
- Go语言带缓冲的通道
- Go语言channel超时机制
- Go语言通道的多路复用——同时处理接收和发送多个通道的数据
- Go语言RPC(模拟远程过程调用)
- Go语言使用通道响应计时器的事件
- Go语言关闭通道后继续使用通道
- Go语言多核并行化
- Go语言Telnet回音服务器——TCP服务器的基本结构
- Go语言竞态检测——检测代码在并发环境下可能出现的问题
- Go语言互斥锁(sync.Mutex)和读写互斥锁(sync.RWMutex)
- Go语言等待组(sync.WaitGroup)
- Go语言死锁、活锁和饥饿概述
- Go语言封装qsort快速排序函数
- Go语言CSP:通信顺序进程简述
- Go语言聊天服务器
- 10.Go语言反射
- Go语言反射(reflection)简述
- Go语言反射规则浅析
- Go语言reflect.TypeOf()和reflect.Type(通过反射获取类型信息)
- Go语言reflect.Elem()——通过反射获取指针指向的元素类型
- Go语言通过反射获取结构体的成员类型
- Go语言结构体标签(Struct Tag)
- Go语言reflect.ValueOf()和reflect.Value(通过反射获取值信息)
- Go语言通过反射访问结构体成员的值
- Go语言IsNil()和IsValid()——判断反射值的空和有效性
- Go语言通过反射修改变量的值
- Go语言通过类型信息创建实例
- Go语言通过反射调用函数
- Go语言inject库:依赖注入
- 11.Go语言网络编程
- Go语言Socket编程详解
- Go语言Dial()函数:建立网络连接
- Go语言ICMP协议:向主机发送消息
- Go语言TCP协议
- Go语言DialTCP():网络通信
- Go语言HTTP客户端实现简述
- Go语言服务端处理HTTP、HTTPS请求
- Go语言RPC协议:远程过程调用
- 如何设计优雅的RPC接口
- Go语言解码未知结构的JSON数据
- Go语言如何搭建网站程序
- Go语言开发一个简单的相册网站
- Go语言数据库(Database)相关操作
- 示例:并发时钟服务器
- Go语言router请求路由
- Go语言middleware:Web中间件
- Go语言常见大型Web项目分层(MVC架构)
- Go语言Cookie的设置与读取
- Go语言获取IP地址和域名解析
- Go语言TCP网络程序设计
- Go语言UDP网络程序设计
- Go语言IP网络程序设计
- Go语言是如何使得Web工作的
- Go语言session的创建和管理
- Go语言Ratelimit服务流量限制
- Go语言WEB框架(Gin)详解
- 12.Go语言文件处理
- Go语言自定义数据文件
- Go语言JSON文件的读写操作
- Go语言XML文件的读写操作
- Go语言使用Gob传输数据
- Go语言纯文本文件的读写操作
- Go语言二进制文件的读写操作
- Go语言自定义二进制文件的读写操作
- Go语言zip归档文件的读写操作
- Go语言tar归档文件的读写操作
- Go语言使用buffer读取文件
- Go语言并发目录遍历
- Go语言从INI配置文件中读取需要的值
- Go语言文件的写入、追加、读取、复制操作
- Go语言文件锁操作
- 13.Go语言网络爬虫
- Go语言网络爬虫概述
- Go语言网络爬虫中的基本数据结构
- Go语言网络爬虫的接口设计
- Go语言网络爬虫缓冲器工具的实现
- Go语言网络爬虫缓冲池工具的实现
- Go语言网络爬虫多重读取器的实现
- Go语言网络爬虫内部基础接口
- Go语言网络爬虫组件注册器
- Go语言网络爬虫下载器接口
- Go语言网络爬虫分析器接口
- Go语言网络爬虫条目处理管道
- Go语言网络爬虫调度器的实现
- Go语言爬取图片小程序
- 14.Go语言编译和工具链
- go build命令(go语言编译命令)完全攻略
- go clean命令——清除编译文件
- go run命令——编译并运行
- go fmt命令——格式化代码文件
- go install命令——编译并安装
- go get命令——一键获取代码、编译并安装
- go generate命令——在编译前自动化生成某类代码
- go test命令(Go语言测试命令)完全攻略
- go pprof命令(Go语言性能分析命令)完全攻略
- 15.Go语言避坑与技巧
- goroutine(Go语言并发)如何使用才更加高效?
- Go语言反射——性能和灵活性的双刃剑
- Go语言接口的nil判断
- Go语言map的多键索引——多个数值条件可以同时查询
- Go语言与C/C++进行交互
- Go语言文件读写
- Json数据编码和解码
- Go语言使用select切换协程
- Go语言加密通信
- Go语言内存管理简述
- Go语言垃圾回收
- Go语言哈希函数
- Go语言分布式id生成器
- 部署Go语言程序到Linux服务器
- Go语言实现RSA和AES加解密
