189 8069 5689
参考：
让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名申请、网页空间、营销软件、网站建设、克东网站维护、网站推广。
Goroutine并发调度模型深度解析手撸一个协程池
Golang 的 goroutine 是如何实现的？
Golang - 调度剖析【第二部分】
OS线程初始栈为2MB。Go语言中，每个goroutine采用动态扩容方式，初始2KB，按需增长，最大1G。此外GC会收缩栈空间。
BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题。
更多关于stack的内容，可以参见大佬的文章。 聊一聊goroutine stack
用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的，不借助OS系统调用，减少系统资源消耗。
Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文。这就是G-M-P模型
Go调度器有两个不同的运行队列：
go1.10\src\runtime\runtime2.go
Go调度器根据事件进行上下文切换。
调度的目的就是防止M堵塞，空闲，系统进程切换。
详见 Golang - 调度剖析【第二部分】
Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller）。
文件IO操作
上面都是防止M堵塞，任务窃取是防止M空闲
每个M都有一个特殊的G，g0。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈。g0的栈不会自动增长，不会被gc，来自os线程的栈。
go1.10\src\runtime\proc.go
G没办法自己运行，必须通过M运行
M通过通过调度，执行G
从M挂载P的runq中找到G，执行G
在go http每一次go serve(l)都会构建Request数据结构。在大量数据请求或高并发的场景中，频繁创建销毁对象，会导致GC压力。解决办法之一就是使用对象复用技术。在http协议层之下，使用对象复用技术创建Request数据结构。在http协议层之上，可以使用对象复用技术创建(w,*r,ctx)数据结构。这样即可以回快TCP层读包之后的解析速度，也可也加快请求处理的速度。
先上一个测试：
结论是这样的：
貌似使用池化，性能弱爆了？？？这似乎与net/http使用sync.pool池化Request来优化性能的选择相违背。这同时也说明了一个问题，好的东西，如果滥用反而造成了性能成倍的下降。在看过pool原理之后，结合实例，将给出正确的使用方法，并给出预期的效果。
sync.Pool是一个 协程安全 的 临时对象池 。数据结构如下：
local 成员的真实类型是一个 poolLocal 数组，localSize 是数组长度。这涉及到Pool实现，pool为每个P分配了一个对象，P数量设置为runtime.GOMAXPROCS(0)。在并发读写时，goroutine绑定的P有对象，先用自己的，没有去偷其它P的。go语言将数据分散在了各个真正运行的P中，降低了锁竞争，提高了并发能力。
不要习惯性地误认为New是一个关键字，这里的New是Pool的一个字段，也是一个闭包名称。其API：
如果不指定New字段，对象池为空时会返回nil，而不是一个新构建的对象。Get()到的对象是随机的。
原生sync.Pool的问题是，Pool中的对象会被GC清理掉，这使得sync.Pool只适合做简单地对象池，不适合作连接池。
pool创建时不能指定大小，没有数量限制。pool中对象会被GC清掉，只存在于两次GC之间。实现是pool的init方法注册了一个poolCleanup()函数，这个方法在GC之前执行，清空pool中的所有缓存对象。
为使多协程使用同一个POOL。最基本的想法就是每个协程，加锁去操作共享的POOL，这显然是低效的。而进一步改进，类似于ConcurrentHashMap（JDK7）的分Segment，提高其并发性可以一定程度性缓解。
注意到pool中的对象是无差异性的，加锁或者分段加锁都不是较好的做法。go的做法是为每一个绑定协程的P都分配一个子池。每个子池又分为私有池和共享列表。共享列表是分别存放在各个P之上的共享区域，而不是各个P共享的一块内存。协程拿自己P里的子池对象不需要加锁，拿共享列表中的就需要加锁了。
Get对象过程：
Put过程：
如何解决Get最坏情况遍历所有P才获取得对象呢：
方法1止前sync.pool并没有这样的设置。方法2由于goroutine被分配到哪个P由调度器调度不可控，无法确保其平衡。
由于不可控的GC导致生命周期过短，且池大小不可控，因而不适合作连接池。仅适用于增加对象重用机率，减少GC负担。2
执行结果:
单线程情况下，遍历其它无元素的P，长时间加锁性能低下。启用协程改善。
结果：
测试场景在goroutines远大于GOMAXPROCS情况下，与非池化性能差异巨大。
测试结果
可以看到同样使用*sync.pool，较大池大小的命中率较高，性能远高于空池。
结论：pool在一定的使用条件下提高并发性能，条件1是协程数远大于GOMAXPROCS，条件2是池中对象远大于GOMAXPROCS。归结成一个原因就是使对象在各个P中均匀分布。
池pool和缓存cache的区别。池的意思是，池内对象是可以互换的，不关心具体值，甚至不需要区分是新建的还是从池中拿出的。缓存指的是KV映射，缓存里的值互不相同，清除机制更为复杂。缓存清除算法如LRU、LIRS缓存算法。
池空间回收的几种方式。一些是GC前回收，一些是基于时钟或弱引用回收。最终确定在GC时回收Pool内对象，即不回避GC。用java的GC解释弱引用。GC的四种引用：强引用、弱引用、软引用、虚引用。虚引用即没有引用，弱引用GC但有空间则保留，软引用GC即清除。ThreadLocal的值为弱引用的例子。
regexp 包为了保证并发时使用同一个正则，而维护了一组状态机。
fmt包做字串拼接，从sync.pool拿[]byte对象。避免频繁构建再GC效率高很多。
今年的早些时候我们对比过了几种native编程语言，包括D语言、Go、Rust和Vala。这里我们将分析来自Google的Go语言，看看他到底哪里跟别的语言不一样。 Go语言比其他的很多语言都吸引我，虽然我不是Go语言的专家，但是我很乐意在这里介绍一下它的特性，下面的这些特性指引我转向了Go语言。 快速简单的编译： go语言编译的很快，事实上，他快的甚至可以作为脚本语言了。几个使他编译很快的原因有： 他不使用头文件当A依赖B，B又依赖C时，那么首先会编译C，然后是B和A；但是如果A依赖B，但是A并不直接依赖于C，而是存在依赖传递，这时会把所有B需要从C拿到的信息放在B的对象代码里。这样，当编译A的时候，就不需要再管C了。在编译程序时，只需将类型信息沿着依赖关系树向上遍历即可，如果到达树的顶端，则只需编译紧邻的依赖，而不用管其它层级的依赖了。通过多返回值的错误处理： 现代的编程语言基本上有两种错误处理办法，例如在C语言里是使用返回值，而在Java等面向对象语言里使用异常处理返回值，因为返回值的状态码总是可能跟需要返回的结果有冲突。Go语言允许多返回值，从某种程度上解决了这个问题。你可以为你的函数的执行结果状态定义返回值，任何调用的时候都可以来检查，很方便。简单的组合： 可以使用interface为对象指定一些类型的成员，还可以像Java一样给他们指定操作（行为）。例如在标准库的io包中定义了一个Writer，就有一个带有字节数组作为参数（输入）一个integer值和错误码作为返回值（输出）的方法。而实现了io.Writer接口中的Write方法的类型才是实际被执行的。这个设计能够非常优雅的分离代码，还简化了单元测试过程，例如，如果你想测试一个数据库对象的一个方法，在传统的语言中你必须创建一个数据库对象，然后做很多协议初始化工作。在Go语言中，你可在接口下创建任何对象。简单的并发： 在Go中并发变得非常的简单，在任何函数前方上go两个字母，这个函数就将以他自己的go-routine（一个非常轻量级的线程）来运行，Go- routines之间通过channels来通信。我们通常会有一些需要线程同步和互斥的需求，在Go中非常简单，Go只是启动并发任务，各个任务之间通过channels来通信，从而协调同步和互斥。优秀的错误提示： 我从没见过别的语言有Go语言这么高的错误诊断质量。例如如果你的程序思索了，Go的运行时可以通知你，而且，他甚至可以告诉你是哪个线程出了问题。当然编译错误也是很详细很有用的。其他特性：Go语言还有其他非常吸引人的特性：高阶函数、垃圾回收、哈希映射、可扩展的数组等等。当然了，没有一件东西是非常完美的，Go语言的开发工具还非常缺乏，社区很小，但是这个语言的背后支持者是Google，这些问题都会一步一步的解决。当其他语言，尤其是D语言、Rust、Vala旨在简化C++而且增加新的特性的时候，他们都觉得自己像是带着新特性的C++。
Go的CSP并发模型
Go实现了两种并发形式。第一种是大家普遍认知的：多线程共享内存。其实就是Java或者C++等语言中的多线程开发。另外一种是Go语言特有的，也是Go语言推荐的：CSP（communicating sequential processes）并发模型。
CSP 是 Communicating Sequential Process 的简称，中文可以叫做通信顺序进程，是一种并发编程模型，由 Tony Hoare 于 1977 年提出。简单来说，CSP 模型由并发执行的实体（线程或者进程）所组成，实体之间通过发送消息进行通信，这里发送消息时使用的就是通道，或者叫 channel。CSP 模型的关键是关注 channel，而不关注发送消息的实体。 Go 语言实现了 CSP 部分理论 。
“ 不要以共享内存的方式来通信，相反， 要通过通信来共享内存。”
Go的CSP并发模型，是通过 goroutine和channel 来实现的。
goroutine 是Go语言中并发的执行单位。其实就是协程。
channel是Go语言中各个并发结构体(goroutine)之前的通信机制。 通俗的讲，就是各个goroutine之间通信的”管道“，有点类似于Linux中的管道。
Channel
Goroutine
1、goroutine：在go语言中，每一个并发的执行单元叫做goroutine，如果一个程序中包含多个goroutine，对两个函数的调用则可能发生在同一时刻
2、main goroutine：当一个程序启动时，其主函数即在一个单独的goroutine中运行，我们叫他为main gorountine
3、go goroutine：新的goroutine会用go语句来创建，go+函数名，go语句会使其语句中的函数在一新创建的goroutine中运行，而go语句本身会迅速地完成
4、goroutine的退出：主函数返回时，所有的goroutine都会被直接打断，程序退出，除了从主函数退出或者终止程序之外，没有其他方法能够让一个goroutine来打断另一个的执行，但是可以通过另一种方式来实现这个目的，通过goroutine之间的通信来让一个goroutine请求其他的goroutine，并让请求的goroutine自行结束执行