189 8069 5689
colly一款快速优雅的golang爬虫框架，简单易用，功能完备。
创新互联是一家专业提供漾濞企业网站建设,专注与做网站、成都网站制作、H5网站设计、小程序制作等业务。10年已为漾濞众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。
官网地址：
包地址： import "github.com/gocolly/colly"
一个简单的例子：
使用方式概括下来主要有三步：
创建采集器时可以指定一些配置参数，如useragent，爬取深度及日志等
回调函数共有7中
通过浏览器开发者工具查看jianshu.com结构如下
文章列表为ul标签，中间每一项是li标签，li中包含content，content中包含title，abstract和meta标签
1 写代码。这是最基础的一步，即实现C语言的源文件(.c，必需)，和可能的头文件(.h,非必需)。2 编译。将编写好的代码，通过编译工具，转换为目标文件。此步中，会对文件内部及包含的头文件进行语法语义的分析检查。如果出错，则必须返回到1步对代码进行修改，直到没有错误为止。3 链接。将目标文件链接成可执行文件。此步会对文件直接的关联进行检查。如果出错需要返回到1修改代码。直到没有错误。4 运行。这个是最后一步，也是C语言的最终目的。在运行结果与期望不符时，需要检查原因，修改代码，重新执行1,2,3直到程序没有问题。
SV的意思是设定值。GO是功能分析。
信息采集是指未出版的生产在信息资源方面做准备的工作，包括对信息的收集和处理。它是选题策划的直接基础和重要依据。
理论上是不行的，要想实时就必须连续不断传输的视频信号，而你的软件是播放视频文件的，文件的话必须有头尾，如果做成文件格式再播放，那就不叫实时监控了。
目前websocket技术已经很成熟，选型Go语言，当然是为了节省成本以及它强大的高并发性能。我使用的是第三方开源的websocket库即gorilla/websocket。
由于我们线上推送的量不小，推送后端需要部署多节点保持高可用，所以需要自己做集群，具体架构方案如图：
Auth Service：鉴权服务，根据Token验证用户权限。
Collect Service：消息采集服务，负责收集业务系统消息，存入MongoDB后，发送给消息分发服务。
Dispatch Service：消息分发服务，根据路由规则分发至对应消息推送服务节点上。
Push Service：消息推送服务，通过websocket将消息推送给用户。
集群推送的关键点在于，web端与服务端建立长连接之后，具体跟哪个推送节点保持长连接的，如果我们能够找到对应的连接节点，那么我们就可以将消息推送出去。下面讲解一下集群的大致流程：
1. web端用户登录之后，带上token与后端推送服务（Push Service）保持长连接。
2. 推送服务收到连接请求之后，携带token去鉴权服务（Auth Service）验证此token权限，并返回用户ID。
3. 把返回的用户ID与长连接存入本地缓存，保持用户ID与长连接绑定关系。
4. 再将用户ID与本推送节点IP存入redis，建立用户（即长连接）与节点绑定关系，并设置失效时间。
5. 采集服务（Collect Service）收集业务消息，首先存入mongodb，然后将消息透传给分发服务（Dispatch Service）。
6. 分发服务收到消息之后，根据消息体中的用户ID，从redis中获取对应的推送服务节点IP，然后转发给对应的推送节点。
7. 推送服务节点收到消息之后，根据用户ID，从本地缓存中取出对应的长连接，将消息推送给客户端。
其他注意事项：