17611538698
webmaster@21cto.com

golang爬虫初体验

资讯 0 4056 2018-07-30 12:02:50
/uploads/fox/30082314_0.jpg
最近在学习golang,看网上很多人都喜欢爬豆瓣,今天我就写了一个golang版的爬虫。对于python爬虫,我很了解,什么dom树,js异步,爬虫技术栈都是没问题的。
刚接触golang爬虫,今天写了一个很简单的爬虫,就是使用2个库,一个http、goquery
直接上代码
package main

import (
"net/http"
"fmt"
"github.com/PuerkitoBio/goquery"
"strconv"
)

func GetMovie(url string) {
fmt.Println(url)
resp, err := http.Get(url)
if err != nil {
panic(err)
}
//bodyString, err := ioutil.ReadAll(resp.Body)
//fmt.Println(string(bodyString))
if resp.StatusCode != 200 {
fmt.Println("err")
}

doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
panic(err)
}

//

doc.Find("#content h1").Each(func(i int, s *goquery.Selection) {
// name
fmt.Println("name:" + s.ChildrenFiltered(`[property="v:itemreviewed"]`).Text())
// year
fmt.Println("year:" + s.ChildrenFiltered(`.year`).Text())
})

// #info > span:nth-child(1) > span.attrs
director := ""
doc.Find("#info span:nth-child(1) span.attrs").Each(func(i int, s *goquery.Selection) {
// 导演
director += s.Text()
//fmt.Println(s.Text())
})
fmt.Println("导演:" + director)
//fmt.Println("n")

pl := ""
doc.Find("#info span:nth-child(3) span.attrs").Each(func(i int, s *goquery.Selection) {
pl += s.Text()
})
fmt.Println("编剧:" + pl)

charactor := ""
doc.Find("#info span.actor span.attrs").Each(func(i int, s *goquery.Selection) {
charactor += s.Text()
})
fmt.Println("主演:" + charactor)

typeStr := ""
doc.Find("#info > span:nth-child(8)").Each(func(i int, s *goquery.Selection) {
typeStr += s.Text()
})
fmt.Println("类型:" + typeStr)
}

func GetToplist(url string) []string {
var urls []string
resp, err := http.Get(url)
if err != nil {
panic(err)
}
//bodyString, err := ioutil.ReadAll(resp.Body)
//fmt.Println(string(bodyString))
if resp.StatusCode != 200 {
fmt.Println("err")
}

doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
panic(err)
}

doc.Find("#content div div.article ol li div div.info div.hd a").Each(func(i int, s *goquery.Selection) {
// year
fmt.Printf("%v", s)
herf, _ := s.Attr("href")
urls = append(urls, herf)
})
return urls
}

func main() {
url := "https://movie.douban.com/top250?start="
var urls []string
var newUrl string
fmt.Println("%v", urls)
for i := 0; i < 10; i++ {
start := i * 25
newUrl = url + strconv.Itoa(start)
urls = GetToplist(newUrl)

for _, url := range urls {
GetMovie(url)
}
}
}

以上是最简单版的,可以优化的地方还有很多,比如使用 协程,请求头,反爬虫机制等。
/uploads/fox/30082314_1.jpg
主要使用的就是 goquery这个库,当然也可以使用正则进行匹配。我是拒绝的。 我很喜欢python中的beautifulsoup。goquery类似jquery,可以直接操作dom树。goquery使用的不熟练,代码写的有很多重复,不优雅。goquery
Go 实现了类似 jQuery 的功能,包括链式操作语法、操作和查询 HTML 文档。它基于 Go net/html 包和 CSS 选择器库 cascadia 。由于 net/html 解析器返回的是 DOM 节点,而不是完整的 DOM 树,因此,jQuery 的状态操作函数没有实现(像 height(),css(),detach())。
由于 net/html 解析器要求文档必须是 UTF-8 编码,因此 goquery 库也有此要求。如果文档不是 UTF-8 编码,使用者需要自己转换。进行编码转换,可以使用如下库:
iconv 的 Go 封装,如: github.com/djimenez/iconv-go
官方提供的 text 子仓库, text/encoding ,用于其他编码和 UTF-8 之间进行转换
除了实现和 jQuery 类似的功能外,在函数名方面,也尽量和 jQuery 保持一致,也支持链式语法。2 goquery 提供的主要类型和方法2.1 Document
Document 代表一个将要被操作的 HTML 文档,不过,和 jQuery 不同,它装载的是 DOM 文档的一部分。
type Document struct {
*Selection
Url *url.URL
rootNode *html.Node
}

因为 Document 中内嵌了一个 Selection 类型,因此,Document 可以直接使用 Selection 类型的方法。
有五种方法获取一个 Document 实例,分别是从一个 URL 创建、从一个 *html.Node 创建、从一个 io.Reader 创建、从一个 *http.Response 创建和从一个已有的 Document Clone 一个。2.2 Selection
Selection 代表符合特定条件的节点集合。
type Selection struct {
Nodes []*html.Node
document *Document
prevSel *Selection
}

一般地,得到了 Document 实例后,通过 Dcoument.Find 方法获取一个 Selection 实例,然后像 jQuery 一样使用链式语法和方法操作它。
Selection 类型提供的方法可以分为如下几大类(注意,3个点(…)表示有重载的方法):1)类似函数的位置操作
– Eq()  – First()  – Get()  – Index…()  – Last()  – Slice()
2)扩大 SELECTION 集合(增加选择的节点)
– Add…()  – AndSelf()  – Union(), which is an alias for AddSelection()
3)过滤方法,减少节点集合
– End()  – Filter…()  – Has…()  – Intersection(), which is an alias of FilterSelection()  – Not…()
4)循环遍历选择的节点
– Each()  – EachWithBreak()  – Map()
5)修改文档
– After…()  – Append…()  – Before…()  – Clone()  – Empty()  – Prepend…()  – Remove…()  – ReplaceWith…()  – Unwrap()  – Wrap…()  – WrapAll…()  – WrapInner…()
6)检测或获取节点属性值
– Attr(), RemoveAttr(), SetAttr()  – AddClass(), HasClass(), RemoveClass(), ToggleClass()  – Html()  – Length()  – Size(), which is an alias for Length()  – Text()
7)查询或显示一个节点的身份
– Contains()  – Is…()
8)在文档树之间来回跳转(常用的查找节点方法)
– Children…()  – Contents()  – Find…()  – Next…()  – Parent[s]…()  – Prev…()  – Siblings…()
2.3 Matcher 接口
type Matcher interface {
Match(*html.Node) bool
MatchAll(*html.Node) []*html.Node
Filter([]*html.Node) []*html.Node
}

该接口定义了一些方法,用于匹配 HTML 节点和编译过的选择器字符串。Cascadia’s Selector 实现了该接口。

评论