Python爬虫代码基本框架
Python爬虫代码基本框架 框架如下： 12345678def getHTMLtext(url): try: r = requests.get(url, timeout=30) r.raise_for_status() #如果状态不是200，引发HTTPError异常 r.encoding = r.apparent_encoding return r.text except: return "产生异常" 尝试爬取当当网商品搜索结果页面 刚刚学完爬虫的基本知识，也基本会用request、bs4和re这三个库了，于是尝试爬取当当网商品搜索页面，这是本人第一次爬虫。 这次的爬取目标是获取搜索页面的所有商品价格和名称，所以我们对爬下来的HTML文本做了些许分析。 搜索关键词假设是“六年级”，那么与第一个商品有关的HTML便如下（用了YAML代码块来表示，请见谅）。可以发现，与第一个商品有关的名称位于名称为p、属性为name的标签下，而价格则位于名称为p、属性为price的标签下。值得注...
