Python爬取天气实况
一、最初的想法
我们昨天弄了个爬取天气实况的程序，本文章用以记录思考和编写过程。
这里选取的爬取网站是http://q-weather.info/weather/59488//realtime/
下图就是查天气网站截图。
（站号修改成其他气象站号就可以查询其他城市的实况）
我们以59488珠海站为例，爬取的HTML源代码如下：
1 | <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">\n<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-CN">\n<head>\n\t<meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />\n\t<title>查天气</title>\n\t<style type="text/css">\n\t\ttable {\n\t\t\tborder-width: 0px;\n\t\t\tborder-style: solid;\n\t\t\tborder-collapse: collapse;\n\t\t}\n\t\ttable th {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t\ttable td {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t</style>\n</head>\n<body>\n\t<center>\n\t\t<h1>59488 (珠海) 站的当前实况</h1>\n\t\t<table>\n\t\t\t<thead>\n\t\t\t\t<tr>\n\t\t\t\t\t<th>气象要素</th>\n\t\t\t\t\t<th>值</th>\n\t\t\t\t\t<th>更新时间</th>\n\t\t\t\t</tr>\n\t\t\t</thead>\n\t\t\t<tbody>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>瞬时温度</td>\n\t\t\t\t\t<td>24.4</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>24小时变温</td>\n\t\t\t\t\t<td>-3.7</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>地面气压</td>\n\t\t\t\t\t<td>1004.2</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>相对湿度</td>\n\t\t\t\t\t<td>97</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均风向</td>\n\t\t\t\t\t<td>WNW</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均风速</td>\n\t\t\t\t\t<td>2.0</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>1小时降水</td>\n\t\t\t\t\t<td>0.1</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>24小时降水</td>\n\t\t\t\t\t<td>40.4</td>\n\t\t\t\t\t<td>2020-05-10 20:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t\t<tr align="center">\n\t\t\t\t\t<td>10分钟平均能见度</td>\n\t\t\t\t\t<td>16.534</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr>\n\t\t\t</tbody>\n\t\t</table>\n\t</center>\n</body>\n</html>\n |
如果将转义字符转义（就是将\n和\t变成换行和制表），也就是：
1 | <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd"> |
我最初的想法是将每个气象要素按照名称爬下来，这也是很朴素的想法。
我先把HTML中的所有多余的标签和转义字符去掉，但不能全部去掉，因为一旦全部去掉，所有数据都连在一起，就没有办法把他们正确分开了。因此我们故意不去掉/td标签。
然后对每一个气象要素都写一个专门的正则表达式。
/td标签到最后输出的时候可以直接被替换成需要的分隔符（如“：”、“（”、“）”）。
举个例子：
1 | <tr align="center">\n\t\t\t\t\t<td>地面气压</td>\n\t\t\t\t\t<td>1004.2</td>\n\t\t\t\t\t<td>2020-05-10 21:00 +0800</td>\n\t\t\t\t</tr> |
去掉“\n\t\r、td标签、tr标签、<tr align="center">标签”，只留下/td标签后的效果：
1 | 地面气压</td>1004.2</td>2020-05-10 21:00 +0800</td> |
最后将/td替换成需要的字符：
1 | 地面气压：1003（更新时间：2020-05-10 10:00+0800） |
按照如上思路，代码如下：
1 | import requests |
这段程序输出没有什么问题，一切都如计划中进行，然而有时候却会出现匹配失败的信息，这又是怎么回事呢？
原来有时候随着网站更新数据，气象要素的名称不是一成不变的，有时候不是“10分钟平均风速”，而是“瞬时风速”，有时候不是“10分钟平均风向”，而是“瞬时风向”，这样就匹配不了了。
二、进一步改进
分析了以上情况后，以上的这个代码就不可行了，这说明正则表达式中不能直接出现气象要素名称。
观察下面的HTML源代码，可以发现每一组气象数据都包含在tr标签里面，所以正则表达式是：
1 | "<tr align=\"center\">.*?</tr>" |
用findall函数遍历整个HTML源码，遍历结果写入一个列表中，然后将遍历结果中多余的标签和换行字符用re库的sub函数全部去掉。
然而我们发现以上的表达式仍然不能匹配出任何有效信息，列表是空的，这是为什么呢？我专门去搜索了一下原因。
原来，.是匹配除过\n 之外的全部字符，用[\d\D] 匹配所有字符，或者用[\s\S] 也可以。
所以正则表达式进一步改成：
1 | "<tr align=\"center\">[\d\D]*?</tr>" |
最后的核心代码如下：
1 | import requests |
可以看到代码长度一下减少了很多。
输出结果如下：
1 | 59488 (珠海) 站的当前实况 |
当然这只是个初步的代码，许多异常情况未考虑进去，比如气象站号不存在、爬虫过程中出现请求失败等情况，仍然有改进之处。
三、对爬取天气实况程序的进一步优化
对上一篇的程序进行优化，加上了处理异常机制，比如爬取失败怎么处理，比如站号不存在怎么处理，使程序更加健壮。
代码如下：
1 | import requests |
几个运行结果如下：
1.站号存在的情况：
2.站号不存在的情况：
3.网络问题
这种情况会输出“查询失败！请重试”，由于我碰到的几率较小，因此也没有截图放出来了。
四、爬取站号的详细信息
我们以59659茂名站为例（http://q-weather.info/weather/59659/），下图就是查天气网站截图：
爬取的HTML源代码如下：
1 | <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">\n<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="zh-CN">\n<head>\n\t<meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />\n\t<title>气象站59659的详细信息</title>\n\t<style type="text/css">\n\t\ttable {\n\t\t\tborder-width: 0px;\n\t\t\tborder-style: solid;\n\t\t\tborder-collapse: collapse;\n\t\t}\n\t\ttable th {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t\ttable td {\n\t\t\tborder-width: 1px;\n\t\t\tpadding: 3px;\n\t\t\tborder-style: solid;\n\t\t}\n\t</style>\n</head>\n<body>\n\t<center>\n\t\t<h1>站点59659的信息</h1>\n\t\t<table>\n\t\t\t<tr>\n\t\t\t\t<td width="100px">WMO编号</td>\n\t\t\t\t<td width="200px">59659</td>\n\t\t\t</tr>\n\t\t\t<tr>\n\t\t\t\t<td>站名</td>\n\t\t\t\t<td>茂名</td>\n\t\t\t</tr>\n\t\t\t<tr>\n\t\t\t\t<td>所在市</td>\n\t\t\t\t<td>茂名</td>\n\t\t\t</tr>\n\t\t\t<tr>\n\t\t\t\t<td>地理位置</td>\n\t\t\t\t<td>21.75N<br />\n\t\t\t\t\t110.92E<br />\n\t\t\t\t\t33.3m</td>\n\t\t\t</tr>\n\t\t</table>\n\t\t<h2>服务列表</h2>\n\t\t<p><a href="realtime/">查询当前实况</a></p>\n\t\t<p><a href="today/">查询今日实况</a></p>\n\t\t<p><a href="cma7day/">中国气象局7天预报</a></p>\n\t\t<p><a href="t77day/">T7Online 7天预报</a></p>\n\t\t<p><a href="t7en8day/">WeatherOnline 8天预报</a></p>\n\t</center>\n</body>\n</html>\n |
如果将转义字符转义（就是将\n和\t变成换行和制表），也就是：
1 | <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd"> |
这个就比之前的好弄很多了，所在市信息、地理位置都包围在tr标签里面，一个很简单的想法就是将所有符合以下正则表达式：
1 | r'<tr>[\d\D]*?</tr>' |
全部都找出来，所用的函数是findall函数，然后将结果存进列表中。由于WMO不是我们想要的信息，它位于list[0]里面，我们不管它就是了。接着再用：
1 | r'[\n\t]+|<tr>|</tr>|<td>' |
删掉我们不需要的符号\n\t和tr标签、td标签，留下/td标签以作分隔符。
所以我们提取出来的其实是以下结果：
1 | 站名</td>#这是list[1]的内容！！！ |
list[1]和[2]很好处理，用re.split函数以/td作为分隔，将有用信息拿出来就是了。
我们发现地理位置信息（list[3]）与其他两个有一点不同，那就是list[3]多了两个br/标签，因此我们需要特别处理。
完整代码如下：
1 | import requests |
运行结果如下：
我们最后可以将查询站点的详细信息程序和实时天气程序连接在一起，稍作修改，就能够得到一个不错的查询天气脚本了。
当然，这个网站还有查询最近24小时天气的功能，有时间的话我们会继续做做爬虫。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Mount256的博客！
相关推荐
2022-05-30
网络爬虫之json库
1 如何在网页中获取 JSON 数据？ 打开一个具有动态渲染的网页，按 F12 打开浏览器开发工具，点击“网络”，再刷新一下网页，观察是否有新的数据包。 发现有 js 后缀的文件，这就是我们想要的 json 数据了。 2 Python 内置的 JSON 库 内置的 json 库的函数： dumps：用于将 Python 的数据类型转化为 json 字符串。 loads：将 json 字符串转化为 Python 的数据类型。 实例 1： 123456import jsondata = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]data2 = json.dumps(data)print(data2) 输出结果： 1[{"a": 1, "c": 3, "b": 2, "e": 5, "d"...
2022-05-28
网络爬虫之xpath
在re、bs4、xpath等解析库中，re库运行起来效率最高，但用起来太麻烦；XPath 使用较为方便，而且效率损失不大。 0 安装 XPath Helper 插件 在 edge 浏览器的“扩展”中，开启“开发者模式”和“允许来自其他应用商店的扩展”，将文件夹《chrome_Xpath_v2.0.2》拖入到“扩展”页面中即可完成安装。 本人设置键盘快捷方式为“Ctrl+Shift+C”，这样每次想用时就可以快速打开这玩意了，再按下“F12”查看代码，就可以开玩 XPath 了。这个插件是真的好用，强烈推荐安装。 1 XPath 语法 1.1 节点 表达式 描述 用法举例 用法举例说明 nodename 选取此节点下的所有节点 div 选取div下的所有标签 // 全局节点（可粗略理解为“绝对路径”） //div 选取整个HTML页面的所有div标签 //nodename// 选取某个节点下的所有节点（包括子节点、子节点的子节点…） //header//div 选取header标签下的所有div标签，不管是不是header标签的第一级节点 / 选取某个节...
2020-04-17
Python爬虫代码基本框架
Python爬虫代码基本框架 框架如下： 12345678def getHTMLtext(url): try: r = requests.get(url, timeout=30) r.raise_for_status() #如果状态不是200，引发HTTPError异常 r.encoding = r.apparent_encoding return r.text except: return "产生异常" 尝试爬取当当网商品搜索结果页面 刚刚学完爬虫的基本知识，也基本会用request、bs4和re这三个库了，于是尝试爬取当当网商品搜索页面，这是本人第一次爬虫。 这次的爬取目标是获取搜索页面的所有商品价格和名称，所以我们对爬下来的HTML文本做了些许分析。 搜索关键词假设是“六年级”，那么与第一个商品有关的HTML便如下（用了YAML代码块来表示，请见谅）。可以发现，与第一个商品有关的名称位于名称为p、属性为name的标签下，而价格则位于名称为p、属性为price的标签下。值得注...
