首发于 EXCEL小白分享
切换模式
Power Bi 爬取网页数据（基础篇）
24缟仳
大白里的小白
相信很多小伙伴听到“爬虫”都会避而远之，都觉得很难，包括当初大叔也是，其实要爬取一些简单结构的页面的数据并不难（注意是简单页面），开始动手试试吧。
打开你要爬取的网页，按键盘上的F12，然后按F5刷新,再点Network，找到url，把url复制下来。
打开Power Bi（今天分享的函数excel里暂时不支持）进入查询编辑器里。利用Web.BoowserContents把url，解析成Html源码，有兴趣的小伙伴可以看看官方说明
接着我们回来页面上，点击一下数据，点右键-检查，然后再点右键-copy-copy selector
然后回到Power Bi编辑器里，新建一个步骤，Html.Table获取我们想要的数据
这函数两参数，第一参数就是的html源码，第二参数就粘贴刚复制的数据，但这样直接回车确认的话会有点问题，只爬到标签对应的索引数据比如#content > table > tbody > tr:nth-child(2) > td:nth-child(2)，child(2)都是指索引的位置，我们直接把他删除就可以了。
虽然数据结构不是我们想要的，但所有数据都已经被爬取下来了，接下来只要简单清洗一下就可以了。分组转换一下，过程不讲了，之前已经分享过
那如果要爬取多个月份数据看么办？其实也不难，回到页面上，点击一下其他月份，应该不难发现，url里有一串数字是用来控制月份的，只要把这串数据做成变量就可以了
多个城市多个月份也是同理，但要注意，不能直接就循环，城市跟月份是两个变量，应该是笛卡尔积表，比如上海跟广州，1，2， 3月，应该要遍历上海1，上海2，上海3，广州1，,广州2，广州3。。。所以要用List.TransformMany
分享结束，感谢观看，Thanks!
发布于 2019-01-31 12:39
Power BI
Power Query
数据挖掘
文章被以下专栏收录
