全部新闻
全部新闻

技术研究 | 零编程数据爬取之:火车头数据爬取(二)

时间:2019-06-28
技术研究 | 零编程数据爬取之:火车头数据爬取(二)
零编程数据爬取之:火车头数据爬取(二)

上一期蕾奥技术研究文章中,介绍了网址规则,并利用网址规则采集了南山区所有二手房住宅小区页面的网址。本期将继续在已获取的网址上,借助网页源代码中的标签,提取页面中的目标数据。


2.   通过源代码中的标签截取页面中的信息

在测试网址采集结果正常后,点击上方标签“第二步:采集内容规则”。在左上部的“页面内容标签定义”中,删除软件已有的默认标签。

这一步是用页面标签来定位数据。原理是在源代码中找到数据前后出现的两段代码,且保证第一段代码在网页中是唯一存在的,则软件会自动采集两段代码之间的数据。

接下来开始分析网页元素,本篇以Google Chrome浏览器为例。在页面空白处单击右键,单击“查看网页源代码”和“检查”,会在新标签页中打开网页源代码,并在浏览器右侧会显示开发者工具。

单击开发者工具左上角的选择元素按键,点击页面上的标签,即可在开发者工具中看到对应代码。

此处以价格为例,当鼠标指到价格标签时,开发者模式中可以看到对应代码。

展开该代码块可见,average是二手房均价标签,unit是单位标签。

于是在网页源代码的页面中Ctrl+F搜索这两个标签,显示结果为

说明该网站在此处将价格隐藏。于是换一个思路,既然搜不到标签,直接搜价格“80233”,可以看到这次的结果变成了

这段数据为页面中历史售价曲线图的数据,而comm_midprice则为当前均价的标签。通过页面搜索显示,comm_midprice在这段代码中是唯一的。

因此复制该标签到价格前的所有内容,即"comm_midprice":",作为前段标签。

在火车采集器的“页面内容标签定义”部分,点击“添加”,设置标签名为“均价”,提取数据方式默认为“前后截取”,粘贴上文复制的开始字符串,再从代码中复制价格后的引号作为结束字符串。单击“确定”保存。

同样的方法,提取物业类型数据。选择页面上的物业类型数据后,可以看到开发者模式中显示的对应标签为:

在网页源代码中搜索该标签,显示结果仅有一个:

回到火车编辑器中添加该标签为:

以同样的方式,添加物业费、总建面积、总户数、建造年代、停车位、容积率、绿化率、开发商、物业公司等标签。

玻璃钢生产厂家益阳玻璃钢雕塑公司自贡玻璃钢花钵厂家河源玻璃钢花盆厂河池玻璃钢动物雕塑厂家澳门玻璃钢花槽哪家好南阳玻璃钢医疗外壳厂家直销宜春玻璃钢装饰造型加工苏州玻璃钢摆件厂家宣城玻璃钢摆件制作福建玻璃钢制品滁州玻璃钢景观雕塑厂家直销郴州玻璃钢产品厂家晋城玻璃钢雕塑定制娄底不锈钢花盆批发温州玻璃钢公仔雕塑厂家黑龙江玻璃钢动物雕塑制造乌海不锈钢家具梅州玻璃钢装饰工程制造黄山玻璃钢树池定制阳泉玻璃钢花坛定制廊坊玻璃钢装饰工程加工通化玻璃钢座椅多少钱永州不锈钢雕塑公司惠州玻璃钢医疗外壳加工徐州不锈钢雕塑加工哈密玻璃钢装饰制造大同不锈钢雕塑价格新乡玻璃钢座椅制作广东玻璃钢坐凳厂咸宁不锈钢家具批发香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化