资讯 小学 初中 高中 语言 会计职称 学历提升 法考 计算机考试 医护考试 建工考试 教育百科
栏目分类:
子分类:
返回
空麓网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
空麓网 > 计算机考试 > 软件开发 > 后端开发 > Python

Python爬虫入门案例2:ajax的post方法爬取kfc官网门店地区数据,并保存下载

Python 更新时间: 发布时间: 计算机考试归档 最新发布

Python爬虫入门案例2:ajax的post方法爬取kfc官网门店地区数据,并保存下载

注意这里是ajax的post方法

首先分析url,发现我们在切换页码的时候,url没有任何变化,只有表单数据中的pageindex发生了变化(这里爬取的是青岛的门店地址)

 

 所以url无需变化,只需要更改data就可以了

import urllib.requestimport urllib.parseurl="http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"headers={     #这里填自己的ua    "User-Agent":""}#请求对象定制def getrequest(page):    #post请求,首先进行请求对象的定制    data = {        "cname": "青岛",        "pid": "",        "pageIndex": page,        "pageSize": "10"    }    data=urllib.parse.urlencode(data).encode("utf-8")    request=urllib.request.Request(url=url,headers=headers,data=data)    return request#获取请求数据def getcontent(request):    response=urllib.request.urlopen(request)    content=response.read().decode("utf-8")    return content#下载def download(page,content):    fp=open("kfc"+str(page)+".json","w",encoding="utf-8")    fp.write(content)if __name__ == '__main__':    startpage=int(input("请输入起始页:"))    endpage=int(input("请输入终止页"))    for page in range(startpage,endpage+1):        request=getrequest(page)        content=getcontent(request)        download(page,content)

爬取结果:

 与官网的数据相对应

 

转载请注明:文章转载自 http://www.konglu.com/
本文地址:http://www.konglu.com/it/1098262.html
免责声明:

我们致力于保护作者版权,注重分享,被刊用文章【Python爬虫入门案例2:ajax的post方法爬取kfc官网门店地区数据,并保存下载】因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理,本文部分文字与图片资源来自于网络,转载此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请立即通知我们,情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!

我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2023 成都空麓科技有限公司

ICP备案号:蜀ICP备2023000828号-2