男生学web前端开发怎么样_b2b网站是什么_摄影网站设计方案_久久建筑网免费下载怎么没有了

from lxml import etreedef get_all_url(num): # 爬取所有公式url i = 1url_list = []for i in range(num):print("#####第 {} 组###########################".format(i))request_dic = {'IsAjax': 1,'dataType': 'html','_': '0.9035590852646269','labelName': 'publicInfoList','siteId': 35525764,'pageSize': 15,'pageIndex': i, # 每次更改页码索引'action': 'list','fuzzySearch': 'true','fromCode': 'title','keyWords': '年月第周危险化学品安全生产许可证发放情况一览表','sortType': 0,'isDate': 'true','dateFormat': 'yyyy-MM-dd','length': 80,'organId': 9377745,'type': 6,'catIds': '','cId': '','result': '暂无相关信息','file': '/xxgk/publicInfoList_newest2020',}i += 1urls,num = paqu_URL(AH,request_dic)url_list += urls# try:# urls,num = paqu_URL(AH,request_dic)# url_list += urls# except:# print("-#-#-#- 爬取第 {} 页出现错误 -#-#-#-".format(i))print("爬取完成，共 {} 个 URL".format(len(url_list)))return url_listdef paqu_URL(url,data): # 这里更改了data的发送与读取模式URLS = []num = 0headers = {'referer':'http://yjt.hubei.gov.cn/fbjd/xxgkml/xkfw/xzxkgs/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}# html = requests.get(url, headers=headers).contenthtml = requests.post(url, headers=headers, data = json.dumps(data)).contentxml = etree.HTML(html)xpath = '//*[@id="xxgk_lmcon"]/div[1]/ul'txt = xml.xpath(xpath)for ul in txt:for li in ul[:-1]:content = li[0]dic = content.attribURLS.append(dic['href'])num += 1# print("-- {} -- ".format(num),dic['href'])return URLS, numget_all_url(5) # 爬取50页>>>#####第 0 组########################### 网页设计规范导航栏尺寸手机如何翻到国外网站永久免费不收费无限看装修技术培训去哪里学企业推广宣传方式网站主页设计手机界面设计企业工商信息查询官网免费的网站生成app建个企业网站要多少钱免费装修设计app免费微信小程序官网seo查询 站长之家端午节网页制作模板全民建站如何创办公司福步外贸论坛网官网app下载网站免费个人网站规划书洛阳网站推广公司游戏代理哪个平台正规天津网络广告公司长沙企业建站程序苏州网络营销及网站推广门头设计一键生成百度网址收录入口网址注册平台佛山百度关键词排名西安做网站的开电商有哪些步骤网络工程师中级