3021人阅读
Python（5）
要爬取去哪儿上面的所有的热门景点的数据 可以先再 搜索出 搜索 热门景点
有几千页 的景点数据,我们要爬取的就是这些数据;
最好是从分类开始爬取:
分析完之后现在就开始写python代码 爬取所有热门景点的数据 :
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import csv
from multiprocessing import Queue
import random
from time import sleep
User_Agent=["Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0. Safari/537.36","Mozilla/5.0 (M U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (W U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Mozilla/5.0 (M Intel Mac OS X 10.6; rv:2.0.1) Gecko/ Firefox/4.0.1","Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/ Firefox/4.0.1"]
HEADERS = {
'User-Agent':
User_Agent[random.randint(0,4)],
# 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/ Firefox/55.0',
'Accept': 'text/html,application/xhtml+xml,application/q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,q=0.8,en-US;q=0.5,q=0.3',
'Accept-Encoding': 'gzip, deflate, br',
'Cookie': '',
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Cache-Control': 'no-cache'
csvfile = open('去哪儿景点.csv','w',encoding='utf-8', newline='')
writer = csv.writer(csvfile)
writer.writerow(["区域","名称","景点id","类型","级别","热度","地址","特色","经纬度"])
def download_page(url):
# 下载页面
data = requests.get(url, headers=HEADERS, allow_redirects=True).content
# 请求页面，获取要爬取的页面内容
return data
#下载页面 如果没法下载就 等待1秒 再下载
def download_soup_waitting(url):
response= requests.get(url,headers=HEADERS,allow_redirects=False,timeout=5)
if response.status_code==200:
html=response.content
html=html.decode("utf-8")
soup = BeautifulSoup(html, "html.parser")
return soup
print("等待ing")
return download_soup_waitting(url)
def getTypes():
types=["文化古迹","自然风光","公园","古建筑","寺庙","遗址","古镇","陵墓陵园","故居","宗教"] #实际不止这些分组 需要自己补充
for type in types:
url="http://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97%A8%E6%99%AF%E7%82%B9&region=&from=mpl_search_suggest&subject="+type+"&page=1"
getType(type,url)
def getType(type,url):
soup=download_soup_waitting(url)
search_list=soup.find('div', attrs={'id': 'search-list'})
sight_items=search_list.findAll('div', attrs={'class': 'sight_item'})
for sight_item in sight_items:
name=sight_item['data-sight-name']
districts=sight_item['data-districts']
point=sight_item['data-point']
address=sight_item['data-address']
data_id=sight_item['data-id']
level=sight_item.find('span',attrs={'class':'level'})
level=level.text
product_star_level=sight_item.find('span',attrs={'class':'product_star_level'})
if product_star_level:
product_star_level=product_star_level.text
product_star_level=""
intro=sight_item.find('div',attrs={'class':'intro'})
intro=intro['title']
writer.writerow([districts.replace("\n",""),name.replace("\n",""),data_id.replace("\n",""),type.replace("\n",""),level.replace("\n",""),product_star_level.replace("\n",""),address.replace("\n",""),intro.replace("\n",""),point.replace("\n","")])
next=soup.find('a',attrs={'class':'next'})
next_url="http://piao.qunar.com"+next['href']
getType(type,next_url)
if __name__ == '__main__':
getTypes()
之后只要让它执行就好
如果发现 控制台中一直打印
很有可能 ip被封了
只要使用代理换个ip就会继续爬取,
最后爬取出来的数据总共有 4,5万的数据:
如果需要这份数据
请联系 zhenpeng_
邮箱:zhenpeng_【图片】【星爸萌娃】KimiYY频道粉丝后援会火热招聘ING【爸爸去哪儿吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
【星爸萌娃】KimiYY频道粉丝后援会火热招聘ING收藏
kimi的yy频道粉丝后援会正式火热招人因为频道是新的也没什么人跟积分所以我到贴吧来发帖希望有人能加入我们把这个公会办起来我坚信我们会成功有些不知道YY或者不会玩YY的亲们可以找我 QQ急招频道高管快点来加入我们好吗YY频道号：１８７２９５２０谢谢你们能点进来看看谢谢支持
登录百度帐号小程序 体验更轻盈
7×24 客服电话
国内： 香港：852- 852- 海外：86-10-
我浏览过的酒店
您目前没有浏览过的酒店呦~
您目前没有收藏的酒店呦~
展示你的个性化内容
定制我的目的地 覆盖全球75万家酒店，你想住的，我们都有
登高踏青 小憩温泉 天然氧吧 草原撒欢 小镇时光 美食之城
380家酒店特卖
春意撩人 登高踏青赏春色
380家酒店特卖
阳春三月 闻着茶香去峨眉
380家酒店特卖
迎春 祈福 登五台
380家酒店特卖
亲近自然 春游庐山
380家酒店特卖
古树错落 帝王温泉
380家酒店特卖
森林温泉 草本养生
380家酒店特卖
毗邻港澳 商务养生
380家酒店特卖
延年益寿 名誉中外
380家酒店特卖
高原古城 圣山天湖 沁人心脾
380家酒店特卖
文献名邦 彩云之南 空谷幽兰
380家酒店特卖
东海翡翠 舟山群岛 气候宜人
380家酒店特卖
天风海涛 鼓浪岛屿 鸟语芬芳
380家酒店特卖
草原 牧民 小马驹
380家酒店特卖
帝都最近的草原
380家酒店特卖
高原上的绿洲
380家酒店特卖
风景如画 醉美祁连山
380家酒店特卖
烟雨长廊 景色好似宣纸画
380家酒店特卖
古风犹存 如诗如画
380家酒店特卖
推窗见水 小桥人家
380家酒店特卖
晋商遗风 古城探幽
380家酒店特卖
只有想不到，没有找不到
380家酒店特卖
不只有火锅，吃是头等事
380家酒店特卖
吴侬软语 淮味养人
380家酒店特卖
美食怕不辣，湘味最十足
文艺清新 面朝大海 别样建筑 浪漫主义 魅力都市
380家酒店特卖
风情英伦，帝国余韵
380家酒店特卖
泰北玫瑰，慢行古城
380家酒店特卖
最传统的浪漫，最神秘的自然
380家酒店特卖
永恒之城，魅力无限
380家酒店特卖
海岛胜地，天人合一
380家酒店特卖
一岛一世界
380家酒店特卖
纯净之极的原生态梦幻岛屿
380家酒店特卖
凝聚着东方妩媚与西方性感
380家酒店特卖
天使之城，艺术之都
380家酒店特卖
在时尚与古典间穿梭
380家酒店特卖
畅饮伏特加的英雄之城
380家酒店特卖
古老与现代辉映，东方与西方交融
380家酒店特卖
一岛一世界
380家酒店特卖
蓝白色的人间伊甸园
380家酒店特卖
浪漫如斯，热情如是
380家酒店特卖
薰衣草之乡
380家酒店特卖
乐享狮城，多彩四季
380家酒店特卖
郁金香绽放的水都
380家酒店特卖
好莱坞的风情
380家酒店特卖
双子塔上，气度非凡
全球110万家酒店
订酒店返现金高达20%
国际酒店8折起
7×24小时服务
艺龙旅行网提供全球110万家酒店的预订服务和酒店团购服务。通过真实的酒店照片、酒店评价，无论您是和家人一起旅游度假还是商务出行，我们都能为您提供称心如意的酒店。
为了方便用户快速定位酒店而存在，我们涵盖了北京、西安、上海、成都、广州、武汉、南京、东莞、长沙、深圳、重庆等城市的常见地标类型。
艺龙旅行网是中航协认证的机票服务提供商，提供国内和国际的特价机票、航班信息、机票查询和预订服务。
| | | | | | | | | | | | | | | | | | |
| | | | | | | | | | | | | | | | | | | | | | | |
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |后使用快捷导航没有帐号？
只需一步，快速开始
查看: 9771|回复: 6
项目经理, 积分 200, 距离下一级还需 50 积分
[此帖已被设为精华]
第一次遭遇公司毁offer，还是稍有名气的“去哪儿网”。跟HR聊天的过程中该HR还嘲笑另一个知名公司毁offer，没想到现在甩了自己一个响亮的耳光。
4月19日（周四）面试，笔试、第一轮技术面试（连续面了两个人），之后说一周内约二面。
于是4月21日（周一）接到人事电话，约定当天下午进行第二轮面试，去了之后技术总监又进行了一轮技术面试，之后HR来谈待遇之类，期间谈的很好，谈好待遇之后HR很笃定的说周四之前会发书面offer，如果有延后的情况会及时给我打电话通知。恰好赶上五一假期，HR表示公司每周一二三集中办理入职，于是初步约定五一之后的周一（5月7号）报道。
谁料4月24号（周四）晚上我查收邮箱没有收到书面offer，由于我的邮箱以前有人反映出现退信的情况，也没多想。于是4月25号（周五）给该HR打电话，该HR表示没有问题，正在走流程。
之后正好五一假期，4月26号（周六）我就回老家，5月3号回京后依然没有收到offer邮件，当天再次给HR打电话无人接听。
感觉有点不对劲了，因为马上要到口头约定的入职报道的时间，offer和需要准备的材料都没有告知。
5月4号（周五，今天）下午3点再打电话无人接听，5点半再次打电话，该HR支支吾吾说流程还没走完，可能有变化，他再去帮我确认。过了一会儿打电话过来被告知公司人事调整，offer取消。
HR吹嘘刚拿到百度投资，不差钱，马上纳斯达克IPO的公司居然这么恶心，强烈鄙视。
提醒大家辞职有风险，求职需谨慎，擦亮眼睛，不要步我的后尘。
========================================================================================
修改标题吧，关键点不在是否毁offer，而是整件事情的过程。
项目经理, 积分 162, 距离下一级还需 88 积分
还有这样的？？
项目经理, 积分 166, 距离下一级还需 84 积分
看了这个，真心寒啊，还想投的
职员, 积分 97, 距离下一级还需 23 积分
去哪儿网的薪酬怎么样？
职员, 积分 97, 距离下一级还需 23 积分
去哪儿网的薪酬怎么样？
项目经理, 积分 171, 距离下一级还需 79 积分
啊怎么这样呢
职员, 积分 57, 距离下一级还需 63 积分
去哪的技术薪酬应该还是不错的
站长推荐 /1
Powered by创新就是力量，去哪儿实体店招商加盟ING
加盟热线：
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点