首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
WISING
2017-04-18 10:20
已编辑
Java
关注
已关注
取消关注
知乎爬虫问题求指导!
最近在学爬虫,想爬知乎的用户,思路是从一个用户的被关注列表里面获取关注该用户的其它用户,采用广度优先的原则,将用户的url放到一个unvisited队列中,问题来了:比如轮子哥的关注有几十万,这个页面的用户全部加入到队列中的时间非常长,用单线程的时间全在等待加入队列上了,等这个页面的用户全部入队之后才出队爬取下一个页面。所以需要使用多线程,在入队时,其它线程继续爬取页面,但是Java多线程不太熟,请问下多线程的思路~~谢谢
提示
全部评论
推荐
最新
楼层
小小
C++
这不是生产者和消费者嘛😆
点赞
送花
回复
分享
发布于 2017-04-17 20:19
笑长
C++
为什么要从被关注列表里取数据呢,从关注列表里取不更好吗,每个人关注的用户是有限可控的。 可以用一个任务队列+unvisited队列,主线程负责从unvisited队列里取url将用户信息存入数据库,并将该用户的关注列表链接和页码数作为参数压入任务队列,辅线程不断从任务队列里取数据并把所关注用户的url压入unvisited队列。 关键做好同步和去重。
点赞
送花
回复
分享
发布于 2017-04-17 20:34
滴滴
校招火热招聘中
官网直投
brianway
Java
可以参考我做的:https://github.com/brianway/webporter
点赞
送花
回复
分享
发布于 2017-04-17 21:00
就只面了腾讯一家公司
Java
6度原理告诉我们,你从一个知乎用户开始爬取就可以爬到所有用户信息。其实在微观上看就是多叉树,宏观上看是网状图。能处理好图的遍历就行
点赞
送花
回复
分享
发布于 2017-04-18 07:35
滴滴
校招火热招聘中
官网直投
相关推荐
要发财的鳄鱼很大胆
昨天 16:17
重庆大学 机械类
25届暑期实习中后期更容易拿offer
最近新开了很多,说明很多家都没有招满,投递的绝佳时机啊,冲冲冲
实习,投递多份简历没人回复怎么办
我的实习求职记录
点赞
评论
收藏
转发
犬粟
05-16 23:21
已编辑
华中科技大学 计算机类
5.14 腾讯后台二面结果是hr面
继一面二十分钟速通第二天进复试后,又遇到这种不可思议的事,不知道为什么,有没有懂哥解释下 现在还是复试链接状态,已经是最后的稻草了 5.16流程已结束👋🏻
点赞
评论
收藏
转发
晓落落落
03-21 16:11
浙大宁波理工学院 计算机类
25届,二本java想找个实习
本人大三,想找实习,对实习工作一点不了解第一次写简历,求大佬们锐评一下#简历##简历被挂麻了,求建议##简历建议#
简历被挂麻了,求建议
点赞
评论
收藏
转发
双非小渣渣
04-22 17:59
门头沟学院 计算机类
这是什么家庭
何必努力,不如有个靠山离家近
点赞
评论
收藏
转发
鼠鼠不想学爪哇
05-14 20:09
中国科学技术大学 计算机类
腾讯ailab后台实习一、二、hr面
timeline 4.11投简历-4.23一面-5.9二面-5.11hr面 一面 实习(10分钟) 项目(10分钟) 除了java还有其他语言了解吗 想先做题还是先八股(第一次碰见这样问的面试官,后面给题的时候才庆幸自己没选先做题,不然感觉可以直接结束了) 线性表有哪些,详细说说 那非线性的呢 查询时间复杂度为O(1)的数据结构有哪些 哈希表底层怎么实现的 哈希冲突有哪些解决方法 java中HashMap是怎么扩容的 什么时候会扩容 smtp和http协议有啥区别 说说dns协议 dns协议除了解析域名还有什么作用(不知道,后面才知道可能...
投递腾讯等公司8个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
5.16校招&实习招聘信息汇总
8585
2
...
盲审已过,答辩已过,工作已签
8543
3
...
送花给牛友,不做“白嫖党”!牛客互动新功能上线啦!
8327
4
...
实习难求——做个总结
8112
5
...
聪明人看的Java后端入门路线(应该比大多数高手给的靠谱)
6041
6
...
给25届同学: 永远相信美好的事情即将发生
4772
7
...
腾讯一面凉经 5.16
4622
8
...
26届菜鸡投了一个月大厂日常,0面试绷不住了呀。听说9月后机会可能会多起来,感觉要被迫继续沉淀了之前和导师聊,说找到大厂实习的话可以去,对就业帮助大,小厂的话就emmm投了快一个月,老板上打招呼绝大数
3811
9
...
二本漫漫求职路......
3527
10
...
pcg qq 一面
3090
正在热议
#
牛客帮帮团来啦!有问必答
#
760027次浏览
12049人参与
#
海康威视求职进展汇总
#
95838次浏览
1156人参与
#
你的工作大概什么时候入职?
#
3389次浏览
45人参与
#
Offer比较,你最看重什么?
#
51803次浏览
499人参与
#
非技术2024笔面经
#
181625次浏览
3052人参与
#
非技术岗是怎么找实习的
#
76280次浏览
1422人参与
#
实习生应该准时下班吗
#
78875次浏览
582人参与
#
产品实习,你更倾向大公司or小公司
#
37903次浏览
583人参与
#
学历对求职的影响
#
136504次浏览
1553人参与
#
签约/解约注意事项
#
67300次浏览
647人参与
#
今年形式下双非本找得到工作吗
#
7780次浏览
161人参与
#
面试等了一周没回复,还有戏吗
#
41459次浏览
510人参与
#
春招已经启动啦 硬件uu开始投了吗?
#
86596次浏览
678人参与
#
找工作中的意难平
#
191831次浏览
3408人参与
#
百度工作体验
#
24119次浏览
248人参与
#
考研失败就一定是坏事吗?
#
20772次浏览
217人参与
#
2022届毕业生现状
#
321826次浏览
4448人参与
#
华为求职进展汇总
#
524508次浏览
5004人参与
#
正在春招的你,也参与了去年秋招吗?
#
134791次浏览
1698人参与
#
0offer是寒冬太冷还是我太菜
#
418904次浏览
4852人参与
牛客网
牛客企业服务