首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
favowang
2018-08-21 14:08
已编辑
大连理工 Java
关注
已关注
取消关注
求助:如何把一个文件快速下发到100万个服务器?
求助:如何把一个文件快速下发到100万个服务器?
提示
全部评论
推荐
最新
楼层
wushu
University of New South Wales Java
来来来,大家一起脑洞啊 接2#========================= 作者:TeeKee 链接:https://www.nowcoder.com/discuss/76829?type=0&order=3&pos=19&page=1 来源:牛客网 如果集中式地放在一个服务器或缓存上的话,带宽、连接都会遇到问题。只说idea的话。 树状: 1. 每个服务器既具有文件存储能力也应具有文件分发能力。 2. 每个服务器接收到文件之后向较近的服务器分发,具体类似多叉树,应该挺快的。 索引状: 1. 设置1000个缓存服务器,文件先下发到这些缓存上。(具体多少缓存、分几层缓存和具体业务有关。) 2. 每个缓存服务器接收1000个服务器取文件。 ================================= A.对于树状传递,在100W台服务器这种量级上,可能存在两个问题 1.如果树上的某一个节点坏掉了,那么从这个节点往下的所有服务器全部宕机。 2.如果树中的某条路径,传递时间太长了(网络中,两个节点间的传递速度受很多因素的影响,可能相差成百上千倍),使得传递效率退化。 改进: 100W台服务器相当于有100W个节点的连通图。那么我们可以在图里生成多颗不同的生成树,在进行数据下发时,同时按照多颗不同的树去传递数据。这样就可以避免某个中间节点宕机,影响到后续的节点。同时这种传递方法实际上是一种依据时间的广度优先遍历,可以避免某条路径过长造成的效率低下。 B.最简洁省事的方法,组播!(类似索引式)。都有100W台服务器了,自己搞个组播网络不就好了,标准的TCP/IP协议啊。
点赞
回复
分享
发布于 2018-04-22 14:25
yluo
西安电子科技大学 Java
串成一条链吧 第一个发给第二个 第二个发给第三个以此类推 可以同时发的
点赞
回复
分享
发布于 2018-04-22 13:08
TeeKee
阿里云_基础产品事业部_高级开发工程师
如果集中式地放在一个服务器或缓存上的话,带宽、连接都会遇到问题。只说idea的话。 树状: 1. 每个服务器既具有文件存储能力也应具有文件分发能力。 2. 每个服务器接收到文件之后向较近的服务器分发,具体类似多叉树,应该挺快的。 索引状: 1. 设置1000个缓存服务器,文件先下发到这些缓存上。(具体多少缓存、分几层缓存和具体业务有关。) 2. 每个缓存服务器接收1000个服务器取文件。
点赞
回复
分享
发布于 2018-04-22 13:43
Da柱
南京邮电大学 Java
想一想迅雷的下载方式就可以了。下载好的主机同样可以作为上传服务器。不断扩散,速度很快
点赞
回复
分享
发布于 2018-04-22 13:48
字节影像招生办
字节跳动_互娱研发-Android_Android开发
可以想到cdn,有树型和p2p结构
点赞
回复
分享
发布于 2018-04-22 15:28
SY423
中国科学院大学 Java
组播?
点赞
回复
分享
发布于 2018-04-22 20:47
点量软件小琴
山东师范大学 产品经理
使用P2P技术可以实现想要的结果,因为P2P的优势就是下载的同时也在上传,也成为整个网络中的节点或者服务器。可以说试下点量BT内核
点赞
回复
分享
发布于 2018-08-21 13:37
明天晚餐吃什么?
华中科技大学 C++
将文件分块 采用bt
点赞
回复
分享
发布于 2018-08-21 14:36
还没有回复哦~
相关推荐
03-16 18:59
湖南大学 数据库工程师
学而思内推学而思面经
👩🏫【学而思|创校骨干教师招募令】 🌟 职位亮点 👉 破格培养:校长天团1v1带教,全程参与新校筹建、课程研发与团队搭建 👉 超高速成长:跃迁式发展通道(骨干教师→学科负责人→校区管理岗) 👉 高起点平台:入职即接触战略级项目,深度参与教育创新实践 🎯 招募对象 ✅ 22-25届毕业生(专业不限,数理、工科背景优先) ✅ 热爱教育事业,具备创新思维与执行力 ✅ 有支教/教育实习/社团管理经验者加分 🌍 工作坐标 📍 粤港澳大湾区 📍 长三角经济圈 💎 薪酬福利 💰 首年综合年薪20-35W 🎁 六险一金、年度体检、带薪病假、福利年假等 【内推链接】https://ap...
点赞
评论
收藏
分享
03-03 11:27
黑龙江科技大学 Java
都说亚信垃圾,如图
人生一梦:
24年我投暑期实习,它以我不是女的为理由拒绝了我
查看图片
点赞
评论
收藏
分享
02-14 14:14
东南大学 嵌入式软件工程师
26届暑假实习嵌入式
26届硕士毕业,双非本9硕,打算在南京找暑假实习,求大佬指出简历问题,谢谢!有推荐的实习更好,谢谢!#实习#嵌入式软件 #简历咨询
牛客840262577号:
实习肯定随便找啊。建议去大厂 干干。干得不错 可以留下。
点赞
评论
收藏
分享
03-18 17:54
内江职业技术学院 机械设备工程师
各位大佬,帮忙内推下
半导体或者新能源行业(求内推)学历:大专学校:内江职业技术学院专业:工业机器人技术年龄:27期望城市:厦门能力简介:6年设备维护调试经验,3年光伏行业经验。
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
16
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
拒绝焦虑,从26暑期实习er做起!
6.4W
2
...
美团优选暑期后端一面
1.2W
3
...
26届阿里云暑期实习Java开发一面面经
7929
4
...
1h35m再战淘天
7363
5
...
借钱后续:还我了但是过了几天又问我借钱了🤦♀️
7006
6
...
美团内推美团内推码
5349
7
...
美团一面
4956
8
...
如何让HR对你一见钟情?
4712
9
...
【面试实战9】简历制作技巧,适当的包装可能事半功倍
4524
10
...
简历如何写才能事半功倍?
4211
创作者周榜
更多
正在热议
更多
#
实习要如何选择和准备?
#
8989次浏览
236人参与
#
牛友们的论文几号送审
#
19004次浏览
528人参与
#
携程求职进展汇总
#
203019次浏览
1703人参与
#
美团求职进展汇总
#
1625148次浏览
14653人参与
#
面试等了一周没回复,还有戏吗
#
97892次浏览
900人参与
#
字节求职进展汇总
#
707971次浏览
7181人参与
#
满分简历要如何准备?
#
15421次浏览
281人参与
#
正在实习的你,几点下班
#
99412次浏览
721人参与
#
运营人的第一份offer应该如何选
#
126400次浏览
1048人参与
#
讲讲我的真实离职原因
#
33042次浏览
621人参与
#
我想去国央企的原因
#
53095次浏览
324人参与
#
牛友打假中心
#
38384次浏览
2333人参与
#
面试被问第一学历差时该怎么回答
#
104084次浏览
659人参与
#
金蝶求职进展汇总
#
39705次浏览
227人参与
#
稳定和高薪机械人更看重哪个?
#
422296次浏览
5295人参与
#
工作两年想退休了
#
98518次浏览
1031人参与
#
滴滴求职进展汇总
#
130072次浏览
1330人参与
#
德州仪器求职进展汇总
#
3022次浏览
136人参与
#
机械人,你的第一份感谢信是谁给的
#
21036次浏览
273人参与
#
供应链/物流校招攻略
#
5542次浏览
171人参与
#
通信和硬件还有转码的必要吗
#
46650次浏览
478人参与
牛客网
牛客企业服务