百度 大数据研发实习

一面——60mins自我介绍拉链表的制作，数据量有多少，为什么不用快照表呢项目有哪些表数仓分层有哪些，具体做了什么，数仓分层作用怎么设计表，怎么建模，DIMDWD层的主题分了哪些如何做的可视化什么是数据倾斜，数据倾斜的解决方案Hadoop和spark的区别Spark的shuffle流程是怎么样的对哪些数据库了解Shuffle有哪几种类型在shuffle的过程中会进行排序吗，有哪几种排序什么是快速排序，时间复杂度是多少，手撕快排代码题Spark是如何划分stage阶段Spark SQL的执行流程，如何将一个SQL语句转换为任务宽窄依赖，宽依赖阶段会发生什么两个SQL题反问

技术风险与效能部招人啦，我们是属于阿里控股爱橙科技下面的部门，当前投递到我们部门的人比较少！！！大家快冲呐！！！ 💼 公司岗位 JAVA/c++/go开发 💢 工作强度 我感觉还可以，周一周二周四1095或者1085，周三周五大部分人6点下班 🏬工作地点 北京/杭州/上海 我工作在杭州西溪园区，附近租房很方便，房源很多，租房大约1000-2000内，其他地方不太清楚 💰 薪资待遇400/天 有餐补，二线中餐晚餐各20/元，一线中晚餐各为25元，夜宵10/元，在杭州的话餐补大约为50/天 租房补贴2000， 另外入职还有最多两个星期的免费酒店住宿，这段时间好找房子绰绰有余了！！！ 有问题...

美团数据开发转正实习面经总结:美团效率，完全没准备好就面试了。问了很多八股，兼具深度广度，知道的不知道全问了。学习之路道阻且长啊。数仓分层：为什么不能直接建DWD,DIM层，ODS层的必要性是什么？DWS层的作用是什么，为什么不能直接建ADS层？完全同上乱答SQL考查:统计每个科目各等级的人数，写的很艰辛，面试的时候脑子经常短路，干着急。菜就多练分组topN，窗口函数。left join where中的条件写在where里和写在on里面有什么区别，查询结果一样吗？Java考查:HashMap底层组成，怎么减少扩容次数，答扩大初始容量，增加扩容因子。说说面向对象。了解的数据类型。Hive：什么情况会导致倾斜，怎么解决。写了一个HQL语句，问从提交到MR的整个详细执行过程，答的很粗略。hive 怎么根据表名去找表数据，metastore。MySQL 常见内存引擎，什么时候适合用哪种引擎。事务隔离级别。银行应该用哪种隔离级别。为什么用B+树，而不是B树或者其他。行列存储优缺点。常见的压缩格式。MR:切片规则，100个文件前面99个小文件，最后一个文件150M，默认切几片。顺势问到小文件的危害，怎么解决。分区器问题，疯狂拷打，但没什么印象了环形缓冲区调大调小有什么问题，纯乱答。写个快排，没注意有重复元素，好像陷入死循环了。问了为什么选择走数据开发这条路，有看过什么大数据类型的书吗。最后问你的亮点是什么，一直都不知道这些问题怎么答然后详细描述。其他的想不起来了。

模型开发的流程，需求调研过程中有哪些人员参加，调研过程，你会输出什么文档？如何保障数据质量（准确性）？spark有什么优缺点？在使用过程如何规避缺点？spark内存模型？spark和MR为什么会进行shuffle，如何减少shuffle？小文件治理的方式？主题域建设的流程？大表join大表的优化（10亿与1千万数据关联）？为什么存在ods穿透？为什么离职，旧公司工作强度如何？这公司现在还能去么？我真的哭死。