#软件开发2024笔面经# 0)项目中遇到哪些问题?1)业务数据采集框架选择(FlinkCDC，Maxwell,Canal)2)Dwd 层新老访客修复、Dws层用户回流状态过大，选择状态后端不合理导致OOM3)状态后端选择 RocksDB导致链路延迟过高4)Dws层读取外部数据库维度数据网络延迟过高导致反压5)数据倾斜导致的反压6)Flink SQL 未设置 TTL 导致的 OOM7)改变程序拓扑结构，通过Savepoint恢复程序未指定算子Uid 导致的报错8)Kafka 分区动态增加，Flink键控不到新分区数据导致数据丢失9)某个Kafka分区没有数据，导致 Flink下游水位线无法抬升，窗口无法关闭计算10) Kafka的问题(挂了、丢了、重复了、积压了、乱序了、如何提高吞吐量)11) Hbase 的rowkey设计不合理导致的数据热点问题12) Redis做旁路缓存，与Hbase的数据一致性问题13) Flink写Clickhouse的精准一次性问题14) Clickhouse 的优化问题 #大数据#  #数据人的面试交流地#  #offer#

岗位：数据研发工程师职位要求：1. 计算机等相关专业本科以上学历；2. 熟悉业务建模、数据仓库建模、熟悉ETL设计开发，熟悉sql语言及原理；3. 熟悉数据仓库领域知识和技能者优先，如Hadoop/Hive/Spark/Flink等；4. 有数据研发/分析项目，或研究论文等优先；5. 热爱大数据，性格沉稳，有较好的语言表达能力，能自我驱动，有强烈的求知欲与进取心，有团队合作精神，敢于挑战，能在压力下成长。以上不全部要求，感兴趣的同学私聊我投简历哈～ #实习#  #大数据#  #蚂蚁#  #成都#

写在前面：很多同学都有向我发简历和咨询大家有时候要是觉得有问题可以主动问我哈，比如有时候简历筛选不通过，可能是简历本身写的有问题而不是候选人的问题，可以问一下我要怎么改进。工作太忙我也没有办法一个个主动去解释。希望大家多多交流和沟通。======================校招、社招和实习都可以咨询哈======================岗位职责1、负责搜索推荐服务数据体系的研发设计和建设，通过数据产品和数据服务等方式，赋能商家、运营的业务增长；2、负责搜索推荐服务的数据建设、数据服务化的设计、开发、性能优化，为上层分析和挖掘提供可靠、统一的离线+实时数据服务；3、负责搜索推荐场景的用户画像、正倒排索引开发；4、负责搜索推荐系统的实时监控大盘、实验指标监控、数据质量监控等功能的开发。任职要求1、计算机相关专业，本科及以上学历，1-5年大数据开发相关工作经验，有电商搜索/推荐系统相关研发经验者优先；2、熟悉Kafka/Spring/MyBatis/Elastic Search/Redis等相关开发技术；3、精通Java/Python/Scala等至少一门语言，熟悉Hadoop/Spark/Hive/HBase/Flink等大数据研发工具；4、对流式计算系统有深入的了解，深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块，有Flink源码阅读经验优先；5、熟悉常见消息队列原理，有Kafka、Plusar、RocketMQ等项目源码阅读经验优先；6、优秀的自我驱动力和责任心，良好的沟通表达能力和团队合作精神，学习能力强有责任心，不断挑战自己。加分项1、有海外电商经验者优先，熟悉多国家、多语言环境下的架构设计者优先；2、大型互联网系统（广告、搜索、推荐）开发经验者优先。

有幸收到阿里大文娱的实习一面，面试官是个很温柔的姐姐，下面记录一下问题：1.自我介绍2.说一下你的两个项目，挑一个讲（我挑了Flink相关的一个项目讲）3.checkpoint怎么做的4.exactly-once的语义是怎么实现的5.你了解反压吗？6.在校课程会学什么7.你是怎么理解数据科学的？（科学的去获取、存储、处理、分析、挖掘数据）8.你提到数据分析，你可以讲讲数据分析的思路吗？（以泰坦尼克号生存预测为例，讲了数据的清洗、归一化、可视化探究、预测等步骤）9.你怎么确定要用什么模型进行预测呢？（都试一遍QAQ）10.所以你是盲测的？那后续怎么调参11.说说SVM，随机森林的原理12.算法学过吗（机器学习深度学习算法都学过）13.你研究生学的是什么（深度学习）14.说几个深度学习的算法（介绍了一下CNN的原理）15.发论文了吗？（准备投了）最后面试官小姐姐因为没有找到合适的编程题就没考了反问：base在哪？（北京）业务内容？（有做数仓的，有开发大数据工具的，有数据科学的。）难怪问了我这么多深度学习的东西。。。许愿一面过~