大模型推理这个方向怎么样

#牛客帮帮团来啦！有问必答#大模型训练和推理哪个更有前景？个人感觉推理场景更多些，训练很多都是把基座模型训练好之后微调。 #牛客解忧铺#   #大模型#  #我的实习求职记录# #秋招开了，你想投哪些公司呢#

一面：(50 min)经典三数之和自我介绍(2 min)问论文，论文细节，包括背景是什么，模型为什么这样设计，以及参数调优等等问上一段实习经历，主要做的内容是什么深挖实习项目，以及两个项目的内容（感觉面试官非常关注项目背景以及方法可行性）问了一下大模型微调相关的项目反问（面试官的反馈是实习和论文都比较偏向于业务落地，“很有意思”不知道是贬义还是褒义，hh）全程无八股，给我的感受就是非常注重业务场景。第二天约二面二面：(50 min)能来实习多久自我介绍(1 min)深挖实习经历大模型项目的一些背景和知识点(面试官对着项目背景质疑了好几遍，当时都麻了，不知道什么情况)一个简单八股：RNN、LST...

#牛客帮帮团来啦！有问必答#我在读研期间，一直在芯片公司做一些编译器或者推理加速相关的工作，做过模型压缩，算子融合，动态算子相关的一些工作，但是一直在做单机单卡上相关的工作，这是我的一些背景。去年大模型火了以后多了很多大模型的机会，我本来以为这个岗位需求量会很大，但是实际秋招的时候，很多芯片公司在这个方向上招人都是个位数，虽然也可以硬蹭互联网还有一些纯 AI 初创，但是招人也特别少，而且因为急着出成果，都希望招资深工程师，在初期别人大厂各种乱杀的时候，只有自动驾驶的一些公司给了一些机会，后来运气不错又拿了一些大厂做大模型推理团队的 offer ，目前在去苏州做 ADAS 类似嵌入式的工作和去上海做大模型推理之间摇摆，上海总包多将近 20 ，但是我还是有一些担心的点。1. 推理优化的手段真正有效的其实有限，每个公司在这个方向几乎只有十几人的小组在做，我不确定以后跳槽坑位是否足够。2. 现在大模型越来越火，入行的人的资历也越来越好，动辄系统方向的顶会，优秀的开源项目，反观我只有一些实习的经验，对比之下，感觉压力很大。3. 经历了芯片赛道的狂热到现在的业务收缩以后，曾经我也以为算力是基本，做芯片行业肯定能温饱不愁，现在持相反态度，我感觉大模型以后一定是个好方向，但是对于从业者却未必友好。而去外企做嵌入式就没啥太多想法了，苏州家里可以支持买房，可以生活的比较舒服，工资也算给的足够多，如果算上女朋友加起来收入和上海持平（因为女朋友在上海只有银行的选择收入比较低）。两边都有被裁风险，苏州这边做嵌入式的公司相对应该更多一点，缺点就是确实不太喜欢嵌入式，对汽车的软件开发也喜欢不起来，但是可以克服；而且也不一定稳定，加班也不怎么少。总之，感觉选哪边都会后悔，经历了一段时间的决策，包括家庭等因素进去，更加不知道如何选择，希望删繁就简，仅从方向和城市的角度请各位大佬给点意见。

昨天面试遇到了这个问题，对这个有些疑问我的回答是：1.提供不同的提示词，查看返回结果的质量，与正确答案的差异2.查看返回的响应速度3.提供一些涉及隐私安全的、不适合的提示词，查看是否会被拒绝回答面试官不是很满意，说我这些偏向于应用层面刚刚查阅了一下：可以数据收集、数据预处理、模型训练、模型验证、模型评估这样的普适方法评价指标有F1（精确率和召回率的调和平均值）、RougeL（生成摘要和基准摘要的最长公共子序列）、sacreBLEU（生成文本与参考文本在不同长度的N元组的匹配情况）有兄弟做实际的相关业务吗，这个问题应该怎么回答呢？求解