LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

可以实习六个月以上

记录找工作经历哈哈哈

jd young，上海京东零售前端岗。5.7官网投简历，5.29通知一面，5.30一面（业务一面，视频面，40分钟），5.31通知二面，6.3上午二面（业务二面，电话面，35分钟），6.3下午hr告知目前岗位不要26届，明年来实习优先考虑，随后官网挂。 我勒个......东哥，你不要26的就不要给我希望呀，就不要通知我一面二面呀😥哭了，明明还期待了一整个周末，这下得推倒重来了。 二面：主题围绕着项目来的，对项目进行询问，面试官还是很好的，也没有太为难我 讲讲你的项目 项目中的亮点、值得说的地方 组件和路由的关联？ token的使用，localStorage的...