首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
牛客482869769号
2019-03-22 10:56
已编辑
关注
已关注
取消关注
请教一下各位牛油,为何激活函数需要具备单调性?
可微是为了保证单向传播梯度计算,单调性的目的是什么呢?看到有的论文说,是能够保证单层模型具有凸函数性能,不是很理解,求大佬们指点一下。
提示
全部评论
推荐
最新
楼层
GoKuSon
算法工程师
从最简单的角度考虑,凸函数容易优化啊,不存在鞍点或者局部最优解这种问题,事实上在训练复杂模型的时候很容易跑到局部最优解,你考虑一个小坑挨着一个大坑,大坑的最低点是你想要的最优解,结果你一不小心掉到了小坑里,学习率和扰动不足以使你跳出小坑,那就很坑爹了😂激活函数的目的无非就是信息压缩和到概率空间的映射;单调性这块,我觉得应该就是出于凸优化的这个考虑,不在最简单的地方摔跟头
点赞
回复
分享
发布于 2019-03-21 23:35
找完工作和实习继续找工作
美团_算法工程师
因为激活函数基本都是对0-1跳变函数的近似,而0-1跳变函数本来就是单调的。我猜的。
点赞
回复
分享
发布于 2019-03-21 23:07
滴滴
校招火热招聘中
官网直投
找完工作和实习继续找工作
美团_算法工程师
你看的这个说法的来源可能是凸函数复合一个单增凸函数还是凸函数,但是激活函数本身不一定是凸的,所以我觉得存疑。
点赞
回复
分享
发布于 2019-03-21 23:09
滴滴
校招火热招聘中
官网直投
相关推荐
年薪百万的独行侠很苦闷
04-29 16:50
河南工业大学 机械类
歌尔工艺研发
参加宣讲会,需要网申,宣讲会结束当天晚上给面试通知。面试为1对1面试,基本是对应岗位的技术主管进行面试。主要问了针对简历和获奖证书提问:项目期间遇到过什么样的问题,如何解决;有哪些项目是合作完成的,合作解决问过程。介绍自己的专业, 我的专业不太对口,问了我的专业如何运用到工作中去。回到不对口后问工作意向。最后问了对5G的看法。整个过程大约半小时1、面试官翻看获奖证书,提问某一项目什么内容。答:简述项目内容2、你所做的项目中哪个印象最深刻,为什么答:指出项目,回答项目中的收获3、哪个项目是与别人合作完成的,你在其中具体做了什么工作答:指出项目,表述自己完成的工作4、合作的项目中遇到了什么困难,是...
机械制造2024笔面经
点赞
评论
收藏
转发
Mr.KLeo
04-27 13:17
莉莉丝游戏_初级服务器开发工程师
莉莉丝内推
莉莉丝内推码:8EH4P8E 莉莉丝内推链接: https://lilithgames.jobs.feishu.cn/referral/campus/m/position/share/?token=NTsxNzA5NzI4MjAwMjIyOzcyMzU4MTg1MjI1MDc5NTM2NzY7NzM0MzIyNTg2Mzc5MjY5MTQ5NQ 欢迎大家投递我们的莉莉丝,有问题可以私聊我哟~ 莉莉丝公司重视团队合作,共同打造卓越的产品。
投递莉莉丝游戏等公司7个岗位 >
点赞
评论
收藏
转发
一闪一闪小辣鸡
03-20 10:19
湖南大学 电子信息类
刚打电话约面了 难道是选择题做的好??
点赞
评论
收藏
转发
coucoumomo
04-20 10:49
已编辑
太原理工大学 电子信息类
小小B站,轻松拿下
#哔哩哔哩# 标题党一下 其实一点也不轻松呜呜呜鼠鼠暑期实习的第一个offer前面面了腾讯美团全挂了谢谢小破站!希望大家早日找到心仪的工作~
点赞
评论
收藏
转发
牛客526521133号
04-29 15:38
算法工程师
关于裸辞的讨论
看到一篇文章,写得很好,来分享下:https://mp.weixin.qq.com/s/-UMe88GPXqLlGG0D6JrUAg
点赞
评论
收藏
转发
点赞
3
评论
分享
回复帖子
全站热榜
1
...
毕业
7572
2
...
【薪资计算】SS Is All You Need
5982
3
...
【奖💰】通信硬件薪资爆料②
5366
4
...
浅谈一下今年暑期实习形势
4750
5
...
学弟们听劝,不要学后端
4436
6
...
计算机就业,别卷绩点,这是最大的信息差
3988
7
...
双非大学四年Apache PPMC 拿过大厂offer考研.
3820
8
...
双非硕士的出路
3373
9
...
阿里饿了么意向
3355
10
...
22届211工科考浙大失败不知道咋找工作了,有没有佬给点建议
3197
正在热议
#
牛客帮帮团来啦!有问必答
#
468740次浏览
8461人参与
#
找不到好工作选择GAP真的丢人吗
#
8763次浏览
89人参与
#
互联网没坑了,还能去哪里?
#
343937次浏览
5493人参与
#
华为开奖那些事
#
654856次浏览
5717人参与
#
你想对下半年说点什么
#
5595次浏览
134人参与
#
2022届毕业生现状
#
293628次浏览
4164人参与
#
非技术薪资爆料
#
66261次浏览
968人参与
#
许愿池
#
69041次浏览
1495人参与
#
双非本科求职如何逆袭
#
182830次浏览
2709人参与
#
我的失利项目复盘
#
188790次浏览
4157人参与
#
非技术岗是怎么找实习的
#
67453次浏览
1322人参与
#
在找工作求抱抱
#
292019次浏览
5602人参与
#
没有实习经历,还有机会进大厂吗
#
281880次浏览
5867人参与
#
实习好累,可以辞职全力准备秋招吗
#
4163次浏览
81人参与
#
Offer比较,你最看重什么?
#
44056次浏览
442人参与
#
工作两年想退休了
#
12790次浏览
121人参与
#
参加过提前批的机械人,你们还参加秋招么
#
9642次浏览
305人参与
#
找工作时遇到的神仙HR
#
160130次浏览
1654人参与
#
想实习转正,又想准备秋招,我该怎么办
#
91918次浏览
1054人参与
#
产品薪资爆料
#
30830次浏览
525人参与
牛客网
牛客企业服务