河南大学110周年校庆系列学术报告
日期:2022-06-26 16:08:12  发布人:统计与大数据学院  作者:  浏览量:4

河南大学数学与统计学院

河南省应用数学中心(河南大学)

报告题目:Occam's Razor in neural network

主讲人:许志钦

  :上海交通大学

时    间:6月29日10:00

腾  讯ID: 626-173-892

  :I would demonstrate that a neural network (NN) learns training data as simple as it can,resembling an implicit Occam's Razorfrom the following two viewpoints. Firstthe NN output often follows a frequency principlei.e.learning data from low to high frequency.The frequency principle qualitatively explains various phenomena of NNs in application. Second,the NN weights condense on isolated directions when initialized smallwhich means the effective NN size is much smaller than its actual size,i.e., a simple representation of the training data.

 :许志钦,上海交通大学自然科学研究院/数学科学学院长聘教轨副教授。2012年本科毕业于上海交通大学致远学院。2016年博士毕业于上海交通大学,获应用数学博士学位。2016年至2019年,在纽约大学阿布分校和柯朗研究所做博士后。主要研究方向是机器学习和计算神经科学。多篇论文发表于Journal of Machine Learning Research,AAAI,NeurIPS, Communications in Computational Physics,European Journal of Neuroscience和Communications in Mathematical Sciences等学术期刊和会议。

邀请人:庞志峰

核发: 点击数:4 收藏本页
分享到
相关链接