본문 바로가기 주메뉴 바로가기
검색 검색영역닫기 검색 검색영역닫기 ENGLISH 메뉴 전체보기 메뉴 전체보기

학술행사

콜로퀴움

eural Tangent Kernel Analysis of Deep Narrow Neural Networks

등록일자 : 2022-04-08

https://icim.nims.re.kr/post/event/912

  • 발표자  류경석 교수 (서울대학교 수리과학부)
  • 기간  2022-04-21 ~ 2022-04-21
  • 장소  광교 산업수학혁신센터 세미나실
  • 주최  산업수학혁신센터

1. 일시 : 2022.04.21.(목), 14:00-16:00

2. 장소 : 광교 테크노밸리 산업수학혁신센터 세미나실

3. 발표자 : 류경석 교수 (서울대학교 수리과학부)

4. 주요내용 : Neural Tangent Kernel Analysis of Deep Narrow Neural Networks

While tremendous recent progress has been made in analyzing the training dynamics of overparameterized neural networks, prior work primarily focuses on the very wide or infinitely wide regime and therefore does not sufficiently address the role of depth in deep learning. In this work, we present the first trainability guarantee of infinitely deep but narrow neural networks. We study the infinite-depth limit of a multi-layer perceptron (MLP) with a specific initialization and establish a trainability guarantee using the NTK theory. We then extend the analysis to an infinitely deep convolutional neural network (CNN) and perform brief experiments.


5. 유튜브 실시간 스트리밍 : 현장 참석이 어려운 분들을 위해 온라인으로 실시간 방송할 예정입니다. 주소는 당일 이 아래 페이지에서 확인 가능합니다. 

[산업수학혁신센터 홈페이지] 

1. 일시 : 2022.04.21.(목), 14:00-16:00

2. 장소 : 광교 테크노밸리 산업수학혁신센터 세미나실

3. 발표자 : 류경석 교수 (서울대학교 수리과학부)

4. 주요내용 : Neural Tangent Kernel Analysis of Deep Narrow Neural Networks

While tremendous recent progress has been made in analyzing the training dynamics of overparameterized neural networks, prior work primarily focuses on the very wide or infinitely wide regime and therefore does not sufficiently address the role of depth in deep learning. In this work, we present the first trainability guarantee of infinitely deep but narrow neural networks. We study the infinite-depth limit of a multi-layer perceptron (MLP) with a specific initialization and establish a trainability guarantee using the NTK theory. We then extend the analysis to an infinitely deep convolutional neural network (CNN) and perform brief experiments.


5. 유튜브 실시간 스트리밍 : 현장 참석이 어려운 분들을 위해 온라인으로 실시간 방송할 예정입니다. 주소는 당일 이 아래 페이지에서 확인 가능합니다. 

[산업수학혁신센터 홈페이지] 

이 페이지에서 제공하는 정보에 대해 만족하십니까?