Poprzednie seminaria KTOiS

Semestr letni      2022/2023

Semestr zimowy 2022/2023

Semestr letni      2021/2022

Semestr zimowy 2021/2022

Semestr letni      2020/2021

Semestr zimowy 2020/2021

Semestr letni      2019/2020

Semestr zimowy 2019/2020

Semestr letni      2018/2019

Semestr zimowy 2018/2019

Semestr letni      2017/2018

Semestr zimowy 2017/2018

Semestr letni      2016/2017

Semestr zimowy 2016/2017

Semestr letni      2015/2016

Semestr zimowy 2015/2016

Semestr letni      2014/2015

Semestr zimowy 2014/2015

Semestr letni      2013/2014

Semestr zimowy 2013/2014

Semestr letni      2012/2013

Semestr zimowy 2012/2013

Semestr letni      2011/2012

Semestr zimowy 2011/2012

Semestr zimowy i letni 2010/2011

Referaty planowane w roku akademickim 2023/2024

25 stycznia 2024, Jarosław Duda

TALK TITLE: SGD-OGR 2nd order optimizers with Online Gradient Regression for Hessian estimation
 
ABSTRACT: Neural network training is currently dominated by 1st order methods with heuristic modifications like ADAM updating 2 averages. I will talk about OGR (online gradient regression) approaches updating e.g. 4 averages instead for various local models of Hessian, and show low dimensional implementations providing much faster convergence.
 
PRESENTATION: https://www.dropbox.com/s/thvbwyp5mtwcrw4/OGR.pdf
 

<< Wstecz

Data opublikowania: 22.01.2024
Osoba publikująca: Krzysztof Bartosz