Particle Stochastic Dual Coordinate Ascent: Exponential convergent algorithm for mean field neural network optimization Reviewed International journal

Kazusato Oko, Taiji Suzuki, Atsushi Nitanda, Denny Wu

International Conference on Learning Representations (ICLR)   2022.04

Convex Analysis of the Mean Field Langevin Dynamics Reviewed International journal

Atsushi Nitanda, Denny Wu, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   2022.03

Particle Dual Averaging: Optimization of Mean Field Neural Network with Global Convergence Rate Analysis Reviewed International journal

Nitanda A., Wu D., Suzuki T.

Advances in Neural Information Processing Systems   24   19608 - 19621   2021.12

Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space Reviewed International journal

Suzuki T., Nitanda A.

Advances in Neural Information Processing Systems   5   3609 - 3621   2021.12

Generalization Bounds for Graph Embedding Using Negative Sampling: Linear vs Hyperbolic Reviewed International journal

Atsushi Suzuki, Atsushi Nitanda, Jing Wang, Linchuan Xu, Kenji Yamanishi, Marc Cavazza

Neural Information Processing Systems (NeurIPS)   2021.12

Sharp characterization of optimal minibatch size for stochastic finite sum convex optimization Reviewed

Nitanda A., Murata T., Suzuki T.

Knowledge and Information Systems   63 ( 9 )   2513 - 2539   2021.07

Generalization Error Bound for Hyperbolic Ordinal Embedding Reviewed International journal

Atsushi Suzuki, Atsushi Nitanda, Jing Wang, Linchuan Xu, Kenji Yamanishi, Marc Cavazza

International Conference on Machine Learning (ICML)   2021.07

Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Learning Representations (ICLR)   2021.05

When Does Preconditioning Help or Hurt Generalization? Reviewed

Shun-ichi Amari, Jimmy Ba, Roger Grosse, Xuechen Li, Atsushi Nitanda, Taiji Suzuki, Denny Wu, Ji Xu

International Conference on Learning Representations (ICLR)   2021.05

Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features Reviewed International journal

Shingo Yashima, Atsushi Nitanda, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   2021.04

ニューラルネットワークの最適化理論 Invited

Atsushi Nitanda

Communications of the Operations Research Society of Japan   2020.12

確率的最適化法の収束解析 Invited

Atsushi Nitanda

RAMPシンポジウム論文集   2020.10

確率的勾配降下法とニューラルネットワーク Invited

Atsushi Nitanda

数理科学   2020.09

Functional Gradient Boosting for Learning Residual-like Networks with Statistical Guarantees Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   2020.08

Data cleansing for models trained with SGD Reviewed International journal

Satoshi Hara, Atsushi Nitanda, Takanori Maehara

Neural Information Processing Systems (NeurIPS)   32   2019.12

Sharp characterization of optimal minibatch size for stochastic finite sum convex optimization Reviewed International journal

Atsushi Nitanda, Tomoya Murata, Taiji Suzuki

IEEE International Conference on Data Mining (ICDM)   2019-November   488 - 497   2019.11

Hyperbolic Ordinal Embedding Reviewed International journal

Atsushi Suzuki, Jing Wang, Feng Tian, Atsushi Nitanda, Kenji Yamanishi

Asian Conference on Machine Learning (ACML)   2019.11

機械学習問題における確率的最適化技法 Invited

Taiji Suzuki, Atsushi Nitanda, Tomoya Murata

Communications of the Operations Research Society of Japan   2019.06

Stochastic gradient descent with exponential convergence rates of expected classification errors Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   2019.04

Gradient layer: Enhancing the convergence of adversarial training for generative models Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   1008 - 1016   2018.04

Functional gradient boosting based on Residual Network perception Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Machine Learning (ICML)   9   6126 - 6143   2018.01

構造のある機械学習問題における最適化技法 Invited

Taiji Suzuki, Atsushi Nitanda, Tomoya Murata

RAMPシンポジウム論文集   2017.10

Stochastic difference of convex algorithm and its application to training deep boltzmann machines Reviewed International journal

Atsushi Nitanda, Taiji Suzuki

International Conference on Artificial Intelligence and Statistics (AISTATS)   2017.04

Stochastic Optimization Method and Generalization Bounds for Voting Classifiers by Continuous Density Functions

Atsushi Nitanda, Taiji Suzuki

IEICE technical report   2017.03

Stochastic Particle Gradient Descent for the Infinite Majority Vote Classifier

Atsushi Nitanda, Taiji Suzuki

IEICE technical report   2016.11

Accelerated stochastic gradient descent for minimizing finite sums Reviewed International journal

Atsushi Nitanda

International Conference on Artificial Intelligence and Statistics (AISTATS)   195 - 203   2016.05

Stochastic Proximal Gradient Descent with Acceleration Techniques Reviewed International journal

Atsushi Nitanda

Neural Information Processing Systems (NIPS)   2014.12

Stochastic proximal gradient descent with acceleration techniques Reviewed International journal

Nitanda A.

Advances in Neural Information Processing Systems   2 ( January )   1574 - 1582   2014.01

A globally and superlinearly convergent trust-region SQP method without a penalty function for nonlinearly constrained optimization

Hiroshi Yamashita, Hiroshi Yabe, Atsushi Nitanda

統計数理研究所共同研究リポート   2013.03

オンラインアルゴリズムを用いた大規模機械学習

Atsushi Nitanda, Tatsuya Shirakawa, Hiroshi Yamashita

日本計算機統計学会シンポジウム論文集   2012.11

Automatic scheduling system of LNG storage operations using mathematical programming Reviewed International journal

Tsuzaki K., Kawamoto K., Okamura T., Ueda T., Kawata K., Tanabe T., Harada K., Nitanda A., Nitta T.

International Gas Union World Gas Conference Papers   3   1902 - 1907   2012.01

The growth of the nevanlinna proximity function Reviewed

Nitanda A.

Journal of Mathematical Sciences   16 ( 4 )   525 - 543   2009.12

The Growth of the Nevanlinna Proximity Function Reviewed

Atsushi Nitanda

Journal of Mathematical Sciences   2009.07

Parameter Averaging for SGD Stabilizes the Implicit Bias towards Flat Regions

Atsushi Nitanda

First A*STAR CFAR - RIKEN AIP Joint Workshop on AI and Machine Learning 

平均化確率的勾配降下法による平坦性を指向する帰納バイアスの強化

菊池竜平, 前田修吾, 二反田篤史

情報論的学習理論ワークショップ  

Koopman作用素を用いたニューラルネットワーク解析

橋本悠香, 園田翔, 石川勲, 二反田篤史, 鈴木大慈

情報論的学習理論ワークショップ  

Convex Analysis of the Mean Field Langevin Dynamics

Atsushi Nitanda, Denny Wu, Taiji Suzuki

Conference on the Mathematical Theory of Deep Neural Networks (DeepMath), 

ニューラルネットワークの平均場解析

二反田篤史

情報論的学習理論と機械学習 (IBISML) 研究会 

Particle Stochastic Dual Coordinate Ascent: Exponential Convergent Algorithm for Mean Field Neural Network Optimization

大古一聡, 鈴木大慈, 二反田篤史, Denny Wu

情報論的学習理論ワークショップ 

平均場ニューラルネットワークの収束率保証付き最適化

二反田篤史

日本応用数理学会年会 

平均場ニューラルネットワークの効率的最適化法

二反田篤史，大古一聡，Denny Wu，鈴木大慈

統計関連学会連合大会 

Optimality and superiority of deep learning for estimating functions in variants of Besov spaces

Taiji Suzuki, Atsushi Nitanda, Kazuma Tsuj

International Conference on Econometrics and Statistics 

Fast learning rates of averaged stochastic gradient descent for over-parameterized neural networks

Atsushi Nitanda, Taiji Suzuki

International Conference on Econometrics and Statistics 

二層ニューラルネットワークの最適化理論

二反田篤史

若手数学者交流会 

When Does Preconditioning Help or Hurt Generalization?

Shun-ichi Amari, Jimmy Ba, Roger Grosse, Xuechen Li, Atsushi Nitanda, Taiji Suzuki, Denny Wu, Ji Xu

OPT Workshop on Optimization for Machine Learning 

二段階最適化によるモデル抽出攻撃に対する防御

森雄人，二反田篤史，武田朗子

情報論的学習理論ワークショップ 

粒子双対平均化法：平均場ニューラルネットワークの大域的収束保証付最適化法

二反田篤史，Denny Wu, 鈴木大慈

情報論的学習理論ワークショップ 

確率的勾配降下法のNTK理論による最適収束率

二反田篤史，鈴木大慈

統計関連学会連合大会 

識別問題に対する高次元二層ニューラルネットの大域収束性と汎化性能解析

二反田篤史

情報系 WINTER FESTA Episode 5 

SGDの挙動解析に基づくデータクレンジング

原聡，二反田篤史，前原貴憲

情報論的学習理論ワークショップ 

高次元二層ニューラルネットに対する勾配降下法による識別誤差の大域収束性と汎化性能解析

二反田篤史，鈴木大慈

情報論的学習理論ワークショップ 

Random Featureを用いた確率的勾配法の期待識別誤差の収束解析

八嶋晋吾，二反田篤史，鈴木大慈

情報論的学習理論ワークショップ 

カーネル法におけるrandom featureを用いた確率的勾配法の期待識別誤差の線形収束性

八嶋晋吾，二反田篤史，鈴木大慈

統計関連学会連合大会 

識別問題に対する高次元二層ニューラルネットの勾配法による汎化性能解析

二反田篤史，鈴木大慈

統計関連学会連合大会 

識別問題に対する高次元ニューラルネットの勾配降下法の大域収束性と汎化性能解析

二反田篤史，鈴木大慈

日本応用数理学会年会 

Exponential convergence of stochastic gradient descent for binary classification problems

Atsushi Nitanda, Taiji Suzuki

The Conference of Data Science, Statistics & Visualisation 

強低ノイズ条件下識別問題に対する確率的勾配降下法の線形収束性

二反田篤史，鈴木大慈

情報論的学習理論ワークショップ  

確率的勾配降下法による期待識別誤差の線形収束性

二反田篤史，鈴木大慈

統計関連学会連合大会 

関数微分法による深層ニューラルネットワークの構築

二反田篤史，鈴木大慈

情報論的学習理論ワークショップ  

輸送写像による確率測度の最適化とその応用

二反田篤史，鈴木大慈

統計関連学会連合大会 

A stochastic optimization method and generalization bounds for voting classifiers by continuous density functions

Atsushi Nitanda, Taiji Suzuki

情報論的学習理論と機械学習研究会  

Stochastic Particle Gradient Descent for the Infinite Majority Vote Classifier

Atsushi Nitanda, Taiji Suzuki

情報論的学習理論ワークショップ  

確率的DCアルゴリズムと深層ボルツマンマシン学習への応用

二反田篤史，鈴木大慈

統計関連学会連合大会 

ペナルティ関数を利用しないSQP法について

二反田篤史，山下浩，矢部博

研究集会「最適化：モデリングとアルゴリズム25」 

オンラインアルゴリズムを用いた大規模機械学習

二反田篤史，白川達也，山下浩

日本計算機統計学会 第26回シンポジウム 

Automatic Scheduling System of LNG Storage Operations using Mathematical Programming

Tomohito Okamura, Kenji Tsuzaki, Kohei Harada, Atsushi Nitanda, Takahito Tanabe, Kaoru Kawamoto, Toshihiro Nitta, Naoki Shimada, Keisuke Kawata, Tomokazu Ueda

Informs annual meeting 

LNG基地におけるタンクオペレーション計画導出支援システム

津崎賢治，河本薫，岡村智仁，上田智一，河田啓介，田辺隆人，原田耕平，二反田篤史，新田利博，島田直樹

日本オペレーションズ・リサーチ学会 2012年春季研究発表会 

The Growth of the Nevanlinna Proximity Function

二反田篤史

多変数関数論冬セミナー 

高次元ニューラルネットに対する勾配法の大域収束性と汎化性能解析

日本オペレーションズ・リサーチ学会 研究部会 最適化とその応用 (OPTA)  2019.09 

Stochastic Gradient Descent with Exponential Convergence Rates for Classification Problems

Summer School 2019 on Transfer Learning  2019.06 

残差ネットワークの種々の数理的側面について

次世代の科学技術を支える数値解析学の基盤整備と応用展開（RIMS共同研究）  2018.11 

ResNet型勾配ブースティング法の収束解析

統計・機械学習若手シンポジウム  2018.08 

構造のある機械学習問題における最適化技法

RAMPシンポジウム  2017.10 

ICDM '19 Best Paper Candidate for KAIS Publication, IEEE International Conference on Data Mining (ICDM)

IEEE International Conference on Data Mining (ICDM)   2019.11

Atsushi Nitanda, Tomoya Murata, Taiji Suzuki

Dean's Award

The University of Tokyo   2019.03

Atsushi Nitanda

Dean's Award

The University of Tokyo   2009.03

Atsushi Nitanda