3つの要点✔️ 破局的忘却のメカニズムについての研究✔️ ニューラルネットワークの深い層が破局的忘却に影響することを発見✔️ タスク間の類似度と破局的忘却の関係を発見Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semanticswritten by Vinay V. Ramasesh, Ethan Dyer, Maithra Raghu(Submitted on 14 Jul 2020)Comments: Accepted to ICLR2021.Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (stat.ML) code：dataset：はじめに学習済みのモデルをさらに学習させたとき、既存タスクに対する性能が大きく低下する破局的忘却(catastrophic forgetting)は、深層学習モデルにおける大きな課題となっています。本記事で紹介する論文では、ニューラルネットワークの表現や、破局的忘却を抑止する様々な手法を調査し、破局的忘却が出力に近い層で引き起こされていることを発見しました。また、実行される複数のタスク間の類似性と、破局的忘却との関係性についても調査しています。実験破局的忘却に関する調査として、様々なタスク・モデルアーキテクチャを用いて実験を行います。タスク実験では、以下に示すタスクが利用されます。実験では複数のタスクを逐次学習させていくため、それぞれ複数(二つ)のタスクから構成されています。Split CIFAR-10：10クラスのデータセットを5クラスずつ分割し、2つのタスクに分割したものを利用します。Input distribution shift CIFAR-100：CIFAR-100の上位クラスを区別するタスクですが、入力データは同じ上位クラス内の異なる分布集合であり、分布シフトが生じています。
Akionux
All senooken JP Social content and data are available under the