Public
- Public
- Network
- Groups
- Popular
- People

Conversation

Notices

Akionux (akionux@status.akionux.net)'s status on Tuesday, 05-Jan-2021 12:57:00 JST Akionux

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ - https://deeplearning.hatenablog.com/entry/scaling_law
"Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うというものです．"
In conversation Tuesday, 05-Jan-2021 12:57:00 JST from status.akionux.net permalink
Attachments
1. Domain not in remote thumbnail source whitelist: cdn-ak.f.st-hatena.com
  
  OpenAIが発見したScaling Lawの秘密
  
  from Ryobot
  
  OpenAIはGPT-3の次の研究を始めています．世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talkin…

Feeds