BERTからわずかな間にプリトレインのモデルはどんどん膨れ上がった。GTC 2020でのスタンフォード大学の講演。ALBERTでは、パラメータは共有化で減っているはずだが、コンピュテーション量は上がっているという。「S22294 Natural Language Understanding and Conversational AI」(C. Manning, et al., GTC 2020)
