はじめまして，インターンの中村です。今回は，アノテーションコストを抑えつつも，高性能な機械学習モデルを学習するための手法である能動学習 (Active Learning) について，その自然言語処理における研究例を紹介したいと思います。特に，自然言語処理において，大量のラベルありデータを集めることが難しく，必要最低限のアノテーションで高性能なモデルを効率的に学習したいといった方にぜひ一読をお勧めしたい内容となっています。 はじめに 深層学習の課題 Active Learningとは Active Learningの概要 1. ラベルなしデータの選択方法 2. ラベルなしデータの抽出基準 自然言…

BERT以降の事前学習済みモデルのトレンドの1つである「計算量・計算コストの削減」について解説しました。量子化・枝刈り・蒸留・モジュール交換・パラメーター共有というトピックを扱っています。

BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します！「性能の追求」，「計算量・計算コストの削減」，「適応範囲の拡大」の3部構成になっており，今回は「性能の追求」に焦点を当てました。T5やGPT-3なども紹介しています。