🏀

FUDGE: Controlled Text Generation With Future Discriminators

Tags
NLP
TLDR논문리뷰
Published
Published July 22, 2021
notion image

기존 문제

  • Controlled Text Generation에 여러가지 방법이 있음
  • CCLM: GPT-2같은 일반 LM을 특정 도메인 corpus로 직접 Finetune하는 방법
  • PPLM: GPT-2 output에 final layer에 Linear Gradient ascending 붙여서 특정한 Attribute로 제어

FUDGE

  • Language Model G
    • G의 Random Var P(x)
  • 우리가 구하고자 하는 것은 조건에 따른 Generation (conditioning)
    • 이때 직접적으로 를 구하는 방법이 → CCLM
  • fudge에서는 를 따르는 Bayesian factorization을 이용
    • 이 부분은 GeDI에서 사용한 방법론과 거의 흡사하다.
    • Prediction Model → P(a|x_1:i)는 '완성된 문장'에 대한 Classifier
    • 즉, Top-200(Top-k) 샘플링된 것에 대해 classifier(LSTM기반)
      • 여기서는 200번에 대해 inference 하는 것에 대한 Computing cost에 대해 Excuse가 없음