Word-Level Fine-Grained Story Visualization

Story visualization aims to generate a sequence of images to narrate each sentence in a multi-sentence story with a global consistency across dynamic scenes and characters. Current works still struggle with output images' quality and consistency, and rely on additional semantic information or auxiliary captioning networks.

https://arxiv.org/abs/2208.02341

Oxford Univ.

[Submitted on 3 Aug 2022]

Paper TL;DR

💡

문장하나 to 이미지 아니라, 여러 문장(스토리) to 이미지들, aka “Story Visualization” 새로운 Loss와 새로운 Sentence Representation을 통해 SoTA 모델을 만들었다.

Story Visualization?

“텍스트 → 이미지”로 만드는 여러 종류의 논문들이 나오고 있고, DALL-E 2 혹은 CLIP, ImaGEN와 같은 종류의 Text-to-Image Diffsuion 딥러닝 모델들이 상당히 많이 나오고 있다.

이러한 모델들은 성능도 괜찮은(🤔)편이지만, “한 문장 → 한 이미지" 로 생성하는 특성상 이야기와 같이 연속적으로 이어지는 텍스트에 대해 연속성(consistancy)를 유지하기가 어렵다.

StoryGAN에서 최초로 제안한 ‘Story Visualization’ 분야는 Text-to-Image를 넘어 Story-to-Images를 목표로 하는 분야다. Video Generation과는 또 조금 다른데, Video는 프레임별로 이미지를 생성해야 한다는 특성상 연속된 이미지를 만들어야 하지만, Story visualization은 한 이미지가 다른 이미지와 “의미적으로 연속"이어야 하지만, 물리적 픽셀로 연속일 필요는 없다는 점이 다르다.

StoryGAN 이후 CP-CSV(Segmentation Mask 추가: 캐릭터 일관성 up), DUCO, VLC(보조 Captioning Net 추가: 텍스트-이미지 연관성 up)등이 추가로 나왔지만 backbone으로 여전히 StoryGAN을 사용했고, 거기에 추가적인 모델 구조를 붙여주는 방향으로 발달이 진행되어왔다.

한편, 해당 모델들(prev works)는 대부분 생성된 이미지 퀄리티의 이슈가 있고, 실제 위 사진의 예시를 보면 그림이 뭉개진(..)상태로 보인다.

또한, 단순히 “Text To Image Generation”을 넘어 “Story Visualization”을 하기 위해서는 해당 줄거리의 ‘일관성'이라는 측면에서 보다 신경써줘야 하는 측면이 많다. 예를 들어, 현재 스토리가 진행되는 상황 속에 등장하는 인물, 그리고 배경, 오브제 등의 일관성이 필요하다는 점에서 분명 조금 더 어려운 Task이다.

논문에서 무엇을 제안하나?

이 논문에서는 몇 가지의 새로운 방법론을 제안한다.

(New) Sentence Representation: Global consistency를 유지하기 위해서 스토리 내의 문장 정보를 전달하기 위한 벡터로서 Sentence Representation을 제안한다.

(New) Discriminator w/ Fusion features: 이미지 Generator에게 보다 더 디테일한 정보를 제공해주기 위해서 새로운 Discriminator를 제안한다.

Word-Level Spatial Attention: Image내에 들어간 word와의 Attention이 단순히 이미지-단어 1:1로만 연결되는 것을 넘어서, 해당 스토리 문장들과 이미지 간 (이미지와 문장 단위를 넘어, 스토리 단위로) Attention을 걸어준다.

위 세 가지의 방법론을 통해서 기존의 StoryGAN 백본을 사용한 모델들보다 훨씬 높은 퀄리티의 이미지를 생성하는 것을 볼 수 있다.