论文标题
长序列新闻故事的基于FNET的自动编码器
An FNet based Auto Encoder for Long Sequence News Story Generation
论文作者
论文摘要
在本文中，我们根据Google的FNET体系结构设计了一个自动编码器，以便从Google C4数据集中包含的新闻故事子集中生成文本。我们讨论了以前的尝试和方法，以生成自动编码器和非LLM模型的文本。 FNET在效率领域中基于BERT的编码器构成了多个优势，该领域的效率更快地训练了80％的GPU，在TPU上训练了70％。然后，我们比较了该自动编码器在不同时期的pertrom的输出。最后，我们分析了用不同种子文本产生的输出的内容。
In this paper, we design an auto encoder based off of Google's FNet Architecture in order to generate text from a subset of news stories contained in Google's C4 dataset. We discuss previous attempts and methods to generate text from autoencoders and non LLM Models. FNET poses multiple advantages to BERT based encoders in the realm of efficiency which train 80% faster on GPUs and 70% faster on TPUs. We then compare outputs of how this autencoder perfroms on different epochs. Finally, we analyze what outputs the encoder produces with different seed text.
