专题：Transformer

HappyHorse-1.0视频生成模型在多个赛道登顶，采用40层单流Transformer架构，支持音视频同步生成，仅需8步去噪即可输出1080P视频，推理速度大幅提升，且原生支持多语言，据称完全开源。

本文提出一种无需嵌入层的知识代理构建方法，利用预训练模型和检索系统实现高效知识表示与推理。该方法简化模型结构，提升训练效率，并在多个NLP任务中表现良好，具有创新性和参考价值。