当前位置：网站首页>国产之光！高分时空表征学习模型 UniFormer

国产之光！高分时空表征学习模型 UniFormer

2022-07-15 16:37:00 【Zilliz Planet】

出品人：Towhee 技术团队

由中科院、国科大、上海人工智能实验室、商汤、香港中文大学几大高手联合出品，SoTA 模型 UniFormer (UNIFIED TRANSFORMER) 在主流数据集上都取得了优秀的成绩：在 Kinetics-400/Kinetics600 上取得 82.9% / 84.8% top-1 精度；在 Something-Something V1 & V2 上取得 60.9% 和 71.2% top-1 精度。其论文一经发表，就获得了高分，最终收录于 ICLR 2022（初审评分高达7.5分：8 8 6 8）。

UniFormer Architecture

UniFormer 提出了一种整合 3D 卷积和时空自注意力机制的 Transformer 结构，能在计算量和精度之间取得平衡。不同于传统的 Transformer 结构在所有层都使用自注意力机制，论文中提出的 relation aggregator 可以分别处理视频的冗余信息和依赖信息。在浅层，aggregator 利用一个小的 learnable matrix 学习局部的关系，通过聚合小的 3D 邻域的 token 信息极大地减少计算量。在深层，aggregator通过相似性比较学习全局关系，可以灵活的建立远距离视频帧 token 之间的长程依赖关系。

参考资料：

模型用例：[action-classification/video-swin-transformer]

论文：[UNIFORMER: UNIFIED TRANSFORMER FOR EFFICIENT SPATIOTEMPORAL REPRESENTATION LEARNING]

[ICLR2022 UniFormer：无缝集成 Transformer，更高效的时空表征学习框架]

更多项目更新及详细内容请关注我们的项目( https://github.com/towhee-io/towhee/blob/main/towhee/models/README_CN.md) ，您的关注是我们用爱发电的强大动力，欢迎 star, fork, slack 三连 :)

zilliz用户交流