这是名为 xFormers 的 Linux 应用程序，其最新版本可下载为 v0.0.33.post1sourcecode.tar.gz。它可在免费的工作站托管服务提供商 OnWorks 上在线运行。
使用 OnWorks 免费下载并在线运行这个名为 xFormers 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
SCREENSHOTS
Ad
xFormers
商品描述
xformers 是一个模块化、性能导向的 Transformer 构建块库，旨在帮助研究人员和工程师比单体框架更灵活地组合、实验和优化 Transformer 架构。它抽象了注意力层、前馈模块、规范化和位置编码等组件，因此您可以轻松混合搭配或交换优化的内核。其关键目标之一是高效注意力机制：它通过可互换的模块支持密集、稀疏、低秩和近似注意力机制（例如 FlashAttention、Linformer、Performer）。该库包含 Python 和优化的 C++/CUDA 内存高效运算符实现，确保模块化不会牺牲性能。它还可以与 PyTorch 无缝集成，因此您可以将其模块插入现有模型、替换默认注意力层或从头构建新的架构。xformers 包含训练、部署和内存分析工具。
特征
- 模块化 Transformer 构建块（注意力机制、FFN、规范、位置编码）
- 支持各种有效的注意力类型（稀疏、近似、局部）
- 优化的 GPU 内核和后备 Python 实现
- 与 PyTorch 模型和训练循环无缝集成
- 用于比较吞吐量、内存和延迟的分析和基准测试工具
- 支持在一个模型中混合注意力类型（混合架构）
程式语言
Python
分类
此应用程序也可从 https://sourceforge.net/projects/xformers.mirror/ 获取。它已托管在 OnWorks 中，以便通过我们的免费操作系统之一以最便捷的方式在线运行。
