Il s'agit de l'application Linux xFormers, dont la dernière version est téléchargeable sous le nom v0.0.33.post1sourcecode.tar.gz. Elle peut être exécutée en ligne sur l'hébergeur gratuit OnWorks pour postes de travail.
Téléchargez et exécutez en ligne cette application nommée xFormers avec OnWorks gratuitement.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
xFormers
DESCRIPTION
xformers est une bibliothèque modulaire et performante de blocs de construction pour transformateurs, conçue pour permettre aux chercheurs et ingénieurs de composer, expérimenter et optimiser des architectures de transformateurs avec plus de flexibilité que les frameworks monolithiques. Elle abstractionne des composants tels que les couches d'attention, les modules de rétroaction, la normalisation et l'encodage positionnel, permettant ainsi de combiner et d'échanger facilement des noyaux optimisés. L'un de ses principaux objectifs est l'efficacité de l'attention : elle prend en charge les mécanismes d'attention denses, éparses, de bas rang et approximatifs (par exemple, FlashAttention, Linformer, Performer) via des modules interchangeables. La bibliothèque inclut des implémentations d'opérateurs économes en mémoire, en Python et en C++/CUDA optimisés, garantissant ainsi que les performances ne soient pas sacrifiées à la modularité. Elle s'intègre également parfaitement à PyTorch, ce qui permet d'intégrer ses blocs à des modèles existants, de remplacer les couches d'attention par défaut ou de créer de nouvelles architectures de A à Z. xformers inclut des outils d'entraînement, de déploiement et de profilage mémoire.
Fonctionnalités
- Blocs de construction de transformateurs modulaires (attention, FFN, normes, codages de position)
- Prise en charge de divers types d'attention efficaces (éparse, approximative, localité)
- Noyaux GPU optimisés et implémentations Python de secours
- Intégration transparente avec les modèles PyTorch et les boucles d'entraînement
- Outils de profilage et d'analyse comparative pour comparer le débit, la mémoire et la latence
- Prise en charge du mélange de types d'attention dans un même modèle (architectures hybrides)
Langage de programmation
Python
Catégories
Cette application peut également être téléchargée depuis https://sourceforge.net/projects/xformers.mirror/. Elle est hébergée sur OnWorks afin de pouvoir être exécutée en ligne plus facilement depuis l'un de nos systèmes d'exploitation gratuits.
