Це програма для Linux під назвою xFormers, останню версію якої можна завантажити як v0.0.33.post1sourcecode.tar.gz. Її можна запускати онлайн на безкоштовному хостинг-провайдері OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою xFormers з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
xFormers
ОПИС
xformers — це модульна, орієнтована на продуктивність бібліотека будівельних блоків трансформаторів, розроблена, щоб дозволити дослідникам та інженерам складати, експериментувати та оптимізувати архітектури трансформаторів більш гнучко, ніж монолітні фреймворки. Вона абстрагує такі компоненти, як шари уваги, модулі прямого зв'язку, нормалізація та позиційне кодування, тому ви можете легко змішувати та поєднувати або замінювати оптимізовані ядра. Однією з її ключових цілей є ефективна увага: вона підтримує щільні, розріджені, низькорангові та приблизні механізми уваги (наприклад, FlashAttention, Linformer, Performer) через взаємозамінні модулі. Бібліотека включає ефективні з точки зору пам'яті реалізації операторів як у Python, так і в оптимізованому C++/CUDA, гарантуючи, що продуктивність не приноситься в жертву модульності. Вона також безперешкодно інтегрується з PyTorch, тому ви можете додавати її блоки до існуючих моделей, замінювати шари уваги за замовчуванням або створювати нові архітектури з нуля. xformers включає інструменти навчання, розгортання та профілювання пам'яті.
Функції
- Модульні трансформаторні структурні блоки (увага, FFN, норми, кодування позицій)
- Підтримка різних ефективних типів уваги (розріджена, приблизна, локальна)
- Оптимізовані ядра GPU та резервні реалізації Python
- Безшовна інтеграція з моделями та циклами навчання PyTorch
- Інструменти профілювання та бенчмаркінгу для порівняння пропускної здатності, пам'яті та затримки
- Підтримка змішування типів уваги в одній моделі (гібридні архітектури)
Мова програмування
Python
Категорії
Цю програму також можна завантажити з https://sourceforge.net/projects/xformers.mirror/. Вона розміщена в OnWorks для найпростішого запуску онлайн з однієї з наших безкоштовних операційних систем.
