Это приложение для Linux под названием xFormers, последнюю версию которого можно скачать как v0.0.33.post1sourcecode.tar.gz. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите бесплатно онлайн это приложение под названием xFormers с OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
xFormers
ОПИСАНИЕ
Xformers — это модульная, ориентированная на производительность библиотека строительных блоков для трансформеров, разработанная для того, чтобы исследователи и инженеры могли более гибко, чем монолитные фреймворки, создавать, экспериментировать и оптимизировать архитектуры трансформеров. Она абстрагирует такие компоненты, как слои внимания, модули прямой связи, нормализация и позиционное кодирование, что позволяет легко комбинировать и подбирать или заменять оптимизированные ядра. Одна из её ключевых целей — эффективное внимание: она поддерживает плотные, разреженные, низкоранговые и приближенные механизмы внимания (например, FlashAttention, Linformer, Performer) посредством взаимозаменяемых модулей. Библиотека включает эффективные реализации операторов на Python и оптимизированных C++/CUDA, гарантируя, что производительность не будет жертвоваться модульностью. Она также легко интегрируется с PyTorch, что позволяет добавлять её блоки в существующие модели, заменять стандартные слои внимания или создавать новые архитектуры с нуля. Xformers включает в себя инструменты обучения, развертывания и профилирования памяти.
Особенности
- Модульные блоки трансформатора (внимание, FFN, нормы, кодировки положения)
- Поддержка различных эффективных типов внимания (разреженное, приблизительное, локальное)
- Оптимизированные ядра графического процессора и резервные реализации Python
- Полная интеграция с моделями PyTorch и циклами обучения
- Инструменты профилирования и сравнительного анализа для сравнения пропускной способности, памяти и задержки
- Поддержка смешивания типов внимания в одной модели (гибридные архитектуры)
Язык программирования
Питон
Категории
Это приложение также можно скачать по адресу https://sourceforge.net/projects/xformers.mirror/. Оно размещено в OnWorks для максимально удобного запуска онлайн с помощью одной из наших бесплатных операционных систем.
