Si tratta dell'app Linux denominata xFormers, la cui ultima versione può essere scaricata come v0.0.33.post1sourcecode.tar.gz. Può essere eseguita online sul provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app chiamata xFormers con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
xFormers
DESCRIZIONE
xformers è una libreria modulare e orientata alle prestazioni di blocchi costitutivi per trasformatori, progettata per consentire a ricercatori e ingegneri di comporre, sperimentare e ottimizzare architetture per trasformatori in modo più flessibile rispetto ai framework monolitici. Astrae componenti come livelli di attenzione, moduli feedforward, normalizzazione e codifica posizionale, in modo da poter combinare e abbinare o scambiare facilmente kernel ottimizzati. Uno dei suoi obiettivi principali è l'attenzione efficiente: supporta meccanismi di attenzione densi, sparsi, di basso rango e approssimativi (ad esempio FlashAttention, Linformer, Performer) tramite moduli intercambiabili. La libreria include implementazioni di operatori efficienti in termini di memoria sia in Python che in C++/CUDA ottimizzato, garantendo che le prestazioni non vengano sacrificate a favore della modularità. Si integra inoltre perfettamente con PyTorch, consentendo di inserire i suoi blocchi in modelli esistenti, sostituire i livelli di attenzione predefiniti o creare nuove architetture da zero. xformers include strumenti di training, deployment e profiling della memoria.
Caratteristiche
- Blocchi di costruzione del trasformatore modulare (attenzione, FFN, norme, codifiche di posizione)
- Supporto per vari tipi di attenzione efficiente (sparsa, approssimativa, località)
- Kernel GPU ottimizzati e implementazioni Python di fallback
- Integrazione perfetta con i modelli PyTorch e i cicli di addestramento
- Strumenti di profilazione e benchmarking per confrontare throughput, memoria e latenza
- Supporto per la combinazione di tipi di attenzione in un modello (architetture ibride)
Linguaggio di programmazione
Python
Categorie
Questa applicazione può essere scaricata anche da https://sourceforge.net/projects/xformers.mirror/. È ospitata su OnWorks per poter essere eseguita online nel modo più semplice da uno dei nostri sistemi operativi gratuiti.
