Aceasta este aplicația Linux numită xFormers, a cărei ultimă versiune poate fi descărcată ca v0.0.33.post1sourcecode.tar.gz. Poate fi rulată online în furnizorul de găzduire gratuită OnWorks pentru stații de lucru.
Descărcați și rulați online gratuit această aplicație numită xFormers cu OnWorks.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
xFormatorii
DESCRIERE
xformers este o bibliotecă modulară, orientată spre performanță, de blocuri de construcție pentru transformatoare, concepută pentru a permite cercetătorilor și inginerilor să compună, să experimenteze și să optimizeze arhitecturile transformatoarelor mai flexibil decât în cazul framework-urilor monolitice. Aceasta abstractizează componente precum straturile de atenție, modulele feedforward, normalizarea și codarea pozițională, astfel încât să puteți combina și potrivi sau schimba cu ușurință kernel-uri optimizate. Unul dintre obiectivele sale cheie este atenția eficientă: acceptă mecanisme de atenție dense, rare, de rang scăzut și aproximative (de exemplu, FlashAttention, Linformer, Performer) prin intermediul unor module interschimbabile. Biblioteca include implementări de operatori eficiente din punct de vedere al memoriei atât în Python, cât și în C++/CUDA optimizat, asigurându-se că performanța nu este sacrificată în favoarea modularității. De asemenea, se integrează perfect cu PyTorch, astfel încât să puteți integra blocurile sale în modelele existente, să înlocuiți straturile de atenție implicite sau să construiți noi arhitecturi de la zero. xformers include instrumente de antrenare, implementare și profilare a memoriei.
Categorii
- Blocuri de construcție pentru transformatoare modulare (atenție, FFN, norme, codificări de poziție)
- Suport pentru diverse tipuri eficiente de atenție (rară, aproximativă, locală)
- Nuclee GPU optimizate și implementări Python de rezervă
- Integrare perfectă cu modelele și buclele de antrenament PyTorch
- Instrumente de profilare și benchmarking pentru compararea debitului, memoriei și latenței
- Suport pentru combinarea tipurilor de atenție într-un singur model (arhitecturi hibride)
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi descărcată și de la https://sourceforge.net/projects/xformers.mirror/. A fost găzduită în OnWorks pentru a putea fi rulată online în cel mai simplu mod de pe unul dintre sistemele noastre de operare gratuite.
