Đây là ứng dụng Linux có tên xFormers, phiên bản mới nhất có thể tải xuống dưới dạng v0.0.33.post1sourcecode.tar.gz. Ứng dụng có thể chạy trực tuyến trên nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên xFormers với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
xFormers
MÔ TẢ
xformers là một thư viện mô-đun, hướng đến hiệu suất, gồm các khối xây dựng biến áp, được thiết kế để cho phép các nhà nghiên cứu và kỹ sư biên soạn, thử nghiệm và tối ưu hóa kiến trúc biến áp linh hoạt hơn so với các khuôn khổ nguyên khối. Nó trừu tượng hóa các thành phần như lớp chú ý, mô-đun truyền thẳng, chuẩn hóa và mã hóa vị trí, do đó bạn có thể dễ dàng kết hợp hoặc hoán đổi các hạt nhân được tối ưu hóa. Một trong những mục tiêu chính của nó là sự chú ý hiệu quả: nó hỗ trợ các cơ chế chú ý dày đặc, thưa thớt, hạng thấp và gần đúng (ví dụ: FlashAttention, Linformer, Performer) thông qua các mô-đun có thể hoán đổi cho nhau. Thư viện bao gồm các triển khai toán tử hiệu quả về bộ nhớ trong cả Python và C++/CUDA được tối ưu hóa, đảm bảo hiệu suất không bị hy sinh cho tính mô-đun. Nó cũng tích hợp liền mạch với PyTorch để bạn có thể đưa các khối của nó vào các mô hình hiện có, thay thế các lớp chú ý mặc định hoặc xây dựng kiến trúc mới từ đầu. xformers bao gồm các công cụ đào tạo, triển khai và lập hồ sơ bộ nhớ.
Tính năng
- Các khối xây dựng máy biến áp mô-đun (chú ý, FFN, chuẩn mực, mã hóa vị trí)
- Hỗ trợ nhiều loại chú ý hiệu quả khác nhau (thưa thớt, gần đúng, cục bộ)
- Các hạt nhân GPU được tối ưu hóa và triển khai Python dự phòng
- Tích hợp liền mạch với các mô hình PyTorch và vòng lặp đào tạo
- Các công cụ lập hồ sơ và đánh giá chuẩn để so sánh thông lượng, bộ nhớ và độ trễ
- Hỗ trợ kết hợp các loại chú ý trong một mô hình (kiến trúc lai)
Ngôn ngữ lập trình
Python
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/xformers.mirror/. Ứng dụng này được lưu trữ trên OnWorks để có thể chạy trực tuyến dễ dàng nhất từ một trong những Hệ điều hành miễn phí của chúng tôi.
