دانلود xFormers برای لینوکس

این برنامه لینوکس xFormers نام دارد که آخرین نسخه آن را می‌توانید با نام v0.0.33.post1sourcecode.tar.gz دانلود کنید. می‌توانید آن را به صورت آنلاین در ارائه دهنده خدمات میزبانی رایگان OnWorks برای ایستگاه‌های کاری اجرا کنید.

عکس ها

xFormers

شرح

xformers یک کتابخانه ماژولار و عملکردگرا از بلوک‌های سازنده ترانسفورماتور است که به گونه‌ای طراحی شده است که به محققان و مهندسان اجازه می‌دهد معماری‌های ترانسفورماتور را با انعطاف‌پذیری بیشتری نسبت به چارچوب‌های یکپارچه، ترکیب، آزمایش و بهینه‌سازی کنند. این کتابخانه اجزایی مانند لایه‌های توجه، ماژول‌های پیش‌خور، نرمال‌سازی و کدگذاری موقعیتی را انتزاعی می‌کند، بنابراین می‌توانید هسته‌های بهینه شده را به راحتی ترکیب و مطابقت دهید یا مبادله کنید. یکی از اهداف کلیدی آن، توجه کارآمد است: از مکانیسم‌های توجه متراکم، پراکنده، رتبه پایین و تقریبی (مانند FlashAttention، Linformer، Performer) از طریق ماژول‌های قابل تعویض پشتیبانی می‌کند. این کتابخانه شامل پیاده‌سازی‌های عملگر با حافظه کارآمد در پایتون و C++/CUDA بهینه شده است و تضمین می‌کند که عملکرد فدای ماژولار بودن نمی‌شود. همچنین به طور یکپارچه با PyTorch ادغام می‌شود، بنابراین می‌توانید بلوک‌های آن را به مدل‌های موجود اضافه کنید، لایه‌های توجه پیش‌فرض را جایگزین کنید یا معماری‌های جدید را از ابتدا بسازید. xformers شامل ابزارهای آموزش، استقرار و پروفایل حافظه است.

امکانات

• بلوک‌های سازنده ترانسفورماتور مدولار (توجه، FFN، هنجارها، کدگذاری‌های موقعیت)
• پشتیبانی از انواع مختلف توجه کارآمد (پراکنده، تقریبی، محلی)
• هسته‌های GPU بهینه شده و پیاده‌سازی‌های پایتون جایگزین
• ادغام یکپارچه با مدل‌ها و حلقه‌های آموزشی PyTorch
• ابزارهای پروفایلینگ و بنچمارک برای مقایسه‌ی توان عملیاتی، حافظه و تأخیر
• پشتیبانی از ترکیب انواع توجه در یک مدل (معماری‌های ترکیبی)

زبان برنامه نویسی

پــایتــون

دسته بندی ها

این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/xformers.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش از یکی از سیستم‌های عامل رایگان ما به صورت آنلاین اجرا کرد.