فناوری/

پژوهشگران مدل‌های پیچیده هوش مصنوعی را با یک‌هفتم مصرف لامپ حبابی اجرا کردند

محققان راهی برای اجرای مدل‌های زبانی بزرگ هوش مصنوعی فقط با مصرف ۱۳ وات برق کشف کردند.
کد خبر: ۲۹۹۰۹۰
تاریخ انتشار:۰۸ تير ۱۴۰۳ - ۰۵:۴۱ - 28 June 2024

پژوهشگران، مدل‌های پیچیده هوش مصنوعی را با یک‌هفتم مصرف لامپ حبابی اجرا کردند

به گزارش روزپلاس، محققان دانشگاه کالیفرنیا در پژوهشی انقلابی، روشی برای اجرای مدل‌های زبانی بزرگ (LLMs) با میلیاردها پارامتر فقط با مصرف ۱۳ وات برق ارائه کرده‌اند. درمقام‌مقایسه لامپ‌های حبابی معمولاً حدود ۱۰۰ وات انرژی مصرف می‌کنند. نکته‌ی دیگر اینکه مصرف انرژی مدل‌های هوش مصنوعی با روش جدید ۵۰ برابر کم‌تر از مصرف انرژی کارت‌های گرافیک قدرتمند دیتاسنترها مانند انویدیا H100 و H200 است که به ۷۰۰ وات برق نیاز دارند و حتی از مدل آینده‌ی Blackwell B200 با مصرف ۱٬۲۰۰ وات در هر کارت، بهینه‌تر است.

در پژوهش محققان کالیفرنیا برای دستیابی به مصرف بسیار بهینه‌ی برق برای اجرای مدل‌های زبانی بزرگ، از سخت‌افزار سفارشی FPGA استفاده شد و پژوهشگران بر این نکته تأکید دارند که بخش زیادی از این صرفه‌جویی ازطریق نرم‌افزار متن‌باز و تنظیمات سیستم‌های موجود قابل دستیابی است. راز اصلی این پیشرفت، حذف عملیات ضرب ماتریس (MatMul) از فرایندهای آموزش و استنتاج مدل‌های هوش مصنوعی است.

شاید بپرسید چگونه می‌توان ضرب ماتریس را بدون افت عملکرد و دقت از شبکه‌های عصبی حذف کرد؟ محققان با ترکیب دو روش به این مهم دست یافته‌اند؛ اولین راهکار، تغییر سیستم اعداد به سیستم سه‌حالته (Ternary) با اعداد ۱-، ۰ و ۱ است. این تغییر، محاسبات را به‌جای ضرب اعداد، با جمع‌کردن ساده ممکن می‌کند. در گام بعد شبکه با تبدیل محاسبات مبتنی‌بر زمان به معادله، حافظه‌ی مؤثری به‌دست می‌آورد که با اجرای عملیات ساده‌تر، عملکرد سریع‌تری را ارائه می‌دهد.

محققان از مدل LLaMa متعلق به متا به‌عنوان نمونه‌ی مرجع در سیستم خود استفاده کرده‌اند. این پژوهش از مقاله‌ی مایکروسافت درمورد استفاده از اعداد سه حالته در شبکه‌های عصبی الهام‌گرفته است، با این تفاوت که مایکروسافت تا حذف ضرب ماتریس یا متن‌بازکردن مدل خود پیش نرفت.

درنهایت، پژوهش محققان دانشگاه کالیفرنیا به مسئله‌ی بهینه‌سازی ختم می‌شود. به‌گفته‌ی روئی-جی ژو، یکی از دانشجویان تحصیلات تکمیلی که روی این مقاله کار کرده است، آن‌ها عملیات پرمصرف را با عملیات کم‌مصرف‌تر جایگزین کرده‌اند. اینکه بتوان رویکرد جدید را به‌طور کلی در راهکارهای هوش مصنوعی و مدل‌های زبانی بزرگ به‌کار برد، هنوز مشخص نیست. به‌هر حال اگر روش جدید وارد فاز عملیاتی شود، پتانسیل تغییر چشمگیر چشم‌انداز هوش مصنوعی را دارد.

سال گذشته شاهد عطش سیری‌ناپذیر شرکت‌های پیشرو در حوزه‌ی هوش مصنوعی برای مصرف برق بوده‌ایم. پژوهش محققان دانشگاه کالیفرنیا نشان می‌دهد بخش زیادی از این رقابت صرفاً برای پیشتازی در بازار و با استفاده از روش‌های پردازش ناکارامد انجام شده است. کارشناسان برجسته‌ای مانند مدیرعامل شرکت ARM هشدار داده‌اند که اگر تقاضای برق هوش مصنوعی با همین سرعت افزایش یابد، تا سال ۲۰۳۰ یک‌چهارم برق مصرفی ایالات‌متحده را به خود اختصاص خواهد داد. بدین‌ترتیب کاهش مصرف برق به یک‌پنجم میزان فعلی، پیشرفتی فوق‌العاده محسوب می‌شود.

بازگشت به ابتدای صفحه
ارسال به دوستان
ارسال نظر
روایت تصویری
نگاه دوم
پیشنهاد سردبیر
پربازدیدها

ویدیو/ اخلاق در رقابت و رفاقت رقبا

کاریکاتور موهن؛ واکنش منفی هواداران قالیباف و جلیلی به بی‌اخلاقی رضا کیانیان

سردار حاجی‌زاده: باعمل به تشخیص رهبری به فردی با مدیریت اجرایی قوی رای دهیم شاهد تحول خواهیم بود/ بالاترین مقام اجرایی کشور جای سعی و خطا و حضور فردی ستادی نیست

دارندگان سهام عدالت بخوانند / سود مرحله سوم سهام عدالت کی واریز می‌شود؟

جلیلی در بازار تهران: برای مشکلات کشور برنامه داریم/ باید قدرت خرید برای مردم ایجاد شود

بیرانوند در آستانه فسخ قرارداد با پرسپولیس!

فحاشی طرفدار‌ن منتسب به سعید جلیلی به بزرگانی که از قالیباف حمایت کردند/ بی‌آزار: جز کینه و عقده و فحاشی ندیدیم/ با این جماعت به مطلوب بعد از شهید اخلاق نمی‌رسیم

اقدام جدید باشگاه پرسپولیس علیه بیرانوند

پیشتازی ترامپ در انتخابات آمریکا در آستانه مناظره/ حمایت اکثریت جمهوری‌خواهان و مستقل‌ها از ترامپ

تاریخ اکران فیلم Megalopolis فرانسیس فورد کوپولا اعلام شد

بازخوانی دیدار آیت‌الله جوادی آملی با سعیدجلیلی در سال ۹۲/ انسان خوبی هستند، اما مدیر نیستند

فرشاد احمدزاده با پرسپولیس تمام کرد

جزئیاتی از اربعین شهید رئیسی/ مصلی تهران تا اهواز و کربلا

حکم اعدام مربی فوتبالی که به آزار کودکان متهم شده بود، شکست

نقد و سیاست