فناوری/

پژوهشگران مدل‌های پیچیده هوش مصنوعی را با یک‌هفتم مصرف لامپ حبابی اجرا کردند

محققان راهی برای اجرای مدل‌های زبانی بزرگ هوش مصنوعی فقط با مصرف ۱۳ وات برق کشف کردند.
کد خبر: ۲۹۹۰۹۰
تاریخ انتشار:۰۸ تير ۱۴۰۳ - ۰۵:۴۱ - 28 June 2024

پژوهشگران، مدل‌های پیچیده هوش مصنوعی را با یک‌هفتم مصرف لامپ حبابی اجرا کردند

به گزارش روزپلاس، محققان دانشگاه کالیفرنیا در پژوهشی انقلابی، روشی برای اجرای مدل‌های زبانی بزرگ (LLMs) با میلیاردها پارامتر فقط با مصرف ۱۳ وات برق ارائه کرده‌اند. درمقام‌مقایسه لامپ‌های حبابی معمولاً حدود ۱۰۰ وات انرژی مصرف می‌کنند. نکته‌ی دیگر اینکه مصرف انرژی مدل‌های هوش مصنوعی با روش جدید ۵۰ برابر کم‌تر از مصرف انرژی کارت‌های گرافیک قدرتمند دیتاسنترها مانند انویدیا H100 و H200 است که به ۷۰۰ وات برق نیاز دارند و حتی از مدل آینده‌ی Blackwell B200 با مصرف ۱٬۲۰۰ وات در هر کارت، بهینه‌تر است.

در پژوهش محققان کالیفرنیا برای دستیابی به مصرف بسیار بهینه‌ی برق برای اجرای مدل‌های زبانی بزرگ، از سخت‌افزار سفارشی FPGA استفاده شد و پژوهشگران بر این نکته تأکید دارند که بخش زیادی از این صرفه‌جویی ازطریق نرم‌افزار متن‌باز و تنظیمات سیستم‌های موجود قابل دستیابی است. راز اصلی این پیشرفت، حذف عملیات ضرب ماتریس (MatMul) از فرایندهای آموزش و استنتاج مدل‌های هوش مصنوعی است.

شاید بپرسید چگونه می‌توان ضرب ماتریس را بدون افت عملکرد و دقت از شبکه‌های عصبی حذف کرد؟ محققان با ترکیب دو روش به این مهم دست یافته‌اند؛ اولین راهکار، تغییر سیستم اعداد به سیستم سه‌حالته (Ternary) با اعداد ۱-، ۰ و ۱ است. این تغییر، محاسبات را به‌جای ضرب اعداد، با جمع‌کردن ساده ممکن می‌کند. در گام بعد شبکه با تبدیل محاسبات مبتنی‌بر زمان به معادله، حافظه‌ی مؤثری به‌دست می‌آورد که با اجرای عملیات ساده‌تر، عملکرد سریع‌تری را ارائه می‌دهد.

محققان از مدل LLaMa متعلق به متا به‌عنوان نمونه‌ی مرجع در سیستم خود استفاده کرده‌اند. این پژوهش از مقاله‌ی مایکروسافت درمورد استفاده از اعداد سه حالته در شبکه‌های عصبی الهام‌گرفته است، با این تفاوت که مایکروسافت تا حذف ضرب ماتریس یا متن‌بازکردن مدل خود پیش نرفت.

درنهایت، پژوهش محققان دانشگاه کالیفرنیا به مسئله‌ی بهینه‌سازی ختم می‌شود. به‌گفته‌ی روئی-جی ژو، یکی از دانشجویان تحصیلات تکمیلی که روی این مقاله کار کرده است، آن‌ها عملیات پرمصرف را با عملیات کم‌مصرف‌تر جایگزین کرده‌اند. اینکه بتوان رویکرد جدید را به‌طور کلی در راهکارهای هوش مصنوعی و مدل‌های زبانی بزرگ به‌کار برد، هنوز مشخص نیست. به‌هر حال اگر روش جدید وارد فاز عملیاتی شود، پتانسیل تغییر چشمگیر چشم‌انداز هوش مصنوعی را دارد.

سال گذشته شاهد عطش سیری‌ناپذیر شرکت‌های پیشرو در حوزه‌ی هوش مصنوعی برای مصرف برق بوده‌ایم. پژوهش محققان دانشگاه کالیفرنیا نشان می‌دهد بخش زیادی از این رقابت صرفاً برای پیشتازی در بازار و با استفاده از روش‌های پردازش ناکارامد انجام شده است. کارشناسان برجسته‌ای مانند مدیرعامل شرکت ARM هشدار داده‌اند که اگر تقاضای برق هوش مصنوعی با همین سرعت افزایش یابد، تا سال ۲۰۳۰ یک‌چهارم برق مصرفی ایالات‌متحده را به خود اختصاص خواهد داد. بدین‌ترتیب کاهش مصرف برق به یک‌پنجم میزان فعلی، پیشرفتی فوق‌العاده محسوب می‌شود.

بازگشت به ابتدای صفحه
ارسال به دوستان
ارسال نظر
روایت تصویری
نگاه دوم
پیشنهاد سردبیر
پربازدیدها

افزایش حقوق کارکنان دولت پلکانی نیست/ متوسط ضریب افزایش ۲۸ درصد

۲۰ حمله هوایی علیه مناطق مسکونی نوار غزه/ بمباران جبالیا و حملات توپخانه‌ای علیه رفح

اولین حضور رسمی ایران در بریکس/ مبادلات تجاری بدون دلار

ارتش صهیونیستی مدعی شهادت سید صفی‌الدین شد

چمیانی: هر ۴ ملی‌پوش شانس مدال هستند؛ باید آلینوس را ببریم

کامبک پرگل رئال با هت‌تریک وینی/ آرسنال برد، یوونتوس باخت

رنگرز: هدف‌مان محقق شد؛ دور برگشت بهتر می‌شویم

عارف رئیس سازمان ملی هوش مصنوعی شد/ سازمان در عالی ترین سطح به فعالیت خود ادامه می دهد

شکاف عجیب استقلال و پرسپولیس با صدر/ یکه تازی تیم‌های عربستانی

طراحی تبلت ویژه‌ نابینایان با خروجی صوتی/ افزایش دسترسی به متون فارسی و فناوری‌های رایانه

بریکس به تدریج به یک قطب جدید جهانی تبدیل می‌شود/ اکنون حدود ۳۰ کشور مایل به پیوستن به بریکس هستند

اهل گذشت از یک وجب خاک کشورمان هم نیستیم/ جمهوری اسلامی ایران با پیروی از اصول منطق، اهل تعامل و مذاکره با کشورهای جهان است

مقاومت یک تفکر است که با شهادت رهبران آن از حرکت باز نمی‌ایستد/مقاومت مشروع‌ترین نوع دفاع برای فلسطینیان است

جزایر سه گانه همیشه ایرانی

سرعت اینترنت موبایل و ثابت در ایران افزایش یافت/ صعود یک پله‌ای در اینترنت ثابت

جلوی رژیم صهیونیستی گرفته نشود به عربستان وعراق حمله می‌کند/ اسرائیل بزرگ جاسوس جهان است

تأیید اصابت پهپاد حزب الله به منزل نتانیاهو

برکناری مدیرعامل استقلال و انتخاب چند گزینه‌/ شهریاری هم رفتنی شد؟

به هیچکس اجازه دخالت در امور فنی را نمی‌دهم/ اولویت بازی هجومی است

۶ هزار خودروی وارداتی عرضه می‌شود/ موعد تحویل ۴ ماهه است

تیم ملی نیمه اول بی‌برنامه بود/ دلیل برتری برابر قطر و اتفاق مثبت

عربستان جنایات اسرائیل در شمال غزه را محکوم کرد

ثبات نسبی بهای نفت/ طلا بار دیگر گران شد

رمان «خار و میخک» نوشته شهید «یحیی سنوار» منتشر می‌شود/ سنوار: یک دقیقه با عزت و کرامت زندگی کنیم بهتره تا هزار سال زیر تیغ نیرو‌های اشغالگر

افزایش قیمت سکه و طلا کاذب است/ حباب سکه به ۱۴ میلیون تومان رسید

بازتاب انتخاب سرمربی جدید استقلال/ کابوس الهلال در ایران

موج سواری روی نان شب مردم/ آیا گرانفروش‌ها نقره داغ می‌شوند؟

لغو مجوز فعالیت شبکه العربیه عربستان در الجزایر

واکنش رئیس سازمان انرژی اتمی به تهدیدات هسته‌ای اسرائیل

آمار خیره کننده از تلفات نظامیان صهیونیست مقابل حزب‌الله

موسیقی «دوئل» را یادتان هست؟/ قصه‌ای دیگر از پای ثابت یادگاری‌ها

دلنوشته ابراهیم حاتمی کیا/ سید! جگرم سوخت

«سرآغاز» براساس دژاوو شکل گرفت/ روایت چند دنیای موازی

واکنش اهالی هنر به شهادت شیخ حسن نصرالله/ خداحافظ آزاده

دومین کمین مرگبار حزب الله علیه نظامیان صهیونیست

اقدام ویژه ارزی دولت آغاز شد/ دلار تا چه عددی سقوط می‌کند؟

واکنش رسانه رسمی چین به عملیات وعده صادق ۲

ناترازی بنزین؛ بحرانی با چند راه حل/ اختصاص بنزین به هر کد ملی زمینه‌ساز کاهش مصرف سوخت می‌شود

دستیاران هوش مصنوعی/ نیروی کمکی در خانه یا جاسوسی در سایه؟

عقب نشینی مدیر شبکه تی آر تی ترکیه از اظهارات ضد ایرانی خود

جزئیات نحوه افزایش حقوق کارمندان در سال ۱۴۰۴ مشخص شد/ میزان معافیت مالیاتی حقوق بگیران پایین جامعه، صددرصد افزایش خواهد یافت

کلاف پیچیده پرمصرف‌ها/ قیمت برای مشترکان پرمصرف گاز واقعی می‌شود؟

نقد و سیاست