کارگاه آموزشی شهره طباطبایی و مهدی بزرگ – کارگاه مدل‌های زبانی کوچک (SLM) و پلتفرم Ollama

Article Summary

در کارگاه آموزشی مدل‌های زبانی کوچک و پلتفرم Ollama، شهره طباطبایی، رئیس گروه هوش مصنوعی شرکت خدمات انفورماتیک، به بررسی ویژگی‌ها و کاربردهای مدل‌های زبانی کوچک پرداخت. شهره طباطبایی تاکید کرد که مدل‌های زبانی کوچک از مدل‌های زبانی بزرگ ساخته می‌شوند اما مشکلاتی مانند نیاز به محاسبات سنگین و جی‌پی‌یوها را ندارند. این مدل‌ها به شکل دموکرات‌تری در اختیار عموم قرار می‌گیرند و برای دامنه‌های کوچک و محدود بسیار مؤثر هستند. او اشاره کرد که مدل‌های زبانی بزرگ از جمله GPT-3 و PaLM نیاز به منابع سخت‌افزاری قدرتمند دارند، در حالی که مدل‌های کوچک می‌توانند روی سیستم‌های کم‌توان اجرا شوند. طباطبایی به معماری ترانسفورمر‌ها پرداخت و توضیح داد که این معماری‌ها قادر به حفظ ارتباطات طولانی بین کلمات هستند، که این امر قدرت استدلال و استنتاج را افزایش می‌دهد. او به مفهوم وکتورها و توکن‌ها اشاره کرد و توضیح داد که این مفاهیم در تبدیل متن به بردارهای عددی نقش مهمی دارند. در بخش عملی کارگاه، مهندس بزرگ به نحوه استفاده عملی از مدل‌های زبانی کوچک پرداخت و توضیح داد که این مدل‌ها می‌توانند برای کاربردهای مختلفی مانند تحلیل احساسات، تولید متن، و ترجمه استفاده شوند. او به پارامترهای مهمی مانند مکس نیو توکن، سمپل تاپ کی، و تمپرچر اشاره کرد و توضیح داد که تنظیم این پارامترها می‌تواند خروجی‌های مدل را تغییر دهد. در نهایت، شهره طباطبایی به مسئله مهندسی پرامت‌ها و نحوه ارائه پرامپ‌های مؤثر برای بهبود عملکرد مدل‌های زبانی بزرگ پرداخت. او تاکید کرد که این مسائل نقش مهمی در بهبود کیفیت خروجی‌های مدل‌ها دارند. یکی از روش‌های محبوب برای کوچک کردن مدل‌های زبانی، معماری تقطیر (Distillation) است. در این روش، یک مدل کوچک‌تر آموخته می‌شود تا خروجی‌های مدل بزرگ را تقلید کند بدون اینکه به پارامترهای داخلی مدل بزرگ نیاز داشته باشد. این روش برای مدل‌های اتوکد (Autoencoder) مانند BERT بسیار مؤثر است و نسخه‌های کوچک‌تری از BERT مانند DistilBERT تولید شده‌اند. کوانتیزیشن نیز یکی دیگر از روش‌های کوچک کردن مدل‌های زبانی است. این روش با تبدیل وزن‌های مدل از داده‌های 16 بیتی به 8 یا 4 بیتی، حافظه مورد نیاز را کاهش می‌دهد، اما با کاهشی در دقت. مدل‌های کوانتیز شده مانند LLaMA-7B که فقط 7 میلیارد پارامتر دارد، می‌توانند بر روی GPU‌های معمولی اجرا شوند. هرس کردن (Pruning) نیز یک روش دیگر است که با حذف پارامترهای نزدیک به صفر، حجم مدل را کاهش می‌دهد. این روش در مقاله‌هایی مانند Lottery Ticket Hypothesis توضیح داده شده و نتایج بهبود عملکرد را نشان داده است. طباطبایی به معرفی مدل‌های زبانی کوچک مانند ChatGPT-2 Small، DistilBERT، و ALBERT پرداخت. این مدل‌ها برای کاربردهای محدودی مانند پرسش و پاسخ، تولید متن، خلاصه‌سازی، کلاسیفیکیشن، و شناسایی موجودات نامدار قابل استفاده هستند. پلتفرم Ollama نیز به عنوان یک پلتفرم برای اجرا و مدیریت مدل‌های زبانی کوچک معرفی شد. در پایان، طباطبایی تاکید کرد که استفاده از مدل‌های زبانی کوچک برای کارهای محلی و بدون ارتباط به اینترنت، به خصوص در حوزه‌هایی مانند بانکداری که مسئله امنیت داده مهم است، بسیار مفید است. او همچنین به امکانات محاسباتی GPU‌های معمولی و پلتفرم‌های آنلاین مانند Google Colab اشاره کرد. یکی از مهم‌ترین مواردی که مهدی بزرگ به آن پرداخت، تنظیم پارامترهای مدل برای کنترل خروجی‌های مدل‌های جنریتیو بود. او توضیح داد که با تنظیم پارامترهایی مانند سید (Seed) و تمپرچر (Temperature) می‌توان خروجی‌های مدل را کنترل کرد و از تکرار پاسخ‌ها جلوگیری شود. مهدی بزرگ همچنین به رابطه بین تعداد پارامترها و حافظه RAM پرداخت و توضیح داد که هر یک میلیارد پارامتر حدود یک گیگابایت حافظه مصرف می‌کند. او به کاربران توصیه کرد که با توجه به توانایی‌های سیستم خود، مدل‌های مناسب را انتخاب کنند. در بخش بعدی، مهدی بزرگ به نحوه استفاده از API پلتفرم Ollama پرداخت و توضیح داد که این API می‌تواند در توسعه نرم‌افزارهای مختلف مورد استفاده قرار گیرد. او نمونه‌ای از کد پایتون برای استفاده از API ارائه کرد. سپس به معرفی وب‌سایت Ollama و نحوه دانلود مدل‌های مختلف از این وب‌سایت پرداخت. او توضیح داد که کاربران می‌توانند مدل‌های مختلف را بر اساس تعداد دانلود، محبوبیت، و توضیحات مرتبط جستجو کنند. این کارگاه به کاربران کمک کرد تا با قابلیت‌های پلتفرم Ollama آشنا شوند و بتوانند مدل‌های زبانی کوچک را به راحتی نصب و استفاده کنند. ایشان همچنین به مفهوم حافظه در مدل‌های زبانی کوچک پرداخت و توضیح داد که این مدل‌ها قادر به حفظ و استفاده از مکالمات قبلی هستند. او نیز به قابلیت‌های پلتفرم Ollama در ساخت مدل‌های شخصی‌سازی شده و استفاده از آن‌ها برای اهداف مختلف اشاره کرد. در بخش بعدی، به بررسی پارامترهایی مانند تاپ کی (Top-K) و تاپ پی (Top-P) پرداخت که برای کنترل خلاقیت مدل استفاده می‌شوند. او همچنین به قابلیت‌های پلتفرم Ollama در استفاده از مدل‌های موجود در سایت Hugging Face و ساخت مدل‌های جدید از روی مدل‌های موجود اشاره کرد. وی توضیح داد که مدل‌های زبانی مانند Ollama از تمامی متن‌هایی که تاکنون بین کاربر و مدل تبادل شده‌اند، استفاده می‌کنند. این مدل‌ها متن‌ها را به بردارهای بزرگ تبدیل کرده و از آن‌ها برای تولید پاسخ‌های دقیق و مرتبط استفاده می‌کنند. او بر اهمیت استفاده از حالت استریمی در اپلیکیشن‌ها تأکید کرد که باعث می‌شود خروجی‌ها به صورت لحظه‌ای به کاربر نمایش داده شوند. بزرگ به نحوه اجرای API‌های Ollama با استفاده از زبان برنامه‌نویسی پایتون پرداخت. او نشان داد که با استفاده از کتابخونه‌های مانند `requests` و `json`، می‌توان به راحتی درخواست‌های API را ارسال کرد و پاسخ‌ها را دریافت کرد. او همچنین به نحوه اجرای درخواست‌های استریمی و غیراستریمی توضیح داد و تفاوت‌های آن‌ها را بررسی کرد. در بخش بعدی، مهدی بزرگ به کاربردهای عملی مدل‌های زبانی در ساخت چت‌بات‌ها و اپلیکیشن‌های هوشمند پرداخت. او نمونه‌ای از یک چت‌بات که می‌تواند سوالات آب و هوایی را پاسخ دهد، ارائه داد. این چت‌بات با استفاده از مدل‌های مولد می‌تواند پارامترهای مورد نیاز را از متن کاربر استخراج کرده و پاسخ مناسب را ارائه دهد. در ادامه به راه‌اندازی Ollama با استفاده از Docker پرداخت. او نشان داد که چگونه می‌توان محیط‌های کاری شکل‌گیر شده را برای کار با Ollama ایجاد کرد و آن‌ها را برای استفاده کاربران دیگر قرار داد. این کارگاه آموزشی به شرکت‌کنندگان فرصتی برای درک عمیق‌تر از مدل‌های زبانی کوچک و پلتفرم Ollama فراهم کرد و آن‌ها را با ابزارهای عملی آشنا کرد. مهدی بزرگ در این کارگاه به معرفی پلتفرم Ollama و مدل‌های زبانی کوچک مانند لاما و جی‌پی‌تی فور پرداخت. او توضیح داد که Ollama یک پلتفرم قدرتمند برای اجرای مدل‌های زبانی است که امکاناتی مانند اتصال به اپلیکیشن‌های وب و اجرای کد پایتون را فراهم می‌کند. این پلتفرم از طریق دستورات داکر قابل نصب و راه‌اندازی است و برای کاربران و توسعه‌دهندگان مناسب است. بزرگ به مزایای استفاده از مدل‌های زبانی کوچک برای اجرای محیط‌های مختلف از جمله دستگاه‌های موبایل و کامپیوتر‌های شخصی اشاره کرد. او توضیح داد که این مدل‌ها می‌توانند بر روی دستگاه‌های با پردازش کمتر نیز اجرا شوند و این امر به کاربران اجازه می‌دهد تا بدون نیاز به اتصال به اینترنت سوال‌های خود را بپرسند و پاسخ‌های فارسی را دریافت کنند. همچنین، به معرفی ابزارهایی مانند لاما C++ و LLM Studio پرداخت. او توضیح داد که لاما C++ یک ابزار قدرتمند برای توسعه‌دهندگان است که امکان اجرای مدل‌های زبانی را بر روی دستگاه‌های مختلف فراهم می‌کند. LLM Studio نیز به دلیل رابط کاربری قوی و امکانات سفارشی‌سازی مدل‌ها برای شرکت‌ها و سازمان‌ها مورد توجه قرار گرفت. در نهایت، مهدی بزرگ به اهمیت انتخاب مدل‌های مناسب بر اساس نیازهای کاربری و تفاوت‌های بین مدل‌های مختلف اشاره کرد. او توصیه کرد که برای کاربران نهایی، مدل‌هایی مانند جی‌پی‌تی4o و هاشت مناسب‌تر هستند، در حالی که برای توسعه‌دهندگان، لاما C++ و Ollama انتخاب‌های بهتری هستند.