اولین جایگزین متن‌باز ChatGPT راه‌اندازی شد

سیستم جدید PaLM، یک مدل زبان بزرگ از گوگل و تکنیکی به نام یادگیری تقویتی با بازخورد انسانی (RLHF) را با یکدیگر ترکیب می‌کند تا سیستمی را ایجاد کند که می‌تواند تقریباً هر کاری را که ChatGPT می‌تواند انجام دهد، مانند تهیه پیش نویس ایمیل‌ها و پیشنهاد کد کامپیوتر.

اما نکته مهم اینکه PalM + RLHF از قبل آموزش دیده نیست. به این معنا که دانلود PaLM + RLHF دقیقاً تجربه‌ای شبیه به ChatGPT را در اختیار کاربران قرار نمی‌دهد که با ارسال متن به آن، مدل می‌تواند از متن یاد بگیرد و سخت‌افزاری را پیدا کند که بتواند حجم کار آموزشی را مدیریت کند.

با این حال درست مانند ChatGPT، سیستم جدید هم اساساً یک ابزار آماری برای پیش‌بینی کلمات است. هنگامی که تعداد زیادی مثال از داده‌های آموزشی به آن داده می‌شود، PaLM + RLHF یاد می‌گیرد که چقدر احتمال دارد کلمات براساس الگوهایی مانند بافت معنایی متن اطراف ظاهر شوند.

هزینه و منابع موردنیاز برای توسعه جایگزین ChatGPT

باید به این نکته اشاره کرد که فرآیند جمع‌آوری داده‌های آموزشی بسیار هزینه‌بر است و آموزش نیز به خودی خود ارزان نیست. PaLM اندازه‌ای به میزان 540 میلیارد پارامتر دارد. «پارامتر» به بخش‌هایی از مدل زبانی اشاره دارد که از داده‌های آموزشی آموخته می‌شود. مطالعه‌ای در سال 2020 هزینه‌های توسعه یک مدل تولید متن با تنها 1.5 میلیارد پارامتر را 1.6 میلیون دلار اعلام کرده بود.

همچنین آموزش مدل منبع باز Bloom که دارای 176 میلیارد پارامتر است، سه ماه طول کشیده و در آن از 384 پردازنده گرافیکی Nvidia A100 استفاده شده است.

در چند وقت گذشته، موتور جستجوی You.com نیز از چت‌باتی شبیه به ChatGPT رونمایی کرده بود و همچنین گوگل با اعلام یک وضعیت فوق‌العاده، بخش‌های مختلفی از شرکت خود را به «کمک به توسعه و انتشار نمونه‌های اولیه و محصولات هوش مصنوعی» متمرکز کرد تا بتواند از این طریق با ChatGPT مبارزه کند.