قصه

هوش مصنوعی چطور کلمهٔ بعدی را حدس می‌زند

پنج اسلاید، یک ابر از نقطه‌ها. ببینید یک مدل زبانی چطور کلمه‌ها را به عدد، عددها را به حدس، و حدس غلط را به حدس بهتر تبدیل می‌کند.

دستیارهای گفت‌وگو طوری جواب می‌دهند که انگار فکر می‌کنند. اما در اصل یک کار کوچک را بارها و بارها تکرار می‌کنند. آرام اسکرول کنید.

  1. 1 / 5 کلمه‌ها عدد می‌شوند. هر کلمه به شکل فهرست بلندی از عددها ذخیره می‌شود؛ نقطه‌ای در فضایی با صدها جهت. آموزش، کلمه‌هایی را که شبیه هم به کار می‌روند به هم نزدیک می‌کند؛ برای همین «گربه» کنار «سگ» می‌نشیند و «شاه» کنار «ملکه».
  2. 2 / 5 نورون یک حساب کوچک است. هر ورودی را در یک وزن ضرب می‌کند، همه را جمع می‌زند، و اگر حاصل به اندازهٔ کافی بزرگ باشد آن را جلو می‌فرستد. وزن‌های مثبت (آبی) جواب را بالا می‌برند و وزن‌های منفی (صورتی) پایین می‌کشند.
  3. 3 / 5 هزاران نورون را لایه‌لایه روی هم بچینید تا یک شبکه بسازید. عددهای کلمه‌های شما از سمت چپ وارد می‌شوند و لایه به لایه جلو می‌روند. هر لایه سیگنال‌های لایهٔ قبل را با هم ترکیب می‌کند.
  4. 4 / 5 یادگیری برعکس حرکت می‌کند. حدس شبکه با کلمهٔ واقعی بعدی مقایسه می‌شود و خطا به عقب فرستاده می‌شود. هر وزن کمی به سمتی هل داده می‌شود که حدس را بهتر می‌کرد. این کار میلیاردها بار تکرار می‌شود.
  5. 5 / 5 خروجی جواب نیست، رتبه‌بندی است: یک احتمال برای هر کلمهٔ ممکن بعدی. مدل یکی را انتخاب می‌کند، به متن اضافه‌اش می‌کند، و همه‌چیز را برای کلمهٔ بعد از آن دوباره اجرا می‌کند. هر جوابی همین است.

آنچه دیدید

امبدینگ. به فهرست عددهای هر کلمه «امبدینگ» می‌گویند. کسی این عددها را دستی نمی‌نویسد. از عددهای تصادفی شروع می‌شوند و در طول آموزش سر جایشان می‌نشینند، تا جایی که فاصله در این فضا تقریباً همان تفاوت معناست.

دانش همان وزن‌هاست. «اندازهٔ» یک مدل یعنی تعداد وزن‌هایش. هر چیزی که به نظر می‌رسد بلد است، از دستور زبان تا واقعیت‌ها و سبک نوشتن، فقط در همین عددها زندگی می‌کند.

پس‌انتشار. فرستادن خطا به عقب از میان لایه‌ها را پس‌انتشار (backpropagation) می‌نامند. این روش برای تک‌تک وزن‌ها حساب می‌کند که به کدام سمت بچرخند تا خطا کمتر شود. آموزش یعنی همین گام، روی انبوهی از متن، بارها و بارها.

هر بار یک کلمه. مدل‌ها در واقع با «توکن» کار می‌کنند که اغلب تکه‌ای از یک کلمه است. یک جواب بلند صدها حدس پشت سر هم است که هر کدام ورودی حدس بعدی می‌شود.