LearnAI

מודל שפה גדול (LLM)

מודל שפה גדול (LLM, Large Language Model) הוא מודל AI שאומן על כמויות גדולות מאוד של טקסט, ויכול לכתוב טקסט, לענות על שאלות ולסכם מידע. את התשובה הוא כותב בניבוי חוזר של המילה הבאה. [1] [3]

במילים פשוטות

לפי מילון המונחים של Anthropic, בשלב הראשון, שנקרא אימון מקדים (pretraining), המודל לומד לנבא את המילה הבאה לפי הטקסט שלפניה. אחרי השלב הזה הוא עדיין לא טוב במיוחד במענה על שאלות או במילוי הוראות. [1] לכן ממשיכים לאמן אותו בפיין טיונינג ובשיטה שנקראת RLHF: אנשים מדרגים כמה תשובות לדוגמה, והמודל לומד להעדיף תשובות שדומות לאלה שדורגו גבוה. [1] קלוד, למשל, מבוסס על מודל שפה גדול שעבר את שני השלבים האלה. [1] IBM מציינת שהציבור פוגש מודלים כאלה דרך ממשקים כמו Claude של Anthropic ו-ChatGPT של OpenAI. [3]

דוגמה

שאלו את אותה שאלה פעמיים, ולפעמים תקבלו שני ניסוחים שונים. לפי Anthropic, גם בשימוש דרך ה-API, כשהפרמטר temperature מכוון ל-0, התוצאות לא דטרמיניסטיות לגמרי, וקלט זהה יכול להחזיר פלט שונה. [1] בעינינו זו סיבה טובה לשמור את התשובה שעליה מסתמכים, ולא להניח שתקבלו אותה שוב.

מה זה LLM בבינה מלאכותית?

LLM הם ראשי התיבות של Large Language Model, מודל שפה גדול. IBM מתארת מודלים כאלה כמודלים של למידה עמוקה שאומנו על כמויות עצומות של נתונים, ולכן הם יכולים להבין ולייצר שפה טבעית ולבצע מגוון רחב של משימות. [3] לפי IBM, הם בנויים על סוג של רשת נוירונים שנקרא טרנספורמר. [3] Google מסבירה שמודלים כאלה מנבאים טוב בהרבה ממודלי שפה ישנים יותר, כמו מודלי N-gram ורשתות נוירונים חוזרות, בין השאר כי יש בהם הרבה יותר פרמטרים. [2]

מודל שפה גדול בעברית: מה חשוב לדעת?

יש בחיפוש הזה שתי כוונות: הסבר בעברית על המונח, שאותו נותן הערך הזה, או מודל שעובד טוב בעברית. לגבי השנייה, לפי Anthropic, אצל קלוד מספר התווים שטוקן מייצג תלוי במודל ובשפה. [1] בעינינו המשמעות היא שאי אפשר להניח שטקסט בעברית נספר כמו טקסט באורך דומה באנגלית. ההמלצה שלנו: לפני שבוחרים מודל לעבודה בעברית, נותנים לו משימה אמיתית בעברית ובודקים את התוצאה. עוד על ספירה בערך טוקן.

מה זה מודל חשיבה (Reasoning model)?

לפי IBM, מודלי חשיבה הם מודלי שפה גדולים שעברו אימון נוסף כדי לפרק בעיה מורכבת לשלבים קטנים, שנקראים לפעמים «עקבות חשיבה», לפני שהם מוסרים תשובה סופית. [3] IBM מוסיפה ששיטות אימון מתקדמות יותר ויותר נותנות למודלים חשיבה בשיטת שרשרת מחשבה (chain-of-thought). [3] בעינינו גם תשובה שהגיעה אחרי שלבים מסודרים צריכה בדיקה, כי שלבים מסודרים לא אומרים שהעובדות שבהם נכונות.

איך זה נוגע לבדיקה · הגישה שלנו

בעינינו, מכיוון שהמודל מנבא טקסט, ניסוח בטוח לא אומר שהתשובה נכונה. IBM מציינת שבמצב של הזיות המודל מייצר מידע שגוי או מטעה שנשמע סביר, ושמודלים כאלה יכולים גם לשקף ולהגביר הטיות שקיימות בנתוני האימון. [3] ההמלצה שלנו: כל עובדה, מספר או מקור שהתשובה נשענת עליו בודקים מול מקור חיצוני, כמו שמוסבר בערך הזיות AI.

להעמיק

מקורות

  1. Anthropic, Claude Docs, «Glossary». נפתח ב-3.11.2026
  2. Google for Developers, Machine Learning Crash Course, «LLMs: What's a large language model?». נפתח ב-3.11.2026
  3. IBM, «What are large language models (LLMs)?». נפתח ב-3.11.2026

מונחים קשורים

לפני שממשיכים