טוקן (Token)
טוקן הוא יחידת הטקסט הקטנה ביותר שמודל שפה קורא וכותב, והוא יכול להיות מילה, חלק ממילה, תו בודד או אפילו בייט. המודל לא רואה מילים, אלא רצף של טוקנים. [1]
במילים פשוטות
כשאתם שולחים טקסט, הוא מומר לרצף של טוקנים, והמודל עובד עליהם. [1] כמה תווים יש בטוקן תלוי במודל ובשפה, ולכן אותו טקסט יכול לתפוס מספר שונה של טוקנים בכלים שונים. [1] בצ'אט רגיל הטוקנים מוסתרים, [1] אבל הם קובעים כמה טקסט נכנס לחלון ההקשר של המודל. [2] ההמלצה שלנו: כשחשוב לדעת כמה מקום תופס מסמך, לא מעריכים לפי מספר העמודים. התיעוד של Anthropic ממליץ לספור טוקנים עם המודל שבו מתכוונים להשתמש. [1]
דוגמה
מסמך של עשרים עמודים שהדבקתם לצ'אט נראה לכם כמו קובץ אחד. למודל הוא רצף ארוך של טוקנים, שתופס מקום בחלון ההקשר יחד עם השיחה, ההוראות והתשובה. כל הודעה חדשה בשיחה מצטרפת לאותו חלון. [2]
מה זה טוקנים בקלוד?
אותו דבר כמו בכל מודל: יחידות הטקסט שהמודל קורא וכותב. לפי Anthropic, מספר התווים בטוקן תלוי במודל ובשפה, ושיטת החלוקה לטוקנים השתנתה בין מודלים. [1] בקלוד קוד, התיעוד ממליץ לנקות את ההקשר בין משימות, כי הקשר ממוקד נותן תשובות טובות יותר ועולה פחות. [3]
למה למילה טוקן יש כמה משמעויות?
בטכנולוגיה המילה משמשת גם לפרטי גישה. GitHub, למשל, מונה טוקנים לצד מפתחות API וסיסמאות בין פרטי הגישה שהיא מחפשת בקוד כדי לאתר דליפות. [4] בערך הזה הכוונה למשמעות של מודלי שפה: יחידת טקסט. על פרטי גישה יש ערך נפרד, מפתח API.
איך זה נוגע לבדיקה · הגישה שלנו
כשמודל מפספס חלק ממסמך ארוך, אחת השאלות הראשונות היא אם כל החומר בכלל נכנס. בודקים אם הכלי הודיע שקיצר משהו, ואם התשובה מתייחסת גם לחלק האחרון של המסמך. אם לא, מחלקים את המסמך לחלקים, שואלים על כל חלק בנפרד, ומבקשים ציטוט מדויק לכל טענה מרכזית.
להעמיק
מקורות
- Anthropic, Claude Docs, «Glossary». נפתח ב-3.11.2026
- Anthropic, Claude Docs, «Context windows». נפתח ב-3.11.2026
- Anthropic, Claude Code Docs, «Best practices for Claude Code». נפתח ב-3.11.2026
- GitHub Docs, «Secret scanning». נפתח ב-3.11.2026
מונחים קשורים