WhatsApp
רג'ל בוואטסאפ

תוכן העניינים

מצב קריאה

טוקנים בבינה מלאכותית: מה הם וכמה הם עולים לעסק

כשעובדים עם מודל שפה, כמות הטקסט משנה. המודל יערוך בקלות פסקה קצרה, אבל לא תמיד יצליח לקרוא ספר שלם בבקשה אחת. הסיבה היא שמודלי שפה לא קוראים מילים ותווים כמו בני אדם. הם עובדים עם טוקנים, ולמספר הטוקנים שהם יכולים לעבד בבת אחת יש גבול.

מספר הטוקנים קובע לא רק כמה מידע המודל יכול "להחזיק בראש", אלא גם כמה תשלמו. כשמחברים בינה מלאכותית לאתר, לבוט בוואטסאפ או למערכת CRM דרך API, החשבון החודשי מחושב לפי טוקנים. עסק שלא מבין איך זה עובד מגלה את זה בדרך כלל בחשבונית הראשונה.

במדריך הזה נסביר:

  • מה זה טוקן ואיך מודל שפה בונה תשובה טוקן אחרי טוקן;
  • איך טוקנייזר מפרק טקסט, ולמה עברית צורכת בדרך כלל יותר טוקנים מאנגלית;
  • איך מודלים מעבדים תמונות, אודיו ווידאו;
  • מה זה חלון הקשר ומה קורה כשהוא מתמלא;
  • איך סופרים טוקנים ומחשבים את העלות של בקשה;
  • איך מצמצמים את הצריכה בלי לפגוע באיכות התשובות.

מה זה טוקן במודל שפה

טוקן הוא יחידת המידע הבסיסית שמודל שפה עובד איתה. בטקסט, טוקן יכול להיות מילה שלמה, חלק ממילה, סימן פיסוק, רווח או כמה תווים יחד.

מילה קצרה ונפוצה תתאים לרוב לטוקן אחד. מילה ארוכה, נדירה או בשפה שהמודל פחות מכיר תתפרק לכמה טוקנים. איך בדיוק הטקסט מתחלק תלוי בטוקנייזר, תוכנה מיוחדת שמבצעת את הפירוק לפני שהטקסט מגיע למודל עצמו.

ארבע קוביות זכוכית מרחפות בשורה, כל אחת בצבע אחר: סגול, תכלת, ורוד וכתום, על רקע סגול כהה
מילה אחת יכולה להפוך לטוקן אחד או לכמה טוקנים, לפי הטוקנייזר. איור: RJL Studio

איך המודל בונה תשובה

אחרי הפירוק, כל טוקן מקבל מספר מזהה (ID). לפי המזהה הזה המודל מוצא ייצוג מספרי של הטוקן, שנקרא embedding. הייצוגים האלה מאפשרים למודל לבצע חישובים, להבין את סדר הטוקנים ואת הקשרים ביניהם.

המודל לא כותב את כל התשובה בבת אחת. בכל שלב הוא מעריך אילו טוקנים יכולים להמשיך את הטקסט, נותן לכל אפשרות הסתברות ובוחר את הבא בתור. נניח שהמודל צריך להמשיך את המשפט "מחר אנחנו". יש הרבה אפשרויות: "נוסעים", "נפגשים", "מתחילים". אם בהודעה הקודמת דיברתם על חופשה, סביר שהוא יכתוב "מחר אנחנו נוסעים לים".

הטוקן שנבחר מתווסף לרצף, והתהליך חוזר על עצמו. המודל לא תמיד בוחר את האפשרות הסבירה ביותר. בהגדרות מסוימות הוא בוחר באקראיות מבוקרת לפי ההסתברויות, ולכן אותה שאלה יכולה לקבל תשובות שונות.

היצירה נגמרת כשהמודל מייצר טוקן סיום או מגיע למגבלת האורך שהוגדרה. בשירותים עם הזרמה (streaming) רואים את התשובה מופיעה בהדרגה, טוקן אחרי טוקן.

איך טוקנייזר מפרק טקסט

לפני שהמודל מתחיל לעבוד, הטוקנייזר מחלק את הטקסט לחלקים. שני טוקנייזרים שונים יכולים לפרק את אותו משפט בצורה שונה, כי לכל אחד מהם מילון וכללים משלו. בפירוק כזה, הרווח שלפני מילה נכנס לרוב לתוך הטוקן של המילה, וסימני פיסוק הופכים לטוקנים נפרדים.

אלגוריתם BPE

אחד האלגוריתמים הנפוצים הוא BPE (Byte Pair Encoding). כדי לאמן אותו משתמשים באוסף עצום של טקסטים: ספרים, מאמרים, אתרים. האלגוריתם מחפש בהם צירופים שחוזרים הרבה ומאחד אותם בהדרגה לטוקנים גדולים יותר.

דוגמה פשוטה: נניח שבטקסטים מופיעות שלוש מילים באנגלית: low מאה פעמים, lot שמונים פעמים ו-old עשרים פעמים. בהתחלה כל אות היא טוקן נפרד. האלגוריתם סופר איזה זוג אותיות סמוכות חוזר הכי הרבה. הצירוף l ו-o מופיע 180 פעמים (ב-low וב-lot), ולכן הוא הופך לטוקן חדש: lo. בסיבוב הבא, lo ועוד w מופיע מאה פעמים ו-lo ועוד t שמונים, אז נוצר טוקן חדש שמתאים למילה שלמה: low.

התהליך חוזר עד שהמילון מגיע לגודל שנקבע מראש. בטקסט חדש הטוקנייזר פשוט מפעיל את הכללים שנלמדו.

רוב המודלים המודרניים משתמשים בגרסה של BPE שעובדת על בתים (bytes) ולא על אותיות. במחשב, כל אות מאוחסנת כמספר. בקידוד UTF-8, אות עברית תופסת שני בתים ואות לטינית בית אחד. בפירוק לפי בתים, גבול של טוקן יכול לעבור אפילו באמצע אות. זו אחת הסיבות שמספר הטוקנים לא שווה למספר המילים או התווים.

אלגוריתמים WordPiece ו-Unigram

מלבד BPE יש עוד שני אלגוריתמים נפוצים. WordPiece מחפש במילון את הקטע הארוך ביותר שתואם לתחילת המילה, ואז חוזר על החיפוש עבור מה שנשאר. אם המילה unhappy לא קיימת במילון בשלמותה, אבל יש בו un ו-happy, הוא יפרק אותה לשני טוקנים. אם אין שום קטע מתאים, הגרסה הבסיסית מחליפה את המילה בטוקן מיוחד של "מילה לא מוכרת".

Unigram עובד אחרת. במקום לבחור תמיד את הקטע הארוך ביותר, הוא בודק כמה דרכי פירוק אפשריות ובוחר את הסבירה ביותר לפי הסתברויות שנלמדו באימון.

מכונה תלת-ממדית מזכוכית שנכנס אליה סרט אור רציף ומצדה השני יוצאות קוביות קטנות בשורה על מסוע
הטוקנייזר הופך טקסט רציף לשרשרת של חלקים קטנים שהמודל יודע לעבד. איור: RJL Studio

מה משפיע על מספר הטוקנים בטקסט

יש כלל אצבע מוכר: טוקן אחד שווה בערך לארבעה תווים באנגלית. זו הערכה גסה שמתאימה בעיקר לטקסט באנגלית. בפועל, מספר הטוקנים תלוי בכמה גורמים.

סוג הטוקנייזר

לכל ספק ולפעמים לכל דור של מודלים יש טוקנייזר אחר. משפט שתופס שמונה טוקנים במודל אחד יכול לתפוס עשרה במודל אחר. ככל שבמילון יש יותר מילים וצירופים שמתאימים לטקסט שלכם, כך נדרשים פחות טוקנים. לכן כשעוברים ממודל למודל, הצריכה והעלות יכולות להשתנות גם אם הטקסט נשאר בדיוק אותו טקסט.

השפה: למה עברית צורכת יותר

לעסקים בישראל זו הנקודה החשובה ביותר. טוקנייזרים רבים נבנו על טקסטים שרובם באנגלית. מילים נפוצות באנגלית תופסות אצלם טוקן אחד, בעוד שמילים בעברית מתפרקות לרוב לכמה חלקים. גם מבנה השפה משפיע: בעברית מצמידים למילה אותיות כמו ו', ה', ב', ל' ו-ש', ויש למילה אחת הרבה צורות. מה שבאנגלית הוא שלוש מילים נפרדות, בעברית יכול להיות מילה אחת ארוכה שהטוקנייזר מפרק.

התוצאה: אותו תוכן בעברית צורך בדרך כלל יותר טוקנים מאשר באנגלית. היחס תלוי בטוקנייזר, ובמודלים החדשים הפער קטן יותר, כי המילונים שלהם בנויים טוב יותר לשפות נוספות. בכל מקרה, כשמתכננים תקציב לבוט שעונה ללקוחות בעברית, אל תסתמכו על מחשבונים שבנויים לאנגלית. בדקו על טקסטים אמיתיים שלכם.

כתיב, רווחים ותווים מיוחדים

גם שינוי קטן בכתיבה משפיע: באנגלית, אותה מילה עם אות גדולה או קטנה, עם רווח לפניה או בלעדיו, יכולה להפוך לטוקנים שונים.

מספרים, סימני פיסוק, ירידות שורה, אימוג'ים וקוד משפיעים גם הם. טבלה מעוצבת עם הרבה רווחים ותווי הפרדה יכולה לצרוך יותר טוקנים מאשר אותו מידע ברשימה פשוטה. HTML מלא תגיות "שוקל" הרבה יותר מאותו טקסט נקי.

לכן אי אפשר לדעת את מספר הטוקנים המדויק רק לפי מספר המילים או התווים. אם צריך לבדוק אם טקסט ייכנס לחלון ההקשר, או כמה תעלה בקשה, השתמשו במונה טוקנים של המודל הספציפי.

איך מודלים מעבדים תמונות, אודיו ווידאו

מודלים מולטימודליים ממירים גם תמונות, קול ווידאו לטוקנים, בשיטה שתלויה בסוג הנתונים.

תמונות

מודלים רבים מחלקים תמונה לריבועים קטנים, שנקראים patches. אם תעלו צילום של אופניים, חלק מהריבועים יכילו חלקים מהגלגלים, אחרים את השלדה ואחרים את הרקע. הגבולות לא תלויים באובייקטים: בריבוע אחד יכולים להיות קצה של גלגל ודשא.

כל ריבוע הופך לטוקן ויזואלי עם מידע על מיקומו. תמונה גדולה יותר דורשת יותר טוקנים, ולכן מודלים מקטינים לפעמים את התמונה לפני העיבוד. המחיר: פרטים קטנים, כמו טקסט קטן על מסמך סרוק, עלולים להיעלם. אם אתם שולחים למודל קבלות או חשבוניות לחילוץ נתונים, שווה לבדוק באיזו רזולוציה הן מגיעות.

וידאו

בווידאו המודל צריך להבין גם את התוכן של כל פריים וגם את השינויים בין הפריימים. שיטה נפוצה היא לפרק את הסרטון לפריימים, כל פריים לריבועים, ולהפוך אותם לטוקנים ויזואליים שכוללים גם מיקום בפריים וגם מיקום בזמן. כך המודל יכול לעקוב אחרי תנועה לאורך הסרטון.

אודיו

כדי לעבד קול, מודלים ממירים את ההקלטה לנתונים מספריים. אחת הדרכים היא ספקטרוגרמה, תרשים שמראה אילו תדרים יש בצליל ואיך העוצמה שלהם משתנה לאורך זמן.

גישה אחרת היא קודם לתמלל את הדיבור לטקסט, ורק אז לשלוח אותו למודל שפה. תמלול מספיק כדי לענות על שאלה כמו "מתי ההזמנה מגיעה?". אבל אם חשוב לזהות את הטון של הלקוח או מוזיקה ברקע, תמלול לבד לא יספיק. בבוטים קוליים ובניתוח שיחות מוקד, ההבדל הזה משפיע גם על האיכות וגם על העלות.

מה זה חלון הקשר (Context Window)

לכל מודל שפה יש גבול למספר הטוקנים שהוא יכול להתייחס אליהם כשהוא מכין תשובה. הגבול הזה נקרא חלון הקשר. הוא קובע כמה מידע המודל יכול לעבד בפנייה אחת.

כשאתם שולחים הודעה, המודל מקבל לא רק אותה. הוא מקבל גם את היסטוריית השיחה, קבצים מצורפים, תוצאות חיפוש והוראות מערכת שהאפליקציה מוסיפה מאחורי הקלעים. כל אלה תופסים מקום בחלון.

הטוקנים שהמודל מקבל נקראים טוקני קלט (input), ואלה שהוא מייצר נקראים טוקני פלט (output). ברוב המודלים שניהם נספרים בתוך חלון ההקשר.

דוגמה: חלון ההקשר הוא 32,000 טוקנים. הבקשה שלכם, ההיסטוריה והמסמך המצורף תופסים יחד 26,000. לתשובה נשארים 6,000 טוקנים. אבל זה לא אומר שהמודל יכתוב תשובה של 6,000 טוקנים. לרוב יש גם מגבלה נפרדת על אורך הפלט. אם היא 4,000, המודל לא יחרוג ממנה גם אם יש מקום פנוי בחלון.

במודלים שחושבים לפני שהם עונים (reasoning), חלק מטוקני הפלט הולך על החשיבה הפנימית. הטוקנים האלה לא מופיעים בתשובה הסופית, אבל נספרים במגבלת הפלט, ולרוב גם בחשבון.

מסגרת זכוכית גדולה מלאה כמעט עד הסוף בקוביות צבעוניות, כמה קוביות נופלות מלמעלה ודמות לבנה קטנה מביטה מהצד
חלון ההקשר מתמלא בהוראות, בהיסטוריה ובקבצים, ומה שנשאר הולך לתשובה. איור: RJL Studio

קבצים וחלון ההקשר

כשמעלים קובץ, הצריכה תלויה באופן שבו האפליקציה מעבדת אותו. בקובץ PDF השירות יכול לחלץ ממנו טקסט, להפוך כל עמוד לתמונה, או לשלוח למודל רק את הקטעים הרלוונטיים. לכן אי אפשר להעריך את מספר הטוקנים רק לפי משקל הקובץ או מספר העמודים.

מה קורה כשהחלון מתמלא

זה תלוי במודל ובאפליקציה. יש שירותים שדוחים בקשה גדולה מדי. אחרים מקצרים את ההיסטוריה אוטומטית: מוחקים הודעות ישנות או מחליפים אותן בסיכום קצר. כלים כמו Claude ו-ChatGPT מבצעים ניהול כזה בשיחות ארוכות.

המשמעות המעשית: ייתכן שאתם רואים את כל השיחה על המסך, אבל המודל מקבל רק חלק ממנה. לכן בשיחות ארוכות הוא מתחיל לפעמים "לשכוח" דרישות שנוסחו בהתחלה. בבוט שירות לקוחות זו בעיה אמיתית, ואת ההוראות החשובות כדאי לשים בהנחיית המערכת ולא רק בהודעה הראשונה.

איך סופרים טוקנים ומחשבים עלות

כלים לספירה לפני השליחה

כדי לראות כמה טוקנים תופס טקסט, אפשר להשתמש ב-Tokenizer של OpenAI או בכלי מקביל של הספק שבחרתם. מדביקים טקסט, והכלי מראה כמה טוקנים יש בו ואיך הוא התחלק. זה עובד גם על קוד. שימו לב שהתוצאה נוגעת רק לקטע שהדבקתם: היסטוריה, תמונות וקבצים צריך לחשב בנפרד.

ל-API של OpenAI ושל Anthropic יש גם כלים לספירת טוקני קלט לפני שליחה, כולל תמונות, קבצים והוראות מערכת.

השדה usage בתשובת ה-API

אחרי כל בקשה, ה-API מחזיר בדרך כלל לא רק את התשובה, אלא גם נתוני צריכה בשדה usage: כמה טוקני קלט, כמה טוקני פלט, ובמודלי חשיבה גם כמה מהם הלכו על החשיבה. בדרך כלל טוקני החשיבה כבר כלולים בספירת הפלט, אז אין לחבר אותם פעמיים.

כדי לחשב עלויות, הסתמכו על הנתונים מ-usage ולא על ספירה עצמית. כשאנחנו בונים לעסק בוט או אוטומציה, אנחנו שומרים את הנתונים האלה בכל פנייה. כך רואים בדיוק כמה עולה שיחה ממוצעת, ואיפה הכסף הולך.

נוסחת העלות

ב-API משלמים לפי מספר הטוקנים שעובדו. לקלט ולפלט יש תעריפים נפרדים, ופלט כמעט תמיד יקר יותר. המחיר מוצג למיליון טוקנים, אבל משלמים רק על מה שהשתמשתם. הנוסחה:

עלות = (טוקני קלט × מחיר קלט + טוקני פלט × מחיר פלט) ÷ 1,000,000

דוגמה עם מספרים להמחשה בלבד: נניח שמיליון טוקני קלט עולים דולר אחד ומיליון טוקני פלט עולים חמישה דולרים. בוט קיבל שאלה של לקוח יחד עם הוראות מערכת, סך הכול 1,000 טוקני קלט, וכתב תשובה של 500 טוקנים. החישוב: (1,000 × 1 + 500 × 5) ÷ 1,000,000 = 0.0035 דולר. שיחה אחת זולה מאוד, אבל באלף שיחות ביום ועם היסטוריה שהולכת ומתארכת, הסכום מצטבר.

המחירים משתנים לעיתים קרובות ותלויים במודל, אז בדקו תמיד בעמודי התמחור הרשמיים של OpenAI, של Anthropic ושל Google לפני שאתם מתכננים תקציב.

מאזניים מזכוכית תלת-ממדיים, בכף אחת ערימת קוביות זוהרות ובכף השנייה מטבעות כתומים מבריקים חלקים בלי סימנים
ב-API משלמים על כל טוקן קלט ופלט, ופלט עולה בדרך כלל יותר. איור: RJL Studio

מה עוד משפיע על החשבון

  • כלים נוספים: חיפוש באינטרנט, הרצת קוד או אחסון קבצים מתומחרים לפעמים בנפרד;
  • מטמון (caching): קלט שחוזר על עצמו יכול לעלות פחות;
  • עיבוד באצווה (batch): ספקים מציעים הנחה על בקשות שלא צריכות תשובה מיידית;
  • בחירת המודל: מודל קטן ומהיר זול בהרבה ממודל הדגל, ולמשימות פשוטות הוא מספיק.

במנויים ל-ChatGPT, Claude או Gemini משלמים סכום חודשי קבוע ולא סופרים טוקנים לכל הודעה, אבל גם שם יש חלון הקשר ומגבלות שימוש.

איך מצמצמים צריכת טוקנים בלי לפגוע באיכות

ככל שהמודל מקבל ומייצר יותר טקסט, כך נצרכים יותר טוקנים. אבל לא כדאי לקצר בכל מחיר: אם חסר למודל מידע, הוא יבצע את המשימה לא נכון, והתיקונים יעלו עוד טוקנים. הנה הדרכים שעובדות.

נסחו את המשימה בבירור

כתבו מה צריך לעשות, באילו נתונים להשתמש ואיך התוצאה צריכה להיראות. פרטים מיותרים אפשר להוריד, תנאים חשובים צריך להשאיר. במקום תיאור ארוך של כל העסק ובקשה כללית "לעזור עם מייל", כתבו: "כתוב מייל של 80 מילים ללקוח שלא שילם חשבונית, בטון מנומס ועניני, עם קישור לתשלום בסוף". על ניסוח בקשות טובות כתבנו בהרחבה במדריך לכתיבת פרומפטים.

הגבילו את אורך התשובה

אם צריך הסבר קצר, שלוש דוגמאות או רשימה, כתבו את זה. במקום "מה זה API?" כתבו "הסבר מה זה API בשלושה משפטים ותן דוגמה אחת". ב-API, שבו כל טוקן פלט עולה כסף, זה חוסך באופן ישיר. אפשר גם להגדיר מגבלת אורך פלט בפרמטרים של הבקשה.

שלחו רק את החלקים הרלוונטיים

לא צריך לשלוח מסמך של מאה עמודים אם מספיקים שני סעיפים. אם רוצים לבדוק תנאי ביטול בחוזה, שלחו את הסעיף הרלוונטי ואת מה שקשור אליו. בבוט שעונה על שאלות לגבי מוצרים, אל תטענו בכל פנייה את כל הקטלוג. זה בדיוק מה ש-RAG פותר: המערכת שולפת רק את הקטעים הרלוונטיים לשאלה. הסברנו איך זה עובד במדריך ל-RAG.

קצרו את היסטוריית השיחה

ב-API, ההודעות הקודמות נשלחות לרוב יחד עם כל בקשה חדשה, ולכן שיחה ארוכה מנפחת את טוקני הקלט. במקום לשלוח את כל הדיאלוג, אפשר לשמור סיכום קצר: "לקוחה מתעניינת בחבילת אתר תדמית, תקציב עד אמצע הטווח, ביקשה פגישה ביום שלישי". חשוב שהסיכום ישמור החלטות, דרישות וכל מה שצריך כדי להמשיך.

השתמשו במטמון לחלקים שחוזרים

חלק מה-API מאפשרים לעשות שימוש חוזר בקלט שכבר עובד, במחיר מוזל. זה שימושי במיוחד כשבכל בקשה חוזרות אותן הוראות או אותו מסמך. למשל, מערכת שמנתחת כל יום מאות ביקורות לקוחות לפי אותם כללים. כדי שהמטמון יעבוד, החלק הקבוע צריך להופיע בתחילת הבקשה ובאותו נוסח בדיוק. המטמון לא מקטין את מספר הטוקנים, אבל מוריד את המחיר שלהם.

בחרו מודל לפי המשימה

לא כל משימה צריכה את המודל החזק ביותר. סיווג פניות, חילוץ שם וטלפון מהודעה או תרגום קצר יעבדו מצוין במודל קטן וזול. את המודל הגדול כדאי לשמור לניתוח מורכב, לכתיבה ארוכה ולהחלטות שדורשות היגיון של כמה שלבים. במערכות שאנחנו בונים, הנתב הזה הוא לרוב החיסכון הגדול ביותר.

קוביות זכוכית זוהרות עוברות דרך משפך מבריק ויוצאות ממנו בכמות קטנה יותר, ולידן ארנק סגול קטן עם ניצוץ כתום
ניסוח ברור, הקשר ממוקד ובחירת מודל נכונה מורידים את צריכת הטוקנים. איור: RJL Studio

טוקנים בפרויקט עסקי: מה לבדוק לפני שמטמיעים

כשעסק בישראל מחבר בינה מלאכותית לאתר, לוואטסאפ או למערכת פנימית, הטוקנים הופכים משאלה טכנית לשאלה תקציבית. הנה תוכנית עבודה קצרה.

תוכנית בחמישה שלבים

1. הגדירו את המשימה והנפח. כמה פניות בחודש, באיזו שפה, ומה האורך הממוצע של שאלה ותשובה.

2. מדדו על נתונים אמיתיים. קחו עשרים שיחות אמיתיות בעברית, הריצו אותן במונה הטוקנים של המודל שבחרתם וחשבו ממוצע.

3. חשבו עלות חודשית. הכפילו את הממוצע במספר הפניות ובתעריף, והוסיפו מרווח לשיחות ארוכות ולניסיונות חוזרים.

4. הגדירו מגבלות. תקרת הוצאה חודשית בחשבון הספק, מגבלת אורך פלט ומגבלה על אורך ההיסטוריה שנשלחת.

5. נטרו מהיום הראשון. שמרו את נתוני usage לכל פנייה, כדי לזהות חריגות לפני שהן מגיעות לחשבונית.

כדי להבין את התמונה הכלכלית המלאה, כולל פיתוח, תחזוקה והחזר השקעה, קראו את המדריך לעלות פרויקטי AI.

טעויות נפוצות

  • תקציב לפי מחשבון באנגלית. בעברית הצריכה בדרך כלל גבוהה יותר, ותקציב שמחושב לפי טקסט באנגלית יתברר כנמוך מדי.
  • שליחת כל ההיסטוריה בכל פנייה. בבוט שמנהל שיחות ארוכות, זה יכול להכפיל ולשלש את העלות בלי שאיש ישים לב.
  • מודל הדגל לכל משימה. משלמים מחיר פרימיום על סיווג פשוט שמודל קטן היה מבצע באותה איכות.
  • בלי תקרת הוצאה. באג בלולאה או בוט שמישהו מנסה לנצל יכולים לייצר אלפי בקשות בלילה אחד.
  • קיצור יתר של ההוראות. הנחיית מערכת מקוצרת מדי גורמת לטעויות, והתיקונים עולים יותר מהחיסכון.

איך RJL Studio עוזרת לעסקים לעבוד עם AI בחכמה

אנחנו בונים אינטגרציות AI לעסקים בישראל, ומתכננים את העלות כבר בשלב האפיון ולא אחרי החשבונית הראשונה. מה אנחנו עושים:

  • בוטים ועוזרים חכמים לאתר ולוואטסאפ, בעברית, באנגלית וברוסית;
  • אוטומציה ואינטגרציות עם n8n, Make ו-Zapier, כולל חיבור ל-CRM ולמערכות קיימות;
  • בחירת מודל לכל משימה, מטמון ו-RAG כדי לשלוט בצריכת הטוקנים;
  • ניטור של נתוני usage ותקרות הוצאה, כדי שהעלות תישאר צפויה.

אם אתם שוקלים בוט או אוטומציה, כדאי להתחיל מהמדריך שלנו לצ'אטבוטים. רוצים לבדוק כמה זה יעלה אצלכם? השאירו פרטים ונחזור אליכם לשיחת היכרות קצרה.

שאלות נפוצות על טוקנים בבינה מלאכותית

מה זה טוקן במילים פשוטות?

טוקן הוא חתיכת טקסט קטנה שמודל שפה עובד איתה: מילה שלמה, חלק ממילה, סימן פיסוק או רווח. המודל קורא את הבקשה כרצף טוקנים וכותב את התשובה טוקן אחרי טוקן. גם תמונות, אודיו ווידאו מומרים לטוקנים, בשיטות אחרות.

כמה מילים יש בטוקן אחד?

אין יחס קבוע. באנגלית מקובל להעריך שטוקן אחד הוא בערך ארבעה תווים, כלומר פחות ממילה. בעברית הצריכה בדרך כלל גבוהה יותר, והיחס תלוי בטוקנייזר של המודל. כדי לדעת בוודאות, בדקו את הטקסט במונה הטוקנים של המודל שאתם עובדים איתו.

למה עברית עולה יותר טוקנים מאנגלית?

טוקנייזרים רבים אומנו בעיקר על טקסט באנגלית, ולכן מילים באנגלית תופסות אצלם פחות חלקים. בנוסף, בעברית מצמידים למילה אותיות כמו ו', ה', ב' ו-ל', ויש למילה הרבה צורות. במודלים חדשים הפער קטן יותר, אבל הוא עדיין קיים ברוב המקרים.

מה ההבדל בין חלון הקשר למגבלת אורך התשובה?

חלון ההקשר הוא סך כל הטוקנים שהמודל יכול להתייחס אליהם בפנייה אחת: הוראות, היסטוריה, קבצים והתשובה. מגבלת הפלט היא תקרה נפרדת רק לאורך התשובה. גם אם בחלון נשאר הרבה מקום, המודל לא יכתוב תשובה ארוכה מהמגבלה הזאת.

איך מורידים את עלות ה-API של בוט לעסק?

שולחים רק את המידע הרלוונטי (למשל בעזרת RAG), מסכמים היסטוריה ארוכה, מגבילים את אורך התשובות ומשתמשים במטמון להוראות שחוזרות. משימות פשוטות מעבירים למודל קטן וזול. ומגדירים תקרת הוצאה וניטור של נתוני usage, כדי לזהות חריגות מוקדם.

הבהרה: התכנים בבלוג נועדו למטרות מידע ולימוד כללי בלבד, ונכונים למועד פרסומם. הם אינם מהווים ייעוץ מקצועי, משפטי, פיננסי או עסקי, ואינם המלצה או קריאה לבצע פעולה כלשהי. כל שימוש במידע נעשה על אחריות הקוראים בלבד, ואיננו אחראים לנזק שעלול להיגרם כתוצאה ממנו. קישורים לאתרים ולכלים חיצוניים מובאים לנוחות בלבד. לפני קבלת החלטות מומלץ להתייעץ עם איש מקצוע.