צריכת טוקנים: מה מגדיל אותה

אתם משלמים על תוכנית בסכום קבוע, אבל למנוי ה-AI שמאחורי הסוכן שלכם יש תקציב שימוש. שלושת הדברים האלה צורכים אותו הכי מהר.

1. שרשראות עבודה ארוכות

כל צעד במשימה ארוכה קורא מחדש את כל מה שקדם לו. עבודה של עשרים צעדים עולה הרבה יותר מעשרים שאלות קצרות נפרדות.

2. חומר גדול

קריאה של מסמך ארוך, של היסטוריית צ'אט גדולה או של הרבה עמודי אינטרנט היא הדבר היקר ביותר שסוכן עושה. הפנו אותו לקובץ או לעמוד מסוים, ולא ל"כל מה שיש בתיקייה".

3. כללים ארוכים מאוד

ההוראות שאתם נותנים לסוכן נקראות מחדש בכל צעד וצעד. על עמוד של כללים משלמים שוב ושוב. שמרו אותם קצרים ועל התנהגות ("תמיד תאשר איתי לפני שאתה כותב ללקוח"), ולא רשימות ארוכות של מקרים בודדים.

מה לא עוזר

הפעלה מחדש של הסוכן לא חוסכת כלום, היא דווקא עולה, כי הסוכן צריך לטעון מחדש את ההקשר שלו. גם מחיקת היסטוריה לא עוזרת: הזיכרון הקבוע הוא מה שהופך את הסוכן לשימושי, והחיפוש בו זול.

איפה רואים את המספרים?

לוח הבקרה מציג את הצריכה לפי סוכן ולפי צ'אט, עם בורר תקופה. אם צ'אט אחד יקר באופן עקבי, אותו כדאי לשנות, בדרך כלל על ידי פיצול משימה ארוכה לנושאים נפרדים.