תהליכי AI

כמה עולה להריץ סוכני AI בקנה מידה גדול? מודל תחשיב לעלות למשימה

איור איזומטרי כהה של שתי שורות מקבילות של גושים: שורה אחורית של שבעה עמודים שעולים מציאן דרך כחול וסגול עד שני עמודים כתומים גבוהים, ושורה קדמית נמוכה של קוביות ירוקות וציאן לצד קו ירוק דק מואר

עלות הרצת סוכני AI בקנה מידה גדול היא העלות של משימה אחת שהושלמה כפול מספר המשימות, ולא מחיר הטוקן שמופיע במחירון הספק. העלות למשימה נקבעת לפי מספר הקריאות למודל, גודל ההקשר שנשלח מחדש בכל צעד, איזה מודל מטפל בכל שלב, ניסיונות חוזרים, חיובי כלים ואחזור וזמן הבקרה האנושית. ההפתעות מגיעות בדרך כלל מלולאות, הקשרים ארוכים וניסיונות חוזרים. כאן תמצאו נוסחה, טבלת גורמי עלות, דרכי חיסכון, תקרות ורשימת מדידה לחודש הראשון.

סוכן AI הוא תוכנה שמריצה מודל שפה בלולאה: היא מתכננת צעד, קוראת לכלי, קוראת את התוצאה ומחליטה אם להמשיך (על ההבדל מצ׳אטבוט ראו סוכני AI לעסקים). טוקן הוא יחידת הטקסט שהספקים מודדים ומחייבים לפיה, והקשר הוא כל מה שהמודל רואה בקריאה אחת. עלות הבנייה והעלות החודשית של סוכן אחד מפורטות במדריך לעלות סוכן AI לעסק, ולכן אין כאן טווחי מחירים. המדריך הזה מלמד לחשב עלות למשימה, כדי להעריך אותה, לנטר אותה ולהוזיל אותה.

ממה מורכבת עלות משימה אחת של סוכן AI?

עלות משימה אחת היא סכום של ארבע שורות: קריאות למודל, כלים ואחזור, בקרה אנושית וחלק מהעלות הקבועה. מחלקים בשיעור ההצלחה, כי משימה שנכשלה עלתה כסף. הפתעות בחשבון מגיעות לרוב משורה שלא נכללה בתחשיב: ניסיונות חוזרים, חיובי כלים או זמן בדיקה.

נוסחת העלות למשימה, שלב אחר שלב
מה מחשביםהנוסחהמה כל סימן מייצג
קריאות למודלC_calls = Σ_k ( U_k × P_in + K_k × P_cached + O_k × P_out )בכל קריאה k: טוקני קלט רגילים, טוקני קלט שמחושבים ממטמון וטוקני פלט, כל אחד במחיר הטוקן של המודל שהריץ את הצעד.
עלות לניסיוןC_attempt = C_calls + C_tools + ( p_review × m × L ) + ( F / N )C_tools: חיובי כלים, חיפוש, אחזור, דיבור והודעות. p_review: החלק מהמשימות שאדם בודק. m: דקות בדיקה. L: עלות דקה מלאה של בודק. F: עלות קבועה בחודש. N: מספר המשימות בחודש.
עלות למשימה שנפתרהC_resolved = C_attempt / ss: החלק מהניסיונות שמסתיימים בפתרון תקין, לפי הגדרה שנקבעה מראש.

החשבון החודשי הוא N כפול C_attempt. שורת הבקרה האנושית לא מופיעה בחשבונית של אף ספק, ולכן היא נשכחת בתחשיב שמתחיל מדף התמחור, וירידה קטנה ב-s מייקרת כל משימה שנפתרה.

למה העלות של סוכן גדלה מהר יותר ממספר הצעדים?

כי בלולאת סוכן רגילה כל קריאה שולחת מחדש את כל מה שקדם לה: ההנחיות, הגדרות הכלים, הבקשה ותוצאות כל הצעדים הקודמים.

תרחיש להמחשה, בסימנים בלבד: S הוא הקלט הקבוע של כל קריאה (פרומפט מערכת, הגדרות כלים וגוף המשימה), ו-d הוא מה שכל צעד מוסיף להיסטוריה (פלט המודל ותוצאת הכלי). הקלט בצעד הראשון הוא S, בשני S + d, בשלישי S + 2d. החלק הצומח הוא d כפול 0 + 1 + 2 + ... עד הצעד האחרון.

סך הקלט במשימה לפי מספר הצעדים (בסימנים S ו-d)
מספר צעדיםהחלק הקבועהחלק הצומחסך הקלט
44 × S6 × d4 × S + 6 × d
88 × S28 × d8 × S + 28 × d
1616 × S120 × d16 × S + 120 × d

מ-4 צעדים ל-8 החלק הקבוע מוכפל, אבל החלק הצומח עולה מ-6d ל-28d, יותר מפי ארבעה, ולולאה של 16 צעדים נושאת 120d. לכן עלות ממוצעת לצעד מטעה. כל משפט שהמודל כותב מחויב פעם כפלט, ושוב בכל צעד שאחריו כקלט. קיצור היסטוריה ומטמון, בהמשך, משנים את העקומה הזו.

אילו גורמים מייקרים סוכן AI בנפח גבוה, ואיך מודדים כל אחד?

שמונה גורמים שכדאי למדוד, ולצד כל אחד למה הוא גדל, איך מודדים אותו ומה מקטין אותו.

גורמי עלות בהרצת סוכן AI: למה הם גדלים, איך מודדים ואיך מקטינים
הגורםלמה הוא גדלאיך מודדיםאיך מקטינים
קריאות למודל לכל משימהלולאות, תכנון מחדש, שגיאות כלים וצעדים שאפשר לבצע בקוד.קריאות למשימה: חציון וזנב.תקרת צעדים, קוד במקום מודל.
גודל ההקשר בקריאההיסטוריה שנשלחת מחדש, תוצאות כלים ארוכות, פרומפט מנופח. עברית צורכת לרוב יותר טוקנים מאנגלית, והפער משתנה בין מודלים.טוקני קלט לצעד, רגילים מול ממטמון.קיצור היסטוריה, אחזור ממוקד, מטמון.
אורך הפלטתשובות מילוליות. בספקים רבים גם טוקני חשיבה של מודלי reasoning מחויבים כפלט (לאמת אצל הספק).טוקני פלט וחשיבה לצעד.פלט מובנה וקצר, חשיבה מינימלית בצעדים קלים.
בחירת המודלמודל חזק בכל צעד.קריאות וטוקנים לפי מודל.ניתוב מודלים.
ניסיונות חוזרים וכשליםפלט לא תקין, פסקי זמן, מגבלות קצב. כל ניסיון משלם שוב על כל ההקשר.ניסיונות לצעד, s וסיבות כשל.אימות פלט, ניסיונות מוגבלים עם השהיה, תיקון הסיבה.
כלים, אחזור וערוציםחיפוש, מסדי וקטורים, OCR, דיבור והודעות מחויבים לפי שימוש אצל ספקים נפרדים.חיובי ספקים למשימה.מטמון תוצאות, דילוג על קריאות מיותרות, אצווה.
בקרה אנושיתדקות של אדם לכל משימה שנבדקת, והתור גדל עם הנפח.p_review, דקות, וכמה פעמים הבודק משנה את הפלט.בדיקות בקוד לפני התור, ראיות לצד השינוי, דרגות סיכון.
עלות קבועהתשתית, ניטור, הרצות הערכה (שגם הן קוראות למודל) ותחזוקה.F בחודש ו-F / N למשימה.שיתוף תשתית, הרצות הערכה ממוקדות.
כלל לסדר העבודה: מחשבים קודם כמה מ-C_attempt מגיע מכל שורה, ורק אז בוחרים איפה לחסוך. אם הבקרה האנושית או ספק כלים הם רוב החשבון, קיצור פרומפטים לא ישנה הרבה.

איך מוזילים סוכן AI בלי לפגוע באיכות? שמונה מנופים לפי סדר ההשפעה הרגיל

זה הסדר הנפוץ, לא חוק, ולכן מודדים לפני שמשנים. לכל מנוף יש מחיר, והוא מופיע לצידו. בצינור מנותב המודל החזק פועל רק בצעד שצריך אותו:

סיווג במודל קטן שליפת רשומה בקוד ניסוח במודל חזק בדיקת כללים בקוד
  1. קוד לצעדים שהם כללים. אימות, שליפה לפי מזהה, סכומים וניתוב לפי שדה קבוע לא צריכים מודל: עלות כמעט אפסית ותשובה זהה בכל פעם. כך גם בזיהוי שינוי: מערכת לניתוח מתחרים משווה גרסאות של עמוד בקוד ושולחת למודל רק שינוי אמיתי. החיסרון: כללים דורשים תחזוקה ונשברים מול קלט מבולגן. אם לא ברור אם התהליך צריך סוכן או אוטומציה רגילה, ראו סוכן AI או אוטומציה.
  2. ניתוב מודלים. מודל קטן ומהיר מטפל בסיווג, בחילוץ ובניתוב, ומודל חזק מקבל רק צעדים שהקטן נכשל בהם בבדיקות, עם הסלמה כשהוא לא בטוח. החיסרון: ניתוב שגוי שולח משימה קשה למודל חלש, והאיכות נשחקת בשקט. מחירי מודלים נבדלים במידה ניכרת ומשתנים לעיתים קרובות; הניתוח של Grok 4.6 מראה איך מודל חדש משנה את החשבון.
  3. הקשר רזה. פרומפט מערכת קצר, רק הכלים שהצעד צריך (גם הגדרות כלים הן טוקנים), מקטעים רלוונטיים במקום מסמכים שלמים, סיכום היסטוריה ישנה ותוצאות כלים שנגזרו לשדות הנחוצים. החיסרון: קיצור עלול למחוק בדיוק את הפרט שהמודל היה צריך, ולכן בודקים על מקרים אמיתיים.
  4. מטמון לתחילית. בלולאת סוכן תחילת כל קריאה זהה לקודמת, ולכן ספקים רבים מחשבים אותה במחיר מופחת, לפי תנאיהם (אורך מינימלי, משך שמירה, לעיתים חיוב על כתיבה). שמים בהתחלה את התוכן היציב ובסוף את המשתנה. החיסרון: שינוי קטן בתחילית, כמו חותמת זמן בראש הפרומפט, שובר את ההתאמה. בודקים את שיעור הפגיעה ביומן.
  5. פלט מובנה. סכמה קבועה מקטינה כשלי פענוח, ניסיונות חוזרים וטוקני פלט, שעולים לרוב יותר לטוקן מטוקני קלט. החיסרון: סכמה נוקשה עלולה לכפות תשובה בשדה לא מתאים, ולכן מוסיפים "לא ידוע" והסלמה.
  6. אצווה ועיבוד אסינכרוני. סיכומי לילה וצבר מסמכים לא צריכים תשובה בתוך שניות, וספקים רבים מתמחרים אצווה בזול יותר תמורת זמן מענה ארוך יותר (שואלים על התנאים הנוכחיים). החיסרון: השהיה, ולכן לא לשיחה חיה.
  7. יציאה מוקדמת ותקרות צעדים. עוצרים כשהמשימה הושלמה או כשהגיעו לתקרה, ומעבירים לאדם עם סיכום מצב במקום לנסות שוב. החיסרון: משימות קשות באמת ייחתכו, ולכן סופרים אותן ומכווננים את התקרה.
  8. הערכה. לפני החלפת מודל, קיצור הקשר או הוספת מטמון מריצים שוב את אותם מקרים ומשווים עלות למשימה שנפתרה, לא לקריאה, כמו במדריך להערכת סוכני AI. החיסרון: הרצות הערכה עולות כסף, אבל פחות מרגרסיה שמתגלה בייצור.

מה המחיר של מודל מסוים לכל מיליון טוקנים?

המאמר לא מציג מחירי טוקנים בכוונה: הם משתנים לעיתים קרובות, ומספר במאמר מתיישן. את המחיר הנוכחי של Grok 4.6 לקלט ולפלט אפשר לראות בדף Grok 4.6, ומודלים אחרים בדף המודלים, שבו מופיע לכל מודל התמחור הרשמי. את המחיר מאמתים מול המחירון של הספק. בכרטיס מחיר קוראים מחיר קלט מול פלט, מחיר קלט ממטמון, רמת מחיר להקשר ארוך אם קיימת וחיובים נפרדים לכלים מובנים כמו חיפוש.

תרחיש להמחשה: אותו תהליך בשני עיצובים

תרחיש להמחשה: הדוגמה סינתטית, עם הנחת נפח וסכומים בסימנים בלבד, בלי מחירים ובלי תוצאות מדידה.

סוכן לפניות נכנסות מטפל באלף משימות ביום (הנחת קלט). בכל משימה: סיווג, שליפת רשומת לקוח, ניסוח תשובה ובדיקתה מול מדיניות.

עיצוב א: מודל חזק בכל צעד

ארבע קריאות לאותו מודל, וההיסטוריה נשלחת מחדש בכל אחת. קלט של 4 × S ועוד 6 × d במחיר P_in, ופלט במחיר P_out.

עיצוב ב: צינור מנותב

מודל קטן מסווג, קוד שולף את הרשומה ומודל חזק מנסח בקריאה אחת. ההקשר שלו הוא S_lean בלבד: הרשומה, המדיניות הרלוונטית והפנייה. כללים בודקים את התוצאה.

בעיצוב ב המודל החזק מקבל S_lean במקום 4 × S + 6 × d, ולכן הוא כנראה זול יותר לניסיון, גם אחרי הוספת הקריאה של המודל הקטן. אבל הוא זול יותר למשימה שנפתרה רק אם s לא ירד ו-p_review לא עלה: אם המודל הקטן מסווג לא נכון והבודקים מתקנים יותר, שורת הבקרה האנושית יכולה לבלוע את החיסכון. מחליטים על מערך מקרים משותף, ובוחרים בעיצוב ב רק אם C_resolved שלו נמוך יותר.

איך מונעים מסוכן לרוץ בלי גבול? תקציבים, תקרות ומנתקי לולאה

את התקציב אוכפים בקוד השרת ולא בבקשה מהמודל להיות חסכוני: מודל שנתקע בלולאה לא יעצור את עצמו. כדאי שאלה יהיו במקום לפני ההשקה:

  • תקציב טוקנים למשימה: תקרה קשיחה לכל הצעדים יחד. כשמגיעים אליה, עוצרים ומעבירים לאדם עם סיכום מצב.
  • תקרת צעדים וקריאות כלים, גם לכל כלי בנפרד, כדי שכלי אחד שנכשל לא יזין לולאה.
  • מנתק לולאה וניסיונות חוזרים מוגבלים: עצירה כשאותה קריאה עם אותם פרמטרים, או אותה שגיאה, חוזרת; ניסיון חוזר עם השהיה ומפתח אידמפוטנטי, כדי שלא יבצע פעולה פעמיים.
  • תקציב יומי לפי תהליך ולקוח: התראה רכה קודם, עצירה קשיחה רק לתהליכים שאפשר להשהות. תהליך קריטי מקבל מסלול חלופי.
  • התראה על סטייה: עוקבים אחרי עלות למשימה שנפתרה לפי תהליך. שינוי פרומפט, החלפת מודל או שינוי בקלט מייקרים בלי ששום דבר נשבר.
  • רישום לפי צעד של מזהה משימה, תהליך, לקוח, מודל, ספירת טוקנים וחיובי כלים: מספרים ומזהים, אף פעם לא תוכן פניות או פרטים אישיים.

בודקים גם תקרות ומנתקים, כולל מקרים שנועדו לגרום ללולאה, כמו במדריך להערכת סוכני AI.

כמה עולה הבקרה האנושית, ולמה היא לרוב השורה הגדולה?

בקרה אנושית עולה p_review × m × L למשימה, ולרוב היא השורה הגדולה בחשבון, כי דקה של אדם עולה בדרך כלל יותר מקריאה בודדת למודל. בדקו עם המספרים שלכם: אם משימה שנבדקת עולה כמה דקות ומשימה אוטומטית עולה קריאות בודדות, גם חלק קטן של משימות שנבדקות יכול לעקוף כל שורה אחרת.

  • מוציאים מהתור מה שקוד יכול לאמת: התאמות מלאות, שדות חסרים וכפילויות.
  • שולחים לבודק לפי סיכון הפעולה וביטחון המערכת, לא כל משימה.
  • מקצרים את הדקות: ראיית מקור לצד השינוי המוצע, בלי מעבר בין חלונות. ראו תורי אישור אנושי.
  • מודדים דקות למשימה לפי בודק וסוג, וכמה פעמים הבודק משנה את הפלט. כמעט אף פעם לא משנה: אולי כללים יכולים לאשר. כמעט תמיד משנה: הסוכן משלם על עבודה שמתבצעת פעמיים.
צמצום בקרה כדי לחסוך הוא החלטת סיכון, לא החלטת עלות. פעולות שמשנות רשומה עסקית או יוצאות אל לקוח נשארות עם אישור של אדם.

איך מעריכים עלות לפני ההשקה?

מודדים משימות אמיתיות ומכפילים בנפח, ולא מכפילים מחיר טוקן בניחוש של מספר השיחות:

  1. אוספים מדגם משימות אמיתיות. כנוהל עבודה, 50 עד 100 משימות מייצגות הן פתיחה סבירה (הנחיה מעשית, לא נתון סטטיסטי), כולל מקרי קצה, קלט מבולגן ומסמכים ארוכים.
  2. מריצים אותן דרך העיצוב המיועד עם רישום לפי צעד: צעדים, טוקנים, חיובי כלים, ניסיונות חוזרים, תוצאה ודקות בדיקה.
  3. מחשבים חציון וזנב, לא רק ממוצע. הממוצע מסתיר משימות נדירות ויקרות: התקציב על הממוצע, ההתראות על הזנב.
  4. מכפילים בנפח לפי תרחישים עם מרווח ביטחון שמתאים לגודל המדגם, וקובעים תקרה יומית עם עצירה מוגדרת.
שלושה תרחישי תחזית לבדיקה לפני ההשקה
התרחישמה משתנהמה בודקים
צפויתמהיל משימות ונפח רגילים.עלות למשימה שנפתרה מול ההכנסה או החיסכון שהתהליך מביא.
יום עמוסנפח גבוה, מסמכים ארוכים ומגבלות קצב אצל הספק.העלות היומית המרבית, זמני תור, וניסיונות חוזרים שמגבלות הקצב מייצרות.
סערת כשליםמערכת יעד או ספק מודל שמחזירים שגיאות: ניסיונות חוזרים וסוכנים תקועים.האם התקרות והמנתקים עוצרים את ההוצאה, ומה קורה למשימות שנעצרו.

בנפח גבוה כדאי לשאול גם את ספק המודלים על הסכם נפח או התחייבות שימוש, תנאי מטמון ואצווה נוכחיים, מגבלות קצב בשיא שלכם, הודעה מראש על שינוי מחיר או הוצאת מודל משימוש ותנאי טיפול בנתונים. אלה שאלות לבירור, לא הבטחה לגבי מה שתקבלו.

מתי עדיף לבנות צנרת משלכם, ומתי לא כדאי להתאמץ בכלל?

צנרת בבעלותכם משתלמת מעל נפח מסוים, ופלטפורמה מוכנה משתלמת מתחתיו. תשלום לכל משימה, שיחה או פתרון גדל בקו ישר עם הנפח. פיתוח עצמאי מחליף חלק ממנו בעלות קבועה ובעלות משתנה נמוכה יותר. נקודת האיזון היא העלות הקבועה החודשית של הבעלות, מחולקת בהפרש בין התשלום למשימה בפלטפורמה לבין העלות המשתנה למשימה אצלכם. את ההשוואה המלאה, כולל שליטה, נתונים ותלות בספק, תמצאו בפיתוח אוטומציה מותאם מול כלים מוכנים.

ב-DevShift, כשמאפיינים סוכן AI מותאם, מסכמים מראש בדיקות קבלה שכוללות את עלות השימוש. אחרי הגדרת התהליך אפשר להכין הצעה שמפרידה בין ההקמה לעלויות השוטפות, עם הנחות שימוש ברורות, ועלות הבדיקה האנושית היא חלק מהתמונה. עוד על פיתוח סוכני AI ופתרונות AI לעסקים.

ולא כדאי להשקיע בהוזלה כש:

  • הנפח נמוך: כלי מוכן וגיליון מעקב עדיפים על מערכת מדידה משלכם.
  • התהליך עוד משתנה: קודם מייצבים.
  • אדם או ספק כלים, ולא טוקנים, קובעים את החשבון: קיצור פרומפטים לא יזיז אותו.
  • טעות יקרה בהרבה מהחיסכון: לא מורידים מודל בצעד רגיש בלי הערכה.

מה מודדים בחודש הראשון, ומה עושים עכשיו?

בחודש הראשון בייצור מודדים את הדברים הבאים, ולא מסתפקים בסכום החשבונית:

  • עלות למשימה שנפתרה, לפי תהליך, בכל יום.
  • קריאות למודל למשימה (חציון וזנב) וטוקנים לצעד: קלט רגיל, קלט ממטמון ופלט.
  • ניסיונות חוזרים וכשלים לפי צעד וסוג שגיאה, ושיעור ההצלחה s עם הגדרה כתובה של "נפתר".
  • חיובי כלים וערוצים למשימה, מותאמים לחשבוניות הספקים.
  • חלק המשימות שנבדקות, דקות לבדיקה וכמה פעמים הבודק משנה את הפלט.
  • כמה פעמים הופעלו תקרות ומנתקים, ומה עלה בגורל המשימות שנעצרו.
  • סטיית עלות אחרי כל שינוי פרומפט או מודל על אותו מערך הערכה, ושלוש המשימות היקרות בשבוע, שאדם קורא בעיון.

ומה עושים עכשיו:

  1. בוחרים תהליך אחד וכותבים מה נחשב בו "נפתר". אם עוד לא בחרתם, ראו איך בוחרים את התהליך הראשון לאוטומציה.
  2. מפעילים רישום לפי צעד לפני ההשקה, לא אחריה.
  3. מריצים מדגם אמיתי ומחשבים C_resolved ואת חלקה של כל שורה.
  4. משנים מנוף אחד ומודדים שוב על אותו מדגם.

אם אתם רוצים עזרה במיפוי התהליך ובהגדרת הנחות השימוש לתחשיב ראשון, שיחה קצרה איתנו היא נקודת פתיחה טובה.

שאלות ותשובות

למה סוכן AI עולה יותר מצ׳אטבוט רגיל?

כי סוכן מבצע כמה קריאות למודל למשימה אחת, ובכל קריאה נשלח מחדש ההקשר שהצטבר, בעוד צ׳אטבוט פשוט עונה בדרך כלל בקריאה אחת. מעבר לזה, סוכן קורא לכלים שמחויבים בנפרד, מנסה שוב כשצעד נכשל ולעיתים דורש בדיקה אנושית. לכן עלות משימה של סוכן מושפעת ממספר הצעדים ומגודל ההקשר, ולא רק ממחיר הטוקן.

איך מעריכים כמה יעלה להריץ סוכן AI לפני ההשקה?

מריצים מדגם של משימות אמיתיות דרך העיצוב המיועד, עם רישום לפי צעד של טוקנים, חיובי כלים, ניסיונות חוזרים ודקות בדיקה, ומכפילים בנפח הצפוי. כנוהל עבודה, 50 עד 100 משימות מייצגות הן נקודת פתיחה סבירה. מחשבים חציון וזנב, בונים תרחישים של יום רגיל, יום עמוס וסערת כשלים, ומוסיפים מרווח ביטחון שמתאים לגודל המדגם.

מה גורם העלות הגדול ביותר בסוכני AI בנפח גבוה?

אין גורם אחד קבוע, אבל לרוב מדובר באחד משלושה: ההקשר שנשלח מחדש בכל צעד, ניסיונות חוזרים ולולאות, או זמן הבקרה האנושית. מחיר הטוקן עצמו הוא לרוב ההפתעה הקטנה מביניהם. כדי לדעת מה נכון אצלכם, מחשבים כמה מהעלות למשימה מגיע מכל שורה בנוסחה, ורק אז בוחרים מה לשפר.

אפשר להריץ סוכן על מודל זול יותר בלי לפגוע באיכות?

לעיתים קרובות כן בצעדים פשוטים כמו סיווג, חילוץ שדות וניתוב, ופחות בצעדים שדורשים שיקול דעת. הדרך הבטוחה היא ניתוב: מודל קטן לצעדים הקלים, מודל חזק לקשים, והסלמה כשהמודל הקטן אינו בטוח. מאמתים על אותו מערך מקרים ומשווים עלות למשימה שנפתרה, כי מודל זול שמגדיל ניסיונות חוזרים או בקרה אנושית עלול לצאת יקר יותר.

איך מונעים מסוכן AI להיכנס ללולאה שמייקרת את החשבון?

מגבילים אותו בקוד השרת: תקציב טוקנים למשימה, מספר צעדים מרבי, מנתק לולאה שעוצר קריאה חוזרת לאותו כלי עם אותם פרמטרים, וניסיונות חוזרים עם השהיה. כשגבול מופעל, המשימה עוברת לאדם עם סיכום מצב. מוסיפים תקציב יומי והתראה על סטייה בעלות למשימה, ומריצים מקרי לולאה בבדיקות ההערכה לפני ההשקה.

האם מטמון של פרומפטים (caching) באמת חוסך כסף?

כן, כשהספק תומך בו והתחילית של הפרומפט זהה בין קריאות, כי חלק הקלט הזה מחויב במחיר מופחת. בלולאת סוכן זה מתקיים לעיתים קרובות, אבל התנאים משתנים בין ספקים: אורך מינימלי, משך שמירה ולעיתים חיוב על כתיבה למטמון. שינוי קטן בתחילית מבטל את החיסכון, ולכן מודדים את שיעור הפגיעה ביומן במקום להניח אותו.

איך מתמחרים מוצר שמריץ סוכני AI עבור לקוחות?

מתחילים מעלות למשימה שנפתרה לכל תהליך ולכל לקוח, ומתמחרים כך שהמרווח שורד גם את הלקוחות שבזנב היקר של ההתפלגות, לא רק את הממוצע. בוחרים יחידת חיוב שדומה ליחידת העלות, כמו משימה שנפתרה או קרדיטים, ומוסיפים מכסת שימוש הוגן. מחירי הספקים משתנים, ולכן מגדירים מראש איך מעדכנים את המחיר שלכם.

איפה בודקים את המחיר העדכני למיליון טוקנים של מודל כמו Grok 4.6?

בדף המודל באתר ובמחירון הרשמי של הספק. מחירי טוקנים משתנים לעיתים קרובות, ולכן לא כדאי להסתמך על מספר במאמר. בכרטיס המחיר קוראים מחיר קלט מול מחיר פלט, מחיר קלט ממטמון, רמת מחיר להקשר ארוך מאוד אם קיימת, וחיובים נפרדים לכלים מובנים כמו חיפוש והרצת קוד.

איזה תהליך כדאי לחבר ל-AI?

מתחילים ממשימה ברורה, מגדירים את המידע וההרשאות, ומתכננים איך בודקים את התוצאה.

אפשר גם להתחיל מתיאור קצר של התהליך או המוצר שתרצו לבנות.

רעיונות שמגיעים למייל

מדי פעם, מדריכים ודוגמאות שימושיים על AI ובניית מוצרים. בלי ספאם.

אפשר לבטל בכל רגע.

שואלים את DevShift