החשבון על מודלי AI גדל יחד עם המוצר. קודם צריך להבין על מה בדיוק אתם משלמים

בדיקת עלויות לחברות שה-AI פועל בתוך המוצר שלהן: קריאות למודלים, טוקנים, caching ובחירת המודל המתאים לכל משימה.

בקצרה

חלק ניכר מהחשבון על AI הולך לעיתים קרובות לא על עבודה מועילה אלא על חזרות: אותו הקשר ארוך בכל בקשה, מודל יקר במקום שבו מודל פשוט היה מספיק, ניסיונות חוזרים בלי הגבלה, קריאות שאף אחד לא משתמש בתוצאה שלהן. הבדיקה מראה ממה מורכב החשבון שלכם, ונותנת חישוב חיסכון על הנתונים שלכם, ולא הבטחה באחוזים.

מה אנחנו בודקים

  • ממה מורכב החשבון: אילו פונקציות במוצר קוראות למודלים, כמה טוקנים צורכת כל קריאה, וכמה מזה הוא הקשר הקלט.
  • בחירת מודל: באילו משימות מודל זול יותר יכול לספק תוצאה באותה איכות, על סמך בדיקה עם הדוגמאות שלכם ולא רק לפי טבלאות של ספקים.
  • Caching: פרומפט מערכת והקשר שחוזרים על עצמם ושאפשר לשמור במטמון אצל הספק (prompt caching), לצד תשובות שאין צורך לבקש מחדש.
  • אורך ההקשר: היסטוריית שיחה ומסמכי RAG שנשלחים למודל במלואם, אף שלצורך התשובה נדרש רק חלק מהם.
  • ניסיונות חוזרים ושגיאות: ניסיונות חוזרים ללא הגבלה, חריגות מזמן ההמתנה (timeouts) וקריאות שהתוצאות שלהן אינן מנוצלות.
  • סוכנים: לולאות שבהן הסוכן מבצע יותר קריאות למודל ולכלים מכפי שנדרש כדי להפיק את התשובה.
  • מעקב: האם אפשר לראות את ההוצאות לפי פונקציה, לקוח ומודל, האם מוגדרות מגבלות והתראות, או שהסכום הסופי מתגלה רק בסוף החודש.
  • שער אחד: האם כל הקריאות עוברות דרך נקודה מרכזית אחת, שבה אפשר לספור אותן, להגביל אותן ולבחור מודל אחר לכל קריאה לפי הצורך.

מה אתם מקבלים

  • מפת עלויות: פירוט החשבון לפי פונקציות במוצר, מודלים וסוגי קריאות, כדי שתראו על מה בדיוק אתם משלמים.
  • צעדים לכל סעיף: מה לשנות, כמה אפשר לחסוך לפי חישוב המבוסס על הנתונים שלכם, ומה עלולה להיות ההשפעה על איכות התשובות או על זמן התגובה, כדי שתוכלו לקבל החלטה מושכלת.
  • סדר עבודה: מתחילים בצעדים שמביאים את החיסכון הגדול ביותר בסיכון הנמוך ביותר.
  • בדיקת איכות: איך מוודאים, באמצעות הדוגמאות שלכם, שהחלפת מודל או קיצור ההקשר לא פגעו באיכות התשובות.

ההיקף והמחיר נקבעים אחרי שיחה קצרה על המוצר ועל האופן שבו הוא עובד עם מודלים.

אחרי הבדיקה

  • אנחנו מתקנים. מיישמים את השינויים לפי סדר העדיפויות שנקבע בבדיקה, ובודקים את התוצאה מול נתוני החיוב בפועל. אנחנו ממשיכים להיות אחראים על מה שעשינו: אם אחרי השינויים שלנו ההוצאה שוב עולה בלי שהעומס גדל, אנחנו בודקים את זה.
  • הצוות שלכם מתקן. אנחנו מעבירים לכם את הדוח ואת ההמלצות לביצוע, כך שתוכלו ליישם אותן גם בלעדינו. אחרי שהשינויים נכנסו, עושים בדיקה חוזרת: מוודאים שההוצאה ירדה איפה שציפינו ושאיכות התשובות לא נפגעה.

ליווי שוטף של העלויות

שירות נפרד למוצרים שהיקף השימוש שלהם ב-AI הולך וגדל:

  • דוח חודשי: הוצאה לפי פונקציות ומודלים, השינויים בחודש והסיבות להם;
  • התראות כשההוצאה חורגת מהרגיל;
  • בדיקה של מודלים חדשים ושל מחירי הספקים: האם כדאי לעבור.

למה אנחנו

אנחנו בעצמנו מפתחים מוצרים שמשלבים AI: מערכות RAG, צ'אטבוטים, סוכנים וחיבורי MCP. שליטה בעלויות המודלים היא חלק מכל פרויקט שלנו: prompt caching, שער אחד לכל הקריאות ובחירת המודל המתאים לכל משימה. הבדיקה מבוססת על הניסיון המעשי שלנו בפרויקטים שאנחנו מפתחים.

שאלות נפוצות

צריך גישה לקוד?

רצוי, כי כך אפשר לראות מהיכן מגיעה כל קריאה. אפשר להתחיל מחשבון הספק ומיומן הקריאות, ולצרף את הקוד לאחר שמזהים היכן מתרכזת רוב ההוצאה.

המוצר רץ על פלטפורמה מוכנה ולא על קוד שלנו. הבדיקה תעזור?

כן, בכל מה שהפלטפורמה מאפשרת לנהל: בחירת המודל, אורך ההקשר ומספר הקריאות. אם הפלטפורמה לא מאפשרת לשלוט בהוצאה, נגיד את זה.

איכות התשובות לא תיפגע?

כל צעד נבדק על הדוגמאות שלכם לפני שהוא נכנס. אם החלפת מודל פוגעת בתשובות באופן ניכר, אנחנו לא ממליצים עליה.

כמה אפשר לחסוך?

זה תלוי במוצר. התשובה מבוססת על חישוב לפי הנתונים שלכם, שמופיע בדוח הבדיקה, ולא על הבטחה מראש.

מאיפה להתחיל

שלחו לנו את החשבון של הספק מהחודש האחרון, ותארו בקצרה אילו פונקציות במוצר עובדות עם מודלים. משם מתחילה הבדיקה.

דברו איתנו

קשור: אבחון למערכות שנבנו בעזרת AI, פתרונות AI, מחשבון עלויות LLM ב-slavin.ai (באנגלית)

SLAtech LTD