הבנצ'מרק להחלפת בן אדם בסוכן הוא לגבור על הביצועים שלו, לא אפס טעויות. זה הלקח שאני חוזר אליו הכי הרבה כשארגון שואל אם מודל יכול לקחת על עצמו תפקיד, והוא מגיע מסיפור שטייסים מספרים אחד לשני על ידית הגלגלים. בסיפור, החלפה של מתג בידית בצורה ייחודית פתרה את בעיית הנחיתות על הגחון — והגרסה שמספרים משמיטה את החלק המעניין: הוסיפו גם שלוש צפצפות מחרישות אוזניים וחמש נורות אדומות מהבהבות, וטייסים עדיין נוחתים לפעמים על הגחון.
הסיפור שטייסים אוהבים לספר
אומרים שאיפשהו בראשית התעופה ידית התפעול של הגלגלים הייתה מתג, כמו כל שאר המתגים בתא הטייס. טייסים שכחו להוריד גלגלים או התבלבלו עם מתג אחר, ונחתו על הגחון — וזו לרוב תאונה קטלנית.
עד שהגיע גאון ה-UI הראשון בעולם, והחליף את המתג בידית שמושכת יותר תשומת לב, בצורה שאי אפשר להתבלבל בה. היום זה סטנדרט.
אני מספר את זה כפולקלור של טייסים, לא כהיסטוריה מתועדת. לא בדקתי מקורות, לא מי היה שם ומתי, וגם לא כמה מהנחיתות האלה באמת נגמרו רע. מה שאני כן יודע זה איך תא הטייס נראה היום, ומה קורה בו כשאני מתקרב לנחיתה.
מה שהגרסה הזאת משמיטה
זה סיפור טוב, ואני שומע אותו מצוטט הרבה גם מחוץ לתעופה, כדוגמה לעיצוב שפתר בעיה במכה אחת. אבל לא הסתפקו בידית.
הוסיפו גם איזה שלוש צפצפות מחרישות אוזניים וחמש נורות שבוהקות באדום מהבהב בכל פעם שאני יורד מ-300 רגל / 55 קשר בלי להוריד גלגלים. כלומר, אחרי שינוי ה-UI המושלם מישהו עדיין חשב שצריך עוד שכבה. ואז עוד אחת.
ועדיין — טייסים נוחתים לפעמים על הגחון.
השורה הזאת היא כל העניין. אין כאן כשל בעיצוב ואין כאן טייס גרוע במיוחד. יש כאן בעיה שנועדה להיות דטרמיניסטית, שלוש שכבות שפועלות בערוצים שונים, ושיעור טעויות שהוא לא אפס.
יש בעיות שנועדו להיות דטרמיניסטיות
להוריד גלגלים לפני נגיעה בקרקע זו בעיה בינארית. אין פה שיקול דעת, אין העדפה ואין גרסה יצירתית. או שהם למטה או שלא.
לבעיות כאלה יש פתרונות מכל מיני סוגים, והסיפור עצמו מדגים שלושה: פתרון מכני (צורת הידית), פתרון קולי (הצפצפות) ופתרון חזותי (הנורות). כל אחד מהם עובד בערוץ אחר, וכולם קיימים במקביל בדיוק כי אף אחד מהם לא הספיק לבדו.
זה נכון גם לתהליכים בארגון. "זה חייב להיות מדויק" הוא לא תיאור של פתרון אלא תיאור של דרישה. השאלה האמיתית היא כמה שכבות אתם מוכנים לבנות סביב הדרישה, ומה קורה כשאחת מהן מפספסת.
שווה גם לשים לב שהשכבות בסיפור לא מנסות למנוע את הטעות אלא לתפוס אותה. הצפצפה לא גורמת לי לזכור, היא צועקת עליי אחרי ששכחתי, ברגע האחרון שבו עוד אפשר לתקן. זו הבחנה שימושית: לא כל שכבה צריכה לשפר את מי שמבצע את הפעולה, חלק מהן רק צריכות לעמוד בדרך.
גם בני אדם לא דטרמיניסטיים
LLM הוא כמובן לא דטרמיניסטי. אותו קלט יכול להחזיר שתי תשובות שונות, וזו סיבה מצוינת לא לתת לו לחתום על דברים בלי בקרה.
אבל שווה לזכור שגם בן האדם שעושה את המשימה הזאת היום הוא לא דטרמיניסטי. הוא עייף בשעה הרביעית, הוא מדלג על שדה כשהטלפון מצלצל, והוא מקליד את אותו מספר פעמיים ביום ראשון בבוקר. הטייס בסיפור עבר שנים של אימון, יושב מול ידית שעוצבה במיוחד בשבילו, ומקבל שלוש צפצפות וחמש נורות — ולפעמים עדיין נוחת על הגחון.
לכן, לפעמים LLM הוא עדיין המועמד המתאים ביותר להחליף בן אדם, גם בבעיה שהיא דטרמיניסטית באופייה. לא בגלל שהוא מדויק, אלא בגלל שהוא מושווה למשהו שגם הוא לא.
הבנצ'מרק הוא הבן אדם, לא האפס
זה החלק שמפיל שיחות. כשבודקים אם להעביר תהליך ידני לסוכן, הרף שמציבים לו כמעט תמיד הוא אפס טעויות — רף שמעולם לא הוצב לבן אדם שעושה את זה היום.
השאלה הראשונה היא פשוטה: כמה טעויות יש בתהליך הזה עכשיו? בלי המספר הזה אין דרך לדעת אם המערכת החדשה שיפרה או החמירה, ומה שיכריע בסוף זו התחושה בחדר — והיא מגיבה חזק במיוחד לטעות של מכונה, ובקושי לטעות של בן אדם.
הבדיקה עצמה לא מסובכת. לוקחים מדגם של פלטים מהתהליך כפי שהוא היום, סופרים כמה מהם שגויים, מריצים את אותו מדגם דרך הסוכן וסופרים שוב. שני המספרים האלה שווים יותר מכל דיון תיאורטי על הזיות.
בדרך כלל החלק הקשה הוא לא ההרצה אלא ההסכמה מראש מה נחשב טעות. ברגע שמנסחים את זה, מגלים לא פעם שגם התהליך הידני לא עומד בהגדרה שכתבתם, ושחלק ממה שקראתם לו "מדויק" הוא בעצם החלטה של מישהו שאף פעם לא נבדקה.
איפה הטיעון הזה נגמר
אני לא רוצה למכור את זה כהיתר גורף. אחוז טעויות זהה הוא לא אותו סיכון כשהנפח משתנה. נניח בן אדם שטועה באחוז מתוך שלושים פעולות ביום, מול מערכת שטועה באחוז מתוך שלושת אלפים — שני עולמות שונים לגמרי, גם אם הטבלה מראה את אותו מספר.
וגם: בסיפור הזה אף אחד לא הסתפק בשיפור אחד. הידית לא ביטלה את הצורך בצפצפות. אז השאלה המעניינת בהטמעה היא לא רק אם הסוכן טוב מהבן אדם, אלא מה הצפצפה ומה הנורה האדומה בתהליך שלכם — איפה בדיוק נעצרת פעולה שגויה לפני שהיא נוגעת בקרקע.
בדרך כלל זה משעמם: אישור אנושי לפני שליחה, הצלבה של סכום מול מקור שני, לוג שמישהו באמת קורא. שום דבר מזה לא זוהר — וגם צפצפה ונורה אדומה הן לא. הן פשוט עומדות בדרך.
הלקח
כשמישהו אומר לכם שתהליך חייב להיות מושלם, הוא מתאר משאלה ולא את המצב הקיים. בתעופה לקחו בעיה בינארית שהמחיר של טעות בה גבוה מאוד, שמו עליה שלוש שכבות בערוצים שונים, ועדיין נוחתים שם לפעמים על הגחון. לתהליך שלכם מותר לשאוף לפחות מזה.
שווה לומר גם את הקריאה ההפוכה. אם התהליך שלכם באמת לא סובל אף טעות, השאלה היא לא איזה מודל לבחור, אלא למה היום בן אדם אחד מחליט שם לבד בלי שום דבר שעומד מאחוריו.
הפוסט המקורי נגמר בשאלה: מצליחים למצוא את ידית הגלגלים? מי שרוצה לראות איך המדידה הזאת נראית בפועל — למדוד את התהליך הידני לפני, ואז להשוות — כתבתי איך אני עובד.