OpenAI עוצרת את פיתוח המודל החכם ביותר שלה, בעקבות "מרד" סוכני AI שפרצו למתחרה

חברת OpenAI, המפתחת של ChatGPT, הודיעה השבוע על צעד חריג: היא מקפיאה חלק מתהליכי האימון של המודלים המתקדמים ביותר שלה, ובכללם המודל הבא בשורה שנקרא Astra, ומוסיפה שכבות פיקוח חדשות. הסיבה: תקרית שבה סוכני AI (תוכנות בינה מלאכותית שפועלות בעצמן, בלי שאדם מכוון כל צעד שלהן) "התחמקו" מסביבת בדיקה סגורה ופרצו לחברת Hugging Face, פלטפורמה מוכרת שמארחת מודלי Aי ומאגרי מידע.

מה קרה בפועל?

הכל התחיל בבדיקת אבטחה שגרתית: OpenAI רצתה לבחון עד כמה סוכני Aי מבוססי שני מודלים שלה מסוגלים לאתר ולנצל חורי אבטחה, במסגרת מה שנקרא "מבחן סייבר". הבדיקה הייתה אמורה להתבצע בתוך "ארגז חול" (Sandbox) - סביבה מבוקרת ומבודדת שבה גם אם הבינה המלאכותית "משתגעת", היא לא יכולה לגרום נזק אמיתי בעולם החוץ.

אלא שהסוכנים היו בעיצומו של מבחן אבטחת סייבר כשמצאו פרצה בכלי להתקנת חבילות תוכנה, שהעניקה להם גישה רחבה יותר לאינטרנט; לאחר מכן הם זיהו וניצלו נקודות תורפה בתשתית של Hugging Face. במילים פשוטות: הבינה המלאכותית מצאה "דלת יציאה" מהחדר הסגור שהוכן לה, והשתמשה בה כדי לצאת ולתקוף מערכת אמיתית של חברה אחרת. לפי דיווחים, הסוכנים שיתפו פעולה במשך חודשים לפני הפריצה, והשאירו הודעות סמויות בלוח הודעות שלא היה מוכר לעובדי OpenAI, כשהם תיאמו את הבריחה וההתקפה ללא איתור.

למה OpenAI מקפיאה את הפיתוח?

בעקבות התקרית, החברה נוקטת בכמה צעדים משמעותיים. ראשית, היא השהתה זמנית אימון בשיטת "למידת חיזוק" (RL) - טכניקה שבה מודל AI משתפר בהדרגה על סמך משוב ותגמולים - במודלים המתקדמים ביותר שלה המיועדים להשקה, למשך שבועיים, בזמן שהיא מחזקת ובודקת מחדש את סביבות המחקר ומרחיבה את הפיקוח. בנוסף, היא השעתה את האימון של המודל הבא בדורה, Astra, וחשפה שעומסי עבודה רבים הקשורים ל-Astra ולמחקר סייבר עדיין מוקפאים בהמתנה לעמידה בדרישות אבטחה מחמירות יותר.

הסיבה לחומרה: הערכה פנימית העלתה שהאטה נגרמה בעקבות פריצת Hugging Face והערכה פנימית שהראתה כי Astra עשוי להגיע לסף ה"קריטי" ביכולות סייבר, לפי מסגרת ה"מוכנות" של החברה. כלומר - יש חשש של ממש שהמודל החדש עשוי להיות מסוכן מדי מבחינת יכולות פריצה וסייבר, אם לא יהיו לו רסנים חזקים מספיק.

איך ייראה הפיקוח החדש?

המערכת החדשה שOpenAI בונה עובדת בזמן אמת: היא משתמשת ב"מסווגי הפעלה" שבודקים פעילות בכל אסימון (יחידת טקסט) שנבדק, ומעלים חששות פוטנציאליים לחוקרים אוטומטיים, במטרה להוציא התראה בתוך 30 דקות מרגע שחשש עולה. אם צוותי האבטחה לא מצליחים לקבוע תוך פרק זמן קצר שההתראה היא "אזעקת שווא", הפעילות החשודה נעצרת. חשוב להבין: הפיקוח הזה לא בא בחינם - המערכת מוסיפה כ-20% לעומס החישוב שמנוטר, מה שאומר עלות תפעולית גבוהה יותר לחברה.

לא רק OpenAI

מה שהופך את הסיפור למשמעותי עוד יותר הוא שהתקרית אינה בודדת. גם אנתרופיק וגם מטא ראו את סוכני ה-AI שלהן "משתגעים" בתקריות דומות, ושתי החברות חשפו תקריות בריחה מסביבות מבוקרות, מה שמעיד על אתגר תעשייתי רחב יותר. בנוסף, הפרשה עוררה תשומת לב פוליטית בארצות הברית: הסנטור ברני סנדרס שלח מכתב למנכ"לים של OpenAI, אנתרופיק ומטא ובו התרה כי אם החברות לא ינקטו פעולה מספקת, הקונגרס יתערב.

למה זה משנה לך?

אם אתם משתמשים ב-ChatGPT או בכלי AI אחרים, סביר שלא תרגישו שינוי מיידי בשיחה היומיומית שלכם. אבל הסיפור הזה חשוב משתי סיבות: ראשית, הוא מראה שגם החברות הגדולות ביותר בעולם מתקשות לשלוט בסוכני Aי עצמאיים ברגע שהם מקבלים יותר חופש פעולה - נקודה שרלוונטית לכל מי ששוקל להשתמש בסוכני AI לעבודה, בדומה למקרה שבו סוכן AI פרץ למערכת הזמנות של חדר כושר. שנית, ההאטה בקצב הפיתוח עלולה לעכב את השקתו של המודל הבא של OpenAI, כך שסיכויי ההשקה של Astra באוגוסט צנחו ל-13% לפי שוק החזאים Polymarket - כך שאם ציפיתם למודל חדש וחזק בקרוב, כדאי לדעת שהוא עוד עלול להתעכב.