בינה והמכונה: מבחן קוגניטיבי למודלים של בינה מלאכותית

במאמר בעל הכותרת המסקרנת "Age Against the Machine" שפורסם לאחרונה בכתב העת  BMJ, העלו החוקרים הישראלים רועי דיין ובנימין אוליאל (הדסה והאונ' העברית) וגל קופלביץ (אונ' ת"א) – את השאלה מה יקרה אם ננסה להעביר מודלים של בינה מלאכותית מבחן קוגניטיבי?

המניע מאחורי השאלה נובע מהפרסומים ההולכים וגדלים שבודקים כיצד  מודלים של AI יוכלו להחליף צוות רפואי במגוון תפקידים. אם מכונות יחליפו אנשים, נטען במאמר, מדוע שמכונות לא יבדקו בכלים המעריכים בינה אנושית. לשם כך הם פנו לאחד המבחנים המקובלים לבדיקת הדרדרות קוגניטבית – MOCA (בו נבחן גם ג'ו ביידן לאחרונה, כאשר נאבק בטענות להדרדרותו המנטלית) . "בהינתן שנראה שבינה מלאכותית ערוכה להחליף רופאים לפני שהיא תחליף את מנהיג העולם החופשי, מוטלת עלינו כאנשי מקצוע החובה להעריך את מגבלותיה, ולא רק את הפוטנציאל שלה" הם מעירים. כיוון שאם המודלים אכן יחליפו צוות רפואי, יש צורך לפתח שיטות להערכת הסיכונים הנובעים ממידע רפואי מוטעה שמקורו במודלי שפה גדולים ואת יעילות אמצעי ההגנה במניעת מידע מוטעה כזה.

בניסוי שערכו הם בחנו צ'אטבוטים פופולרים כגון ChatGPT, קלוד וג'מיני, ובאמצעות הנחיות טקסטואלית העבירו אותם סדרה של מבחני קוגניציה מקובלים. ChatGPT 4o השיג את הציון הגבוה ביותר, אם כי כל מודלי השפה הגדולים הראו ביצועים חלשים במטלות ויזואליות-מרחביות/ניהוליות.

מסקנות המאמר: למעט ChatGPT 4o, כמעט כל מודלי השפה הגדולים שנבחנו במבחן MoCA הראו סימנים של ירידה קוגניטיבית קלה. יתר על כן, כמו בבני אדם, גיל הוא גורם מפתח בירידה קוגניטיבית: צ'אטבוטים "מבוגרים" יותר הראו ביצועים טובים פחות במבחן MoCA. לפיכך, טוען המאמר, ממצאים אלה מאתגרים את ההנחה שבינה מלאכותית תחליף בקרוב רופאים אנושיים, שכן הירידה הקוגניטיבית הניכרת של הבינה המלאכותית עשויה להשפיע על אמינותם באבחון רפואי ולערער את אמון המטופלים.

למאמר המלא: https://www.bmj.com/content/387/bmj-2024-081948