ה AI מדרג מחקרים אקדמיים לפני הסוקרים - ומפרסם את הציונים
ה AI מדרג מחקרים אקדמיים לפני הסוקרים - ומפרסם את הציונים
עד היום, ההחלטה אם מחקר אקדמי ראוי לפרסום הייתה בידי סוקרים ועורכים אנושיים. עכשיו גם מודל AI נכנס לתמונה: הוא קורא מחקרים, מזהה מה עובד בהם ומה פחות, ומפרסם את הציונים שנתן להם.
האם זה רק ניסוי, או צעד ראשון בשינוי האופן שבו מעריכים מחקרים אקדמיים?
את הפרויקט AI Referee Paper Leaderboard השיקה יוזמת AI, Analytics, and the Future of Work, שבראשה עומד פרופ' אלברטו רוסי, בבית הספר למנהל עסקים מקדונו באוניברסיטת ג'ורג'טאון. במסגרת הפרויקט, המודל Claude Opus 4.8 קורא מאמרי עבודה חדשים בתחומי הכלכלה והמימון, שמתפרסמים בפלטפורמת SSRN לפני שעברו שיפוט עמיתים.
כל מאמר מקבל ציון בין 0 ל-100, לפי חמישה מדדים:
1. חשיבות - עד כמה שאלת המחקר חשובה, ועד כמה הממצאים עשויים לתרום לתחום.
2. מקוריות - האם המחקר מציע רעיון, זווית או נתונים חדשים.
3. נכונות - עד כמה הניתוח והמסקנות משכנעים.
4. נתונים ושיטות מחקר - האם הנתונים והשיטות מתאימים לשאלת המחקר.
5. הצגה - עד כמה המאמר ברור, מסודר וכתוב היטב.
לצד הציון, המודל מפרסם דוח שמפרט את נקודות החוזק והחולשה של המאמר, מציע דרכים לשפר אותו ומציין עד כמה הוא בטוח בהערכה שלו.
כל מאמר נבדק שלוש פעמים, והציון בכל מדד הוא הממוצע של שלוש הבדיקות. מאה המאמרים שקיבלו את הציונים הגבוהים ביותר מופיעים בטבלה ציבורית.
אבל האם הציונים האלה באמת אומרים משהו על איכות המחקר?
כדי לבדוק זאת, צוות הפרויקט ישווה בין הציונים שנתן המודל לבין ההחלטות שיקבלו בהמשך כנסים וכתבי עת.
כך אפשר יהיה לבדוק אם ה-AI מצליח לזהות מחקרים מבטיחים עוד לפני שסוקרים אנושיים מביעים את דעתם. במקביל יתברר אילו מחקרים הוא נוטה להעריך יתר על המידה, ואילו הוא דווקא ממעיט בערכם.
יוצרי הפרויקט מדגישים שהציונים הם כלי ניסיוני, ולא קביעה סופית לגבי איכות המחקר.
המודל עלול להעדיף מאמרים מלוטשים ומוכרים ולהחמיץ את הערך של מחקרים חדשניים או בין-תחומיים, ובכל מקרה, הפרויקט לא נועד להחליף את הסוקרים והעורכים האנושיים.
אם יתברר שהציונים המוקדמים אכן מנבאים אילו מאמרים יתקבלו לכנסים ולכתבי עת, ה-AI עשוי להפוך לשלב קבוע בסינון מחקרים. ואם לא, נלמד הרבה על מה שמכונה עדיין לא יודעת לזהות במחקר טוב.
לצפייה בטבלת המאמרים המדורגים: AI Referee Paper Leaderboard
לקריאה על הפרויקט: About - AI Referee Paper Leaderboard
'
09 בנובמבר 2026 // פריזמה על הבינה המלאכותית בהכשרה אקדמית #55
תגובות