אם פלטפורמת AI יכולה להשיב נכון על שאלות בחינת הלשכה בישראל, זהו הישג משמעותי. אבל כדי שהיא תהיה רלוונטית לעבודה משפטית בפועל, השאלה החשובה יותר היא לא רק אם ה-AI יכול להגיע לתשובה הנכונה – אלא אם הוא יכול להראות את דרך החשיבה שלו, לבסס את התשובה על המקורות הנכונים ולהפוך את תהליך האימות למהיר ופשוט מספיק עבור המשתמש (למאמר המלא).
בדקנו כיצד כלי AI מובילים מתמודדים עם שאלות מבחינות הלשכה בישראל. התוצאות היו מרשימות – אך הן גם הדגישו הבחנה חשובה בין מתן תשובה נכונה לבין היכולת של הכלי להיות שימושי לעבודה משפטית בפועל.
ערכנו את הבדיקה כחלק מתהליך הפיתוח של פיצ'ר המאגר המשפטי החדש של Lizzy AI, במטרה להעריך כלים שונים לקראת ההשקה. ראינו בכך גם הזדמנות לתרום לדיון המקצועי והאקדמי הרחב יותר על השפעת ה-AI על העולם המשפטי.
שאלות אמריקאיות בבחינות הלשכה בישראל הן מקרה בוחן טוב מכמה סיבות. הן דורשות חשיבה לוגית, זיהוי מדויק של הדין הרלוונטי, אינטגרציה בין תחומי משפט שונים, יישום של כללים משפטיים על עובדות, תשומת לב לחריגים ולמקרי קצה, ובחירה של התשובה הטובה ביותר מתוך ארבע אפשרויות – דבר שמחייב רמת דיוק גבוהה מאוד. במובן הזה, בחינות הלשכה מציעות דרך יעילה להעריך את יכולות החשיבה והמחקר של כלי AI.
הממצאים מצביעים על רמת ביצועים גבוהה. בבדיקה זו, כל הכלים השיגו תוצאות מספקות, ורובם הגיעו לשיעורי הצלחה גבוהים במיוחד. במועד האחרון של בחינות הלשכה, שנערך ביוני 2026, השיגו ChatGPT, LawMate ונבו AI למעלה מ-90% הצלחה.
התוצאות מאתגרות הנחה נפוצה שלפיה היכולת של כלי לספק תשובות משפטיות נכונות נובעת בהכרח מכך שיש לו מאגר מידע משפטי פנימי רחב. לצד זאת, היכולת להשיב נכון אינה מספיקה כדי להפוך כלי לשימושי בפועל בעבודה משפטית. בפרקטיקה המשפטית, איכות הניתוח, מהימנות המקורות ויכולתו של המשתמש לאמת את הבסיס המשפטי של התשובה – כולן קריטיות.
ChatGPT, כמו מודלי שפה גדולים אחרים, יכול לספק מקורות כאשר הוא מתבקש לכך, אך הוא לא מבצע בקרת איכות על אותם מקורות. במקרים מסוימים, הוא עשוי להסתמך על חומרים שאינם נחשבים מקובלים למחקר משפטי או לייעוץ משפטי, כגון בלוגים או פרסומים פרטיים ברשת, בניגוד לפסיקה, לחקיקה או לספרות משפטית. בנוסף, ChatGPT בדרך כלל מספק הפניה כללית בלבד, ולא ציטוט מדויק בתוך ההקשר המלא של המקור, כך שתהליך האימות עבור המשתמש איטי ומסורבל.
כלי ה-AI המשפטי האידיאלי הוא לא רק כלי שנותן את התשובה המשפטית הנכונה, או כזה שיש לו את מאגר המידע הרחב ביותר. זהו כלי שמאזן בין מאגר משפטי לבין סוכן חיפוש איכותי, עם יכולת לבצע ניתוח מעמיק ומחקר אונליין, ועם יכולת לתת למשתמשים דרך מהירה ויעילה לאמת את המקור המשפטי שעליו מבוססת התשובה. זה בדיוק מה ש-Lizzy שואפת לספק באמצעות פיצ'ר המאגר המשפטי החדש שלה – הישארו מעודכנים!