מה למדנו כשמדדנו את קורא תמונות הסודוקו שלנו

עודכן ב־5 בנובמבר 2026

מה נחשב לקריאה נכונה

חידה נקראה נכון רק אם כל 81 המשבצות נכונות: ספרה שגויה אחת יוצרת חידה אחרת. לכן אנחנו סופרים חידות שלמות, לא משבצות. שני המדדים יכולים לספר סיפורים שונים מאוד, כפי שהעמוד הזה מראה: בתמונות של חידות מודפסות הקורא מזהה כעת נכון 98.9% מהמשבצות, ובכל זאת שיעור החידות השלמות כמעט לא זז, משום שרוב המשבצות השגויות מרוכזות בכמה תמונות קשות.

אנחנו סופרים גם את הטעות המסוכנת ביותר: חידה שנקראה באופן שגוי ועדיין יש לה פתרון אחד בדיוק. לסודוקו אמיתי יש פתרון אחד, ולכן קריאה שאין לה אף פתרון או שיש לה פתרונות רבים נתפסת מיד. חידה שגויה עם פתרון אחד נראית תקינה, ולכן הפותר מסמן כל משבצת שלא היה בטוח בה ומבקש מכם להשוות אותן לחידה שלכם לפני הפתרון.

עם 200 תמונות, הדיוק של תוצאה מוגבל. לתוצאות העיקריות אנחנו נותנים טווח של 95% (רווח סמך של וילסון (Wilson)): 89.5% מתוך 200 תמונות פירושו שהשיעור האמיתי נמצא ככל הנראה בין 84.5% ל-93.0%.

התמונות שעליהן בדקנו

התחלנו משני מאגרי נתונים פתוחים. מאגר Sudoku Image Recognition של Lexski (CC0) כולל 1,400 תמונות, רובן צילומי מסך ותמונות ששיתפו אנשים באינטרנט: אפליקציות בכל סגנון, ערכות נושא כהות, סימוני עיפרון, חידות שנפתרו למחצה על נייר. המאגר של Baptiste Wicht ו-Jean Hennebert (CC BY 4.0) כולל סודוקו מעיתונים שצולמו בטלפונים, חלקן הושלמו ביד בעט.

לפני ששינינו דבר, הפרדנו שלוש קבוצות מבחן: 200 תמונות של Lexski, 40 תמונות של עיתונים ו-40 חידות עיתון שהושלמו ביד. לא אימנו עליהן ולא הסתכלנו בהן במהלך העבודה. כל החלטה התקבלה על סמך 200 תמונות אחרות של Lexski, קבוצת הכוונון, וקבוצות המבחן נקראו פעם אחת, בסוף.

נקודת ההתחלה

הגרסה הראשונה, מ-31 באוקטובר, קראה במדויק 101 מתוך 200 תמונות Lexski, 34 מתוך 40 תמונות העיתון ואף אחת מתוך 40 החידות שהושלמו ביד. רוב הקשיים שלה התחילו עוד לפני הספרות. היא התייחסה לצורת הדיו הגדולה ביותר שדומה לריבוע כאל הלוח, ובצילום מסך הצורה הזו כוללת לעיתים קרובות כותרת עליונה או את מקלדת המספרים, בעוד שהקווים האפורים הדקים של ערכת נושא כהה מוחמצים לגמרי. בקבוצת הכוונון היא מיקמה את הרשת במקום הנכון רק 118 פעמים מתוך 200.

מה שינינו, צעד אחר צעד

כל שורה היא שינוי אחד, והמספר מציין כמה מתוך 200 תמונות הכוונון נקראו אז במדויק. שלוש השורות האחרונות הן הסבב השני.

רוב השיפור הגיע משלושה שינויים. הרשת מאותרת כעת לפי הקווים שלה: כל ניחוש של מיקום הלוח מוזז אל עשרה קווים במרווחים שווים בכל כיוון, הניחושים נבחנים זה לצד זה, ורשת נוירונים קטנה שממפה היכן נמצא הלוח מקבלת קול בהחלטה. כל משבצת נחתכת בשלמותה, כך שסימון עיפרון נשאר קטן בפינה שלו וספרה בהירה על אריח כהה נראית כמו דיו על נייר. ורשתות הנוירונים לזיהוי ספרות למדו ממשבצות אמיתיות שנחתכו מתמונות האימון של Lexski, כשסימוני עיפרון הם מחלקה בפני עצמה. שלוש רשתות נוירונים קטנות, שאומנו בנפרד, קוראות כעת כל משבצת, ומחושב ממוצע של התשובות שלהן, משום שהן טועות במשבצות שונות.

חידה שהושלמה מקבלת עזרה נוספת. כשהלוח מכיל 79 ספרות או יותר, הקורא מחפש את הרשת המלאה הסבירה ביותר שבה כל שורה, עמודה וריבוע מכילים את 1 עד 9. בקריאה משבצת אחר משבצת, רק 7 מתוך 40 חידות המבחן שנכתבו ביד יצאו מדויקות; בקריאה כסודוקו שהושלם, כל ה-40 יצאו מדויקות.

הסבב השני הוסיף שלושה שינויים קטנים יותר. תמונת טלפון בגודל מלא מוקטנת לחצי שלב אחר שלב לפני שהיא מכווצת, כך שקווים דקים ומשיכות עיפרון נכללים בממוצע במקום שידלגו עליהם. משבצת שהדיו בה גם נמוך בהרבה וגם חיוור בהרבה מהספרות הוודאיות של הלוח מטופלת כסימון עיפרון סביר. וזווית הסיבוב של תמונה שצולמה הצידה נשפטת על ידי כל שלוש רשתות הנוירונים במקום על ידי אחת.

מה לא עזר

גם את אלה מדדנו על קבוצת הכוונון, והשארנו אותם בחוץ:

• רשת נוירונים גדולה יותר לספרות: עם 59,000 משקלים במקום 42,000 היא קראה במדויק תמונת כוונון אחת נוספת ורצה בדפדפן לאט פי 3.8.
• 3,000 צילומי מסך מחוללים של אפליקציות עם סימוני עיפרון וערכות נושא כהות: אותה תוצאה איתם ובלעדיהם.
• קריאה בצבע במקום בגווני אפור, כך שעט אדום כהה כמו דיו שחור: שתי תמונות כוונון נוספות, אבל כתב היד נקרא גרוע יותר.
• עיוות ספרות האימון כדי שייראו יותר ככתב יד: כתב היד נקרא גרוע יותר.
• מתן אפשרות לכלל הפתרון היחיד לשנות יותר משבצות: יותר חידות נקראו נכון, אבל גם יותר מהחידות השגויות המסוכנות שיש להן פתרון אחד.
• אימון מחדש של שלוש רשתות הנוירונים על נתונים חדשים, או שימוש בארבע או בשש רשתות: בתוך טווח הרעש, ולכן הראשונות נשארו.
• התייחסות לשולי התמונה כאל שולי הלוח, עבור לוחות שנחתכו בקצה התמונה: מספר התמונות שאבדו היה שווה למספר התמונות שנוספו.

התוצאות על קבוצות המבחן הראשונות

חידות שנקראו במדויק בכל קבוצת מבחן, בגרסה הראשונה ובקורא כפי שהוא היום:

בתמונות Lexski הקורא עלה מ-50.5% ל-89.5% (84.5% עד 93.0%), ומספר החידות שנקראו באופן שגוי ובכל זאת יש להן פתרון אחד ירד מ-7 ל-4. בשלוש מתוך הארבע, הספרה העודפת היחידה היא הספרה ששייכת לאותו מקום, כך שהחידה עדיין מובילה לפתרון הנכון; ברביעית מדובר ב-1 מודפס בבירור שהמאגר משאיר ריק. 177 מתוך 179 הושגו בסוף הסבב הראשון. השתיים האחרונות הושגו בסבב השני, אחרי שבחנו מה נכשל, ולכן זו כבר אינה קבוצה שלא נגעו בה.

ארבעים מתוך ארבעים נשמע מושלם, אבל 40 תמונות יכולות להראות רק שהשיעור האמיתי גבוה מכ-91%. ובדיקה שהיינו צריכים להריץ קודם: ארבע מתוך 40 תמונות העיתון שבמבחן נמצאות גם בקבוצת האימון של אותו מאגר, שתיים מהן זהות פיקסל לפיקסל. בלעדיהן, 36 מתוך 36.

מבחן חדש: 200 תמונות שאף גרסה לא ראתה

עד אז קבוצות המבחן הראשונות כבר נקראו והכישלונות בהן נבחנו, ולכן הן כבר לא יכלו לומר לנו איך הקורא מתפקד על תמונות שמעולם לא פגש. חיפשנו ב-Hugging Face, Kaggle, GitHub, Zenodo, Figshare ו-AIcrowd תמונות סודוקו מתויגות נוספות. רוב המאגרים היו לוחות מחוללים, ספרות בודדות או עותקים של התמונות של Wicht. בשלושה אוספים ב-GitHub היו תמונות אמיתיות מתויגות, כולן של חידות מודפסות: 100 תמונות של ספר חידות פתוח (NatalijaPetric/SudokuDataset), 80 תמונות, רובן של עיתונים (mineshpatel1/sudoku-solver, לאחר שהוצאנו 49 שהן התמונות של Wicht עצמו ועותק אחד), ו-20 דפים מודפסים מפרויקט בקורס ראייה ממוחשבת באוניברסיטת בוקרשט (danielsociu/SudokuRecognition).

אף אחד מהשלושה אינו מציין רישיון, ולכן השתמשנו בהם רק למדידה: אף פעם לא לאימון, והם אינם מוצגים כאן. רשימת התמונות נקבעה ונשמרה לפני כל שינוי, ונבחרה לפי כלל מתוך ערכי הגיבוב (hash) של הקבצים ומתוך התוויות, והתמונות לא נפתחו עד השינוי האחרון של הסבב השני. אז כל גרסה של הקורא קראה אותן פעם אחת. הטבלה סופרת את החידות שנקראו במדויק.

בחידות מודפסות שהקורא מעולם לא ראה, כל העבודה של שני הסבבים שינתה מעט. הגרסה הראשונה קראה 82.0% מהן במדויק, והנוכחית 83.5% (77.7% עד 88.0%): היא הרוויחה 14 חידות והפסידה 11. מה שכן השתפר הוא המשבצות: 98.9% נקראות נכון במקום 94.2%, והרשת מאותרת בכל תמונה במקום ב-195 מתוך 200. חידות שנקראו באופן שגוי ובכל זאת יש להן פתרון אחד: 5 אז, 6 עכשיו.

להפסדים יש סיבה ברורה. כדי לקרוא סימוני עיפרון וערכות נושא כהות, כל משבצת נחתכת כעת בשלמותה, וגם דיו חיוור נלקח בחשבון. בנייר עיתון דק הצד השני של הדף נראה דרכו, חיוור והפוך כבמראה, והקורא החדש קורא את הצללים האלה כספרות; הגרסה הראשונה הסתכלה רק על צורת הדיו הגדולה ביותר במשבצת ומעולם לא ראתה אותם. בדפי ספר מעוקלים, הקו החיצוני של הלוח או קו של ריבוע יכול ליפול בתוך משבצת ולהיקרא כ-1.

שתיים מההחטאות הן טעויות בתוויות: התמונה מציגה 3 ו-9 במקום שבו התווית אומרת 9 ו-8, ו-4 במקום שבו היא אומרת 2. אם סופרים אותן נכון, הקורא הנוכחי קורא 84.5%.

מה עדיין משתבש

מתוך 200 התמונות החדשות, 33 לא נקראו במדויק. 22 מהן הן דפים מספר החידות הפתוח: ליד השדרה הדף מתעקל יותר ממה שהקורא מצליח לעקוב, כך שקו נופל בתוך משבצת ונקרא כ-1, או שמשבצת פינתית נחתכת לרוחב קו. 7 הן עיתונים שהצד השני של הדף נראה דרכם. השאר הם תמונה של מסך עם תבנית מוארה, שולי לוח שנקראו כ-1, ושתי טעויות התוויות.

מתוך 200 תמונות Lexski, 21 לא נקראו במדויק: סימוני עיפרון שנקראו כספרות, כולל עיפרון שנמחק והשאיר אחריו ספרות חיוורות (7); ספרה עודפת אחת, לרוב סימון עיפרון בודד שנקרא כספרה שהוזנה (5); רשת במקום הלא נכון או רשת שלא אותרה, בערכות נושא של אפליקציות ללא קווים בין המשבצות או ברשת שצוירה ביד (5); ואריחים וצבעים לא שגרתיים (4).

למה לא 97%, ומה הלאה

הכול רץ בדפדפן שלכם: מודל בגודל 224 קילובייט וכ-850 שורות JavaScript, חציון של כ-300 מילישניות לתמונה במחשב נייד, וכ-1.2 שניות כשהמעבד מואט פי ארבעה, כמו בטלפון איטי. רשת נוירונים גדולה יותר לא עזרה במסגרת התקציב הזה. מה שנותר הוא זנב ארוך: דפים מעוקלים, צד שני של הדף שנראה דרכו, סימוני עיפרון וסגנונות אפליקציה לא שגרתיים. כל מאגר ציבורי מתויג שמצאנו כבר נוצל או נצפה, ולכן הסבב הבא דורש תמונות שנצלם ונתייג בעצמנו, שעליהן נתקן ונמדוד את בעיות הדיו החיוור והדפים המעוקלים.

לסריקה הטובה ביותר

• החזיקו את הטלפון ישר מעל החידה, כשכל הרשת בתוך המסגרת.
• יישרו ספר או עיתון: דפים מעוקלים גורמים לרוב ההחטאות בחידות מודפסות.
• בנייר עיתון דק, הניחו דף נייר חלק מאחורי הדף כדי שהצד השני לא ייראה דרכו.
• סרקו לפני שאתם כותבים סימוני עיפרון בחידה.
• לפני הפתרון, השוו את המשבצות שהפותר מסמן לחידה שלכם.

נתונים ומקורות

• Lexski, Sudoku Image Recognition (Hugging Face), CC0 1.0
• Wicht, B. and Hennebert, J., Sudoku dataset (GitHub), CC BY 4.0; "Camera-based Sudoku recognition with deep belief network", SoCPaR 2014
• NatalijaPetric, SudokuDataset (GitHub), לא צוין רישיון, שימש למדידה בלבד
• mineshpatel1, sudoku-solver (GitHub), לא צוין רישיון, שימש למדידה בלבד
• danielsociu, SudokuRecognition (GitHub), University of Bucharest course project, לא צוין רישיון, שימש למדידה בלבד
• איך הפותר קורא תמונה, צעד אחר צעד (English)

נסו את הפותר →