Τι μάθαμε μετρώντας τον αναγνώστη φωτογραφιών Sudoku μας

Ενημερώθηκε: 5 Νοεμβρίου 2026

Τι μετράει ως σωστή ανάγνωση

Ένας γρίφος έχει διαβαστεί σωστά μόνο αν είναι σωστά και τα 81 κελιά: ένα λάθος ψηφίο δίνει διαφορετικό γρίφο. Γι' αυτό μετράμε ολόκληρους γρίφους, όχι κελιά. Τα δύο μπορεί να λένε πολύ διαφορετικές ιστορίες, όπως δείχνει αυτή η σελίδα: στις φωτογραφίες έντυπων γρίφων ο αναγνώστης διαβάζει πλέον σωστά το 98,9% των κελιών, όμως το ποσοστό των ολόκληρων γρίφων σχεδόν δεν άλλαξε, επειδή τα περισσότερα λάθος κελιά βρίσκονται σε λίγες δύσκολες εικόνες.

Μετράμε επίσης το πιο επικίνδυνο λάθος: έναν γρίφο που διαβάστηκε λάθος αλλά εξακολουθεί να έχει ακριβώς μία λύση. Ένα πραγματικό Sudoku έχει μία λύση, οπότε μια ανάγνωση χωρίς καμία λύση ή με πολλές εντοπίζεται αμέσως. Ένας λάθος γρίφος με μία λύση φαίνεται εντάξει, και γι' αυτό ο λύτης σημειώνει κάθε κελί για το οποίο δεν ήταν σίγουρος και σας ζητά να τα συγκρίνετε με τον γρίφο σας πριν από την επίλυση.

Με 200 εικόνες, ένα αποτέλεσμα έχει περιορισμένη ακρίβεια. Για τα κύρια αποτελέσματα δίνουμε ένα εύρος 95% (διάστημα Wilson): 89,5% σε 200 εικόνες σημαίνει ότι το πραγματικό ποσοστό είναι πιθανότατα μεταξύ 84,5% και 93,0%.

Οι εικόνες στις οποίες κάναμε τις δοκιμές

Ξεκινήσαμε με δύο ανοιχτά σύνολα δεδομένων. Το σύνολο δεδομένων Sudoku Image Recognition του Lexski (CC0) έχει 1.400 εικόνες, οι περισσότερες από τις οποίες είναι στιγμιότυπα οθόνης και φωτογραφίες που μοιράστηκαν άνθρωποι στο διαδίκτυο: εφαρμογές κάθε στυλ, σκούρα θέματα, σημειώσεις μολυβιού, γρίφοι μισολυμένοι στο χαρτί. Το σύνολο δεδομένων των Baptiste Wicht και Jean Hennebert (CC BY 4.0) περιέχει Sudoku εφημερίδων φωτογραφημένα με κινητά τηλέφωνα, μερικά από αυτά συμπληρωμένα με το χέρι με στυλό.

Πριν αλλάξουμε οτιδήποτε, κρατήσαμε στην άκρη τρία σύνολα δοκιμής: 200 εικόνες του Lexski, 40 φωτογραφίες εφημερίδων και 40 γρίφους εφημερίδων συμπληρωμένους με το χέρι. Δεν εκπαιδεύσαμε σε αυτά ούτε τα κοιτάξαμε όσο δουλεύαμε. Κάθε απόφαση πάρθηκε με βάση 200 άλλες εικόνες του Lexski, το σύνολο ρύθμισης, και τα σύνολα δοκιμής διαβάστηκαν μία φορά, στο τέλος.

Από πού ξεκίνησε

Η πρώτη έκδοση, της 31ης Οκτωβρίου, διάβασε απολύτως σωστά 101 από τις 200 εικόνες του Lexski, 34 από τις 40 φωτογραφίες εφημερίδων και κανέναν από τους 40 συμπληρωμένους γρίφους. Τα περισσότερα προβλήματά της προέκυπταν πριν φτάσει στα ψηφία. Θεωρούσε ταμπλό το μεγαλύτερο σχεδόν τετράγωνο σχήμα από μελάνι, και σε ένα στιγμιότυπο οθόνης αυτό το σχήμα συχνά περιλαμβάνει μια κεφαλίδα ή το πληκτρολόγιο αριθμών, ενώ οι λεπτές γκρι γραμμές ενός σκούρου θέματος χάνονται εντελώς. Στο σύνολο ρύθμισης τοποθέτησε το πλέγμα στη σωστή θέση μόνο 118 φορές στις 200.

Τι αλλάξαμε, βήμα προς βήμα

Κάθε γραμμή του πίνακα είναι μία αλλαγή, και ο αριθμός δείχνει πόσες από τις 200 εικόνες ρύθμισης διαβάζονταν τότε απολύτως σωστά. Οι τρεις τελευταίες γραμμές είναι ο δεύτερος γύρος.

Το μεγαλύτερο μέρος της βελτίωσης ήρθε από τρεις αλλαγές. Το πλέγμα εντοπίζεται πλέον από τις γραμμές του: κάθε υπόθεση για το ταμπλό προσαρμόζεται πάνω σε δέκα ισαπέχουσες γραμμές σε κάθε κατεύθυνση και οι υποθέσεις κρίνονται η μία δίπλα στην άλλη, ενώ ψήφο έχει και ένα μικρό δίκτυο που χαρτογραφεί πού βρίσκεται ένα ταμπλό. Κάθε κελί κόβεται ολόκληρο, ώστε μια σημείωση μολυβιού να μένει μικρή στη γωνία του και ένα ανοιχτόχρωμο ψηφίο σε σκούρο πλακίδιο να μοιάζει με μελάνι σε χαρτί. Και τα δίκτυα ψηφίων έμαθαν από πραγματικά κελιά κομμένα από τις εικόνες εκπαίδευσης του Lexski, με τις σημειώσεις μολυβιού ως ξεχωριστή κατηγορία. Τρία μικρά δίκτυα, εκπαιδευμένα χωριστά, διαβάζουν πλέον κάθε κελί και βγαίνει ο μέσος όρος των απαντήσεών τους, επειδή κάνουν τα λάθη τους σε διαφορετικά κελιά.

Ένας συμπληρωμένος γρίφος έχει επιπλέον βοήθεια. Όταν ένα ταμπλό περιέχει 79 ψηφία ή περισσότερα, ο αναγνώστης αναζητά το πιθανότερο πλήρες πλέγμα στο οποίο κάθε γραμμή, στήλη και τετράγωνο περιέχει τα ψηφία 1 έως 9. Με ανάγνωση κελί προς κελί, μόνο 7 από τους 40 χειρόγραφους γρίφους δοκιμής βγήκαν απολύτως σωστοί· με ανάγνωση ως ολοκληρωμένο Sudoku, βγήκαν σωστοί και οι 40.

Ο δεύτερος γύρος πρόσθεσε τρεις μικρότερες αλλαγές. Μια φωτογραφία κινητού σε πλήρες μέγεθος υποδιπλασιάζεται βήμα βήμα πριν σμικρυνθεί, ώστε οι λεπτές γραμμές και οι μολυβιές να μετέχουν στον μέσο όρο αντί να παραλείπονται. Ένα κελί του οποίου το μελάνι είναι και πολύ πιο κοντό και πολύ πιο αχνό από τα σίγουρα ψηφία του ταμπλό αντιμετωπίζεται ως πιθανή σημείωση μολυβιού. Και η περιστροφή μιας φωτογραφίας που είναι στο πλάι κρίνεται και από τα τρία δίκτυα αντί για ένα.

Τι δεν βοήθησε

Μετρήσαμε κι αυτά στο σύνολο ρύθμισης και τα αφήσαμε έξω:

• Ένα μεγαλύτερο δίκτυο ψηφίων: 59.000 βάρη αντί για 42.000 διάβασαν μία ακόμη εικόνα ρύθμισης και έτρεχαν 3,8 φορές πιο αργά στο πρόγραμμα περιήγησης.
• 3.000 συνθετικά στιγμιότυπα οθόνης εφαρμογών με σημειώσεις μολυβιού και σκούρα θέματα: το ίδιο αποτέλεσμα με ή χωρίς αυτά.
• Ανάγνωση σε χρώμα αντί για γκρι, ώστε ένα κόκκινο στυλό να είναι τόσο σκούρο όσο το μαύρο μελάνι: δύο εικόνες ρύθμισης παραπάνω, αλλά τα χειρόγραφα διαβάζονταν χειρότερα.
• Παραμόρφωση των ψηφίων εκπαίδευσης ώστε να μοιάζουν περισσότερο με χειρόγραφα: τα χειρόγραφα διαβάζονταν χειρότερα.
• Να επιτρέπεται στον κανόνα της μίας λύσης να αλλάζει περισσότερα κελιά: περισσότεροι γρίφοι διαβάζονταν σωστά, αλλά και περισσότεροι από τους επικίνδυνους λάθος γρίφους με μία λύση.
• Επανεκπαίδευση των τριών δικτύων σε νέα δεδομένα ή χρήση τεσσάρων ή έξι δικτύων: μέσα στα όρια του θορύβου, οπότε κρατήθηκαν τα πρώτα.
• Αντιμετώπιση της άκρης της εικόνας ως άκρης του ταμπλό, για ταμπλό που κόβονται από το κάδρο: χάθηκαν τόσες εικόνες όσες κερδήθηκαν.

Αποτελέσματα στα πρώτα σύνολα δοκιμής

Γρίφοι που διαβάστηκαν απολύτως σωστά σε κάθε σύνολο δοκιμής, από την πρώτη έκδοση και από τον αναγνώστη όπως είναι σήμερα:

Στις εικόνες του Lexski ο αναγνώστης πήγε από 50,5% σε 89,5% (84,5% έως 93,0%), και οι γρίφοι που διαβάστηκαν λάθος αλλά με μία λύση έγιναν από 7 σε 4. Σε τρεις από αυτούς τους τέσσερις, το ένα επιπλέον ψηφίο είναι το ψηφίο που ανήκει σε εκείνη τη θέση, οπότε ο γρίφος οδηγεί και πάλι στη σωστή λύση· ο τέταρτος είναι ένα καθαρά τυπωμένο 1 που το σύνολο δεδομένων αφήνει κενό. Οι 177 από τους 179 ήρθαν στο τέλος του πρώτου γύρου. Οι δύο τελευταίοι ήρθαν στον δεύτερο γύρο, αφού είχαμε μελετήσει τι απέτυχε, οπότε αυτό το σύνολο δεν είναι πλέον ανέγγιχτο.

Σαράντα στους σαράντα ακούγεται τέλειο, αλλά 40 εικόνες μπορούν να δείξουν μόνο ότι το πραγματικό ποσοστό είναι πάνω από περίπου 91%. Και ένας έλεγχος που θα έπρεπε να είχαμε κάνει πρώτα: τέσσερις από τις 40 φωτογραφίες εφημερίδων του συνόλου δοκιμής βρίσκονται και στο σύνολο εκπαίδευσης εκείνου του συνόλου δεδομένων, δύο από αυτές πανομοιότυπες pixel προς pixel. Χωρίς αυτές, 36 στις 36.

Νέα δοκιμή: 200 φωτογραφίες που καμία έκδοση δεν είχε δει

Ως τότε, τα πρώτα σύνολα δοκιμής είχαν διαβαστεί και οι αποτυχίες τους είχαν μελετηθεί, οπότε δεν μπορούσαν πια να μας πουν πώς τα πάει ο αναγνώστης σε εικόνες που δεν έχει συναντήσει ποτέ. Ψάξαμε στα Hugging Face, Kaggle, GitHub, Zenodo, Figshare και AIcrowd για περισσότερες φωτογραφίες Sudoku με ετικέτες. Τα περισσότερα σύνολα ήταν συνθετικά ταμπλό, μεμονωμένα ψηφία ή αντίγραφα των φωτογραφιών του Wicht. Τρεις συλλογές στο GitHub είχαν πραγματικές φωτογραφίες με ετικέτες, όλες από έντυπους γρίφους: 100 φωτογραφίες ενός ανοιχτού βιβλίου γρίφων (NatalijaPetric/SudokuDataset), 80 φωτογραφίες κυρίως από εφημερίδες (mineshpatel1/sudoku-solver, αφού αφαιρέσαμε 49 που είναι φωτογραφίες του ίδιου του Wicht και ένα αντίγραφο) και 20 τυπωμένες σελίδες από μια εργασία μαθήματος υπολογιστικής όρασης του Πανεπιστημίου του Βουκουρεστίου (danielsociu/SudokuRecognition).

Κανένα από τα τρία δεν δηλώνει άδεια χρήσης, οπότε τα χρησιμοποιήσαμε μόνο για μέτρηση: ποτέ για εκπαίδευση, και δεν εμφανίζονται εδώ. Η λίστα των εικόνων ορίστηκε και αποθηκεύτηκε πριν από οποιαδήποτε αλλαγή, επιλεγμένη με κανόνα βάσει των hash των αρχείων και των ετικετών, και οι εικόνες δεν ανοίχτηκαν μέχρι την τελευταία αλλαγή του δεύτερου γύρου. Τότε κάθε έκδοση του αναγνώστη τις διάβασε μία φορά. Ο πίνακας μετρά τους γρίφους που διαβάστηκαν απολύτως σωστά.

Στους έντυπους γρίφους που ο αναγνώστης δεν είχε δει ποτέ, όλη η δουλειά και των δύο γύρων άλλαξε λίγα πράγματα. Η πρώτη έκδοση διάβασε απολύτως σωστά το 82,0% από αυτούς, η τρέχουσα το 83,5% (77,7% έως 88,0%): κέρδισε 14 γρίφους και έχασε 11. Αυτό που βελτιώθηκε είναι τα κελιά: διαβάζεται σωστά το 98,9% αντί για το 94,2%, και το πλέγμα εντοπίζεται σε κάθε φωτογραφία αντί για 195 στις 200. Γρίφοι που διαβάστηκαν λάθος αλλά με μία λύση: 5 τότε, 6 τώρα.

Οι απώλειες έχουν σαφή αιτία. Για να διαβάζονται οι σημειώσεις μολυβιού και τα σκούρα θέματα, κάθε κελί κόβεται πλέον ολόκληρο και το αχνό μελάνι μετράει. Στο λεπτό χαρτί εφημερίδας διακρίνεται η πίσω σελίδα, αχνή και κατοπτρική, και ο νέος αναγνώστης διαβάζει αυτές τις σκιές ως ψηφία· η πρώτη έκδοση κοίταζε μόνο το μεγαλύτερο σχήμα μελανιού σε ένα κελί και δεν τις έβλεπε ποτέ. Στις κυρτωμένες σελίδες βιβλίων, η εξωτερική γραμμή του ταμπλό ή μια γραμμή τετραγώνου μπορεί να πέσει μέσα σε ένα κελί και να διαβαστεί ως 1.

Δύο από τις αστοχίες είναι λάθη στις ετικέτες: η φωτογραφία δείχνει ένα 3 και ένα 9 εκεί όπου η ετικέτα λέει 9 και 8, και ένα 4 εκεί όπου λέει 2. Αν μετρηθούν σωστά, ο τρέχων αναγνώστης διαβάζει σωστά το 84,5%.

Τι εξακολουθεί να πηγαίνει στραβά

Από τις 200 νέες φωτογραφίες, οι 33 δεν διαβάστηκαν απολύτως σωστά. Οι 22 είναι σελίδες του ανοιχτού βιβλίου γρίφων: κοντά στη ράχη η σελίδα κυρτώνει περισσότερο από όσο ακολουθεί ο αναγνώστης, οπότε μια γραμμή καταλήγει μέσα σε ένα κελί και διαβάζεται ως 1, ή η αποκοπή ενός γωνιακού κελιού διασχίζει μια γραμμή. Οι 7 είναι εφημερίδες στις οποίες διακρίνεται η πίσω σελίδα. Οι υπόλοιπες είναι μια φωτογραφία οθόνης με φαινόμενο μουαρέ, μια άκρη ταμπλό που διαβάστηκε ως 1 και τα δύο λάθη στις ετικέτες.

Από τις 200 εικόνες του Lexski, οι 21 δεν διαβάστηκαν απολύτως σωστά: σημειώσεις μολυβιού που διαβάστηκαν ως ψηφία, μεταξύ αυτών και σβησμένο μολύβι που άφησε πίσω του αχνά ψηφία (7)· ένα επιπλέον ψηφίο, κυρίως μια μοναχική σημείωση μολυβιού που διαβάστηκε ως καταχώριση (5)· το πλέγμα σε λάθος θέση ή χωρίς να εντοπιστεί, σε θέματα εφαρμογών χωρίς γραμμές ανάμεσα στα κελιά ή με πλέγμα σχεδιασμένο με το χέρι (5)· και ασυνήθιστα πλακίδια και χρώματα (4).

Γιατί όχι 97%, και τι ακολουθεί

Όλα τρέχουν στο πρόγραμμα περιήγησής σας: ένα μοντέλο 224 KB και περίπου 850 γραμμές JavaScript, με διάμεσο χρόνο περίπου 300 χιλιοστά του δευτερολέπτου ανά φωτογραφία σε φορητό υπολογιστή και περίπου 1,2 δευτερόλεπτα με τον επεξεργαστή επιβραδυμένο τέσσερις φορές, όπως σε ένα αργό κινητό. Ένα μεγαλύτερο δίκτυο δεν βοήθησε μέσα σε αυτά τα όρια. Αυτό που απομένει είναι μια μακριά ουρά: κυρτωμένες σελίδες, η πίσω σελίδα που διακρίνεται, σημειώσεις μολυβιού και ασυνήθιστα στυλ εφαρμογών. Κάθε δημόσιο σύνολο με ετικέτες που βρήκαμε έχει πλέον χρησιμοποιηθεί ή εξεταστεί, οπότε ο επόμενος γύρος χρειάζεται φωτογραφίες που θα τραβήξουμε και θα επισημάνουμε μόνοι μας, με τα προβλήματα του αχνού μελανιού και των κυρτωμένων σελίδων διορθωμένα και μετρημένα πάνω σε αυτές.

Για την καλύτερη σάρωση

• Κρατήστε το κινητό ίσια πάνω από τον γρίφο, με ολόκληρο το πλέγμα μέσα στο κάδρο.
• Ισιώστε το βιβλίο ή την εφημερίδα: οι κυρτωμένες σελίδες προκαλούν τις περισσότερες αστοχίες στους έντυπους γρίφους.
• Σε λεπτό χαρτί εφημερίδας, βάλτε ένα άγραφο φύλλο χαρτί πίσω από τη σελίδα ώστε να μη φαίνεται η άλλη όψη.
• Σαρώστε πριν γράψετε σημειώσεις μολυβιού στον γρίφο.
• Πριν από την επίλυση, συγκρίνετε τα κελιά που σημειώνει ο λύτης με τον γρίφο σας.

Δεδομένα και πηγές

• Lexski, Sudoku Image Recognition (Hugging Face), CC0 1.0
• Wicht, B. and Hennebert, J., Sudoku dataset (GitHub), CC BY 4.0; "Camera-based Sudoku recognition with deep belief network", SoCPaR 2014
• NatalijaPetric, SudokuDataset (GitHub), δεν αναφέρεται άδεια χρήσης, χρησιμοποιήθηκε μόνο για μέτρηση
• mineshpatel1, sudoku-solver (GitHub), δεν αναφέρεται άδεια χρήσης, χρησιμοποιήθηκε μόνο για μέτρηση
• danielsociu, SudokuRecognition (GitHub), University of Bucharest course project, δεν αναφέρεται άδεια χρήσης, χρησιμοποιήθηκε μόνο για μέτρηση
• Πώς διαβάζει ο επιλυτής μια φωτογραφία, βήμα βήμα (English)

Δοκιμάστε τον λύτη →