Sudoku fotoğraf okuyucumuzu ölçerken öğrendiklerimiz

Güncellendi: 5 Kasım 2026

Neyi doğru okunmuş sayıyoruz

Bir bulmaca ancak 81 karenin hepsi doğruysa doğru okunmuş sayılır: tek bir yanlış rakam başka bir bulmaca demektir. Bu yüzden kareleri değil, bulmacaların tamamını sayıyoruz. Bu sayfanın gösterdiği gibi ikisi çok farklı şeyler anlatabilir: basılı fotoğraflarda okuyucu artık karelerin %98,9'unu doğru okuyor, ama bütün olarak doğru okunan bulmacaların oranı neredeyse hiç değişmedi, çünkü yanlış karelerin çoğu birkaç zor görselde toplanıyor.

En tehlikeli hatayı da ayrıca sayıyoruz: yanlış okunduğu hâlde yine de tam olarak tek bir çözümü olan bulmaca. Gerçek bir Sudoku'nun tek bir çözümü vardır; bu yüzden hiç çözümü olmayan ya da birden çok çözümü olan bir okuma hemen yakalanır. Tek çözümlü yanlış bir bulmaca ise sorunsuz görünür. Bu nedenle çözücü emin olamadığı her kareyi işaretler ve çözmeden önce bunları kendi bulmacanızla karşılaştırmanızı ister.

200 görselle elde edilen bir sonucun kesinliği sınırlıdır. Ana sonuçlar için %95'lik bir aralık (Wilson aralığı) veriyoruz: 200 görselin %89,5'i, gerçek oranın büyük olasılıkla %84,5 ile %93,0 arasında olduğu anlamına gelir.

Test ettiğimiz görseller

İki açık veri setiyle başladık. Lexski'nin Sudoku Image Recognition veri setinde (CC0) 1.400 görsel var; çoğu, insanların internette paylaştığı ekran görüntüleri ve fotoğraflar: her tarzda uygulamalar, koyu temalar, kalem notları, kâğıt üzerinde yarısı çözülmüş bulmacalar. Baptiste Wicht ve Jean Hennebert'in veri setinde (CC BY 4.0) telefonla fotoğraflanmış gazete Sudoku'ları var; bunların bir kısmı elle, kalemle bitirilmiş.

Hiçbir şeyi değiştirmeden önce üç test setini ayırdık: 200 Lexski görseli, 40 gazete fotoğrafı ve elle bitirilmiş 40 gazete bulmacası. Çalışırken bunlarla ne eğitim yaptık ne de onlara baktık. Her karar, ayar seti olarak kullandığımız 200 başka Lexski görseli üzerinde verildi; test setleri ise en sonda bir kez okundu.

Başlangıç noktası

31 Ekim tarihli ilk sürüm, 200 Lexski görselinin 101'ini ve 40 gazete fotoğrafının 34'ünü tam olarak doğru okudu; bitirilmiş 40 bulmacanın ise hiçbirini tam olarak doğru okuyamadı. Sorunlarının çoğu daha rakamlara gelmeden ortaya çıkıyordu. Karemsi en büyük mürekkep şeklini tahta olarak alıyordu; bir ekran görüntüsünde bu şekil çoğu zaman bir başlığı ya da sayı tuş takımını da içine alır, koyu bir temanın ince gri çizgileri ise tamamen gözden kaçar. Ayar setinde ızgarayı 200 görselin yalnızca 118'inde doğru yere yerleştirdi.

Adım adım neleri değiştirdik

Her satır bir değişikliği gösteriyor; sayı ise o değişiklikten sonra 200 ayar görselinden kaçının tam olarak doğru okunduğunu. Son üç satır ikinci tura ait.

Kazancın büyük kısmı üç değişiklikten geldi. Izgara artık çizgilerinden bulunuyor: tahtanın yeri için yapılan her tahmin, her yönde eşit aralıklı on çizginin üzerine oturtuluyor ve tahminler yan yana değerlendiriliyor; tahtanın nerede olduğunun haritasını çıkaran küçük bir ağ da bu karara oy veriyor. Her kare bütün olarak kesilip alınıyor; böylece bir kalem notu köşesinde küçük kalıyor ve koyu bir karo üzerindeki açık renkli bir rakam, kâğıt üzerindeki mürekkep gibi görünüyor. Rakam ağları da Lexski'nin eğitim görsellerinden kesilen gerçek karelerden öğrendi; kalem notları ise ayrı bir sınıf olarak ele alındı. Artık her kareyi birbirinden ayrı eğitilmiş üç küçük ağ okuyor ve yanıtlarının ortalaması alınıyor, çünkü bu ağlar hatalarını farklı karelerde yapıyor.

Bitirilmiş bir bulmaca ek yardım alıyor. Bir tahtada 79 ya da daha fazla rakam varsa okuyucu, her satır, sütun ve kutuda 1'den 9'a kadar rakamların bulunduğu en olası tam ızgarayı arıyor. Kare kare okunduğunda elle yazılmış 40 test bulmacasından yalnızca 7'si tam olarak doğru çıktı; bitirilmiş Sudoku olarak okunduğunda 40'ının hepsi doğru çıktı.

İkinci tur üç küçük değişiklik daha ekledi. Tam boyutlu bir telefon fotoğrafı küçültülmeden önce adım adım yarıya indiriliyor; böylece ince çizgiler ve kalem izleri atlanmak yerine ortalamaya katılıyor. Mürekkebi, okuyucunun tahtada emin olduğu rakamlardan hem çok daha kısa hem de çok daha soluk olan bir kare, olası bir kalem notu olarak ele alınıyor. Yan duran bir fotoğrafın ne kadar döndüğüne ise tek ağ yerine üç ağın hepsi karar veriyor.

İşe yaramayanlar

Bunları da ayar setinde ölçtük ve kullanmadık:

• Daha büyük bir rakam ağı: 42.000 yerine 59.000 ağırlık, bir ayar görselini daha doğru okudu ve tarayıcıda 3,8 kat daha yavaş çalıştı.
• Kalem notlu ve koyu temalı, yapay olarak üretilmiş 3.000 uygulama ekran görüntüsü: bunlarla da bunlarsız da aynı puan.
• Kırmızı kalem de siyah mürekkep kadar koyu görünsün diye gri yerine renkli okumak: iki ayar görseli daha, ama el yazısı daha kötü okundu.
• Eğitim rakamlarını el yazısına daha çok benzesin diye bozmak: el yazısı daha kötü okundu.
• Tek çözüm kuralının daha fazla kareyi değiştirmesine izin vermek: daha fazla bulmaca doğru okundu, ama tek çözümlü tehlikeli yanlış bulmacalar da arttı.
• Üç ağı yeni verilerle yeniden eğitmek ya da dört veya altı ağ kullanmak: fark gürültü düzeyinde kaldı, bu yüzden ilk ağlar korundu.
• Kadrajda kesilmiş tahtalar için görselin kenarını tahtanın kenarı saymak: kazanılan kadar görsel kaybedildi.

İlk test setlerindeki sonuçlar

Her test setinde ilk sürümün ve okuyucunun şimdiki hâlinin tam olarak doğru okuduğu bulmacalar:

Lexski görsellerinde okuyucu %50,5'ten %89,5'e (%84,5 ile %93,0 arası) çıktı; yanlış okunduğu hâlde tek çözümü olan bulmacalar ise 7'den 4'e indi. Bu dördünün üçünde fazladan okunan tek rakam, o karede olması gereken rakam; yani bulmaca yine doğru çözüme götürüyor. Dördüncüsü ise açıkça basılmış bir 1; veri seti bu kareyi boş bırakıyor. 179'un 177'si birinci turun sonunda geldi. Son ikisi, başarısız olanları inceledikten sonra ikinci turda geldi; bu yüzden bu set artık el değmemiş sayılmaz.

40'ta 40 kusursuz gibi görünüyor, ama 40 görsel yalnızca gerçek oranın yaklaşık %91'in üzerinde olduğunu gösterebilir. Bir de en başta yapmamız gereken bir kontrol: 40 gazete test fotoğrafından dördü o veri setinin eğitim setinde de var, ikisi piksel piksel aynı. Bunlar olmadan sonuç 36'da 36.

Yeni bir test: hiçbir sürümün görmediği 200 fotoğraf

O noktada ilk test setleri okunmuş ve başarısızlıkları incelenmişti; bu yüzden artık okuyucunun hiç karşılaşmadığı görsellerde nasıl çalıştığını bize söyleyemezlerdi. Daha fazla etiketli Sudoku fotoğrafı bulmak için Hugging Face, Kaggle, GitHub, Zenodo, Figshare ve AIcrowd üzerinde arama yaptık. Setlerin çoğu üretilmiş tahtalardan, tek tek rakamlardan ya da Wicht'in fotoğraflarının kopyalarından oluşuyordu. Üç GitHub koleksiyonunda gerçek, etiketli fotoğraflar vardı ve hepsi basılı bulmacalara aitti: açık bir bulmaca kitabının 100 fotoğrafı (NatalijaPetric/SudokuDataset), çoğu gazetelere ait 80 fotoğraf (mineshpatel1/sudoku-solver; Wicht'in kendi fotoğrafları olan 49 tanesi ve bir kopya çıkarıldıktan sonra) ve Bükreş Üniversitesi'ndeki bir bilgisayarlı görü dersinin projesinden 20 basılı sayfa (danielsociu/SudokuRecognition).

Üçünün hiçbiri bir lisans belirtmiyor; bu yüzden onları yalnızca ölçüm için kullandık: hiçbir zaman eğitim için kullanmadık ve burada da gösterilmiyorlar. Görsellerin listesi, dosya hash değerlerinden ve etiketlerden bir kurala göre seçildi ve herhangi bir değişiklikten önce sabitlenip kaydedildi; görseller ikinci turun son değişikliğine kadar açılmadı. Ardından okuyucunun her sürümü onları bir kez okudu. Tablo, tam olarak doğru okunan bulmacaları sayıyor.

Okuyucunun hiç görmediği basılı bulmacalarda iki turdaki bütün çalışma pek az şey değiştirdi. İlk sürüm bunların %82,0'ını tam olarak doğru okudu, şimdiki sürüm ise %83,5'ini (%77,7 ile %88,0 arası): 14 bulmaca kazandı, 11 bulmaca kaybetti. Asıl iyileşen kareler oldu: %94,2 yerine %98,9'u doğru okunuyor ve ızgara 200 fotoğrafın 195'i yerine her fotoğrafta bulunuyor. Yanlış okunduğu hâlde tek çözümü olan bulmacalar: o zaman 5, şimdi 6.

Kayıpların açık bir nedeni var. Kalem notlarını ve koyu temaları okuyabilmek için her kare artık bütün olarak kesilip alınıyor ve soluk mürekkep de hesaba katılıyor. İnce gazete kâğıdında arka sayfa soluk ve ayna görüntüsü gibi ters olarak kâğıdın içinden görünüyor ve yeni okuyucu bu gölgeleri rakam olarak okuyor; ilk sürüm ise bir karede yalnızca en büyük mürekkep şekline bakıyordu ve bunları hiç görmüyordu. Kıvrılmış kitap sayfalarında tahtanın dış çizgisi ya da bir kutu çizgisi bir karenin içine düşebiliyor ve 1 olarak okunabiliyor.

Tam okunamayanlardan ikisi etiket hatası: fotoğrafta, etiketin 9 ve 8 dediği yerlerde bir 3 ile bir 9, 2 dediği yerde ise bir 4 görünüyor. Bunlar doğru sayıldığında şimdiki okuyucunun oranı %84,5.

Hâlâ ters giden şeyler

200 yeni fotoğrafın 33'ü tam olarak doğru okunamadı. Bunların 22'si açık bulmaca kitabının sayfaları: kitabın sırtına yakın yerde sayfa, okuyucunun izleyebildiğinden daha fazla kıvrılıyor; bu yüzden bir çizgi bir karenin içine düşüyor ve 1 olarak okunuyor ya da bir köşe karesi bir çizginin üzerinden kesiliyor. 7'si arka sayfası içinden görünen gazeteler. Geri kalanlar ise moiré deseni olan bir ekran fotoğrafı, 1 olarak okunan bir tahta kenarı ve iki etiket hatası.

200 Lexski görselinin 21'i tam olarak doğru okunamadı: rakam olarak okunan kalem notları, geride soluk rakamlar bırakan silinmiş kalem izleri de dahil (7); fazladan bir rakam, çoğunlukla girilmiş bir rakam olarak okunan tek başına bir kalem notu (5); kareler arasında çizgi olmayan uygulama temalarında ya da elle çizilmiş bir ızgarada ızgaranın yanlış yerde bulunması ya da hiç bulunamaması (5); ve alışılmadık karolar ve renkler (4).

Neden %97 değil ve sırada ne var

Her şey tarayıcınızda çalışıyor: 224 KB'lık bir model ve yaklaşık 850 satır JavaScript; bir dizüstü bilgisayarda fotoğraf başına ortanca süre yaklaşık 300 milisaniye, işlemci yavaş bir telefondaki gibi dört kat yavaşlatıldığında ise yaklaşık 1,2 saniye. Bu bütçe içinde daha büyük bir ağ işe yaramadı. Geriye uzun bir kuyruk kalıyor: kıvrılmış sayfalar, arka sayfanın içinden görünmesi, kalem notları ve alışılmadık uygulama tarzları. Bulduğumuz herkese açık etiketli setlerin hepsi artık kullanıldı ya da görüldü; bu yüzden bir sonraki tur için kendi çektiğimiz ve kendi etiketlediğimiz fotoğraflar gerekiyor, soluk mürekkep ve kıvrılmış sayfa sorunlarının da düzeltilip bu fotoğraflar üzerinde ölçülmesi gerekiyor.

En iyi tarama için

• Telefonu bulmacanın tam üstünde, düz tutun; ızgaranın tamamı kadrajda olsun.
• Kitabı ya da gazeteyi düzleştirin: basılı bulmacalarda tam okunamayanların çoğunun nedeni kıvrılmış sayfalardır.
• İnce gazete kâğıdında, öbür yüzü içinden görünmesin diye sayfanın arkasına boş bir kâğıt koyun.
• Bulmacaya kalem notu yazmadan önce tarayın.
• Çözmeden önce çözücünün işaretlediği kareleri kendi bulmacanızla karşılaştırın.

Veriler ve kaynaklar

• Lexski, Sudoku Image Recognition (Hugging Face), CC0 1.0
• Wicht, B. and Hennebert, J., Sudoku dataset (GitHub), CC BY 4.0; "Camera-based Sudoku recognition with deep belief network", SoCPaR 2014
• NatalijaPetric, SudokuDataset (GitHub), lisans belirtilmemiş, yalnızca ölçüm için kullanıldı
• mineshpatel1, sudoku-solver (GitHub), lisans belirtilmemiş, yalnızca ölçüm için kullanıldı
• danielsociu, SudokuRecognition (GitHub), University of Bucharest course project, lisans belirtilmemiş, yalnızca ölçüm için kullanıldı
• Çözücü bir fotoğrafı nasıl okur, adım adım (English)

Çözücüyü deneyin →