สิ่งที่เราได้เรียนรู้จากการวัดผลตัวอ่านภาพซูโดกุของเรา

อัปเดตเมื่อ 5 พฤศจิกายน 2569

แบบไหนจึงนับว่าอ่านถูก

ปริศนาหนึ่งข้อจะนับว่าอ่านถูกก็ต่อเมื่อทั้ง 81 ช่องถูกต้อง เพราะตัวเลขผิดเพียงตัวเดียวก็ทำให้กลายเป็นปริศนาอีกข้อหนึ่ง เราจึงนับเป็นปริศนาทั้งข้อ ไม่ได้นับเป็นช่อง ตัวเลขสองแบบนี้อาจเล่าเรื่องที่ต่างกันมาก ดังที่หน้านี้แสดงให้เห็น กับภาพถ่ายปริศนาฉบับพิมพ์ ตอนนี้ตัวอ่านอ่านช่องได้ถูกต้อง 98.9% แต่สัดส่วนปริศนาที่อ่านถูกทั้งข้อแทบไม่ขยับ เพราะช่องที่อ่านผิดส่วนใหญ่กระจุกอยู่ในภาพยาก ๆ เพียงไม่กี่ภาพ

เรายังนับข้อผิดพลาดที่อันตรายที่สุดด้วย นั่นคือปริศนาที่อ่านผิดแต่ยังมีคำตอบเดียวพอดี ซูโดกุจริงมีคำตอบเดียว ดังนั้นผลการอ่านที่ไม่มีคำตอบเลยหรือมีหลายคำตอบจะถูกจับได้ทันที แต่ปริศนาที่ผิดแต่มีคำตอบเดียวจะดูเหมือนไม่มีปัญหา ด้วยเหตุนี้เครื่องมือแก้จึงทำเครื่องหมายทุกช่องที่มันไม่แน่ใจ และขอให้คุณเทียบช่องเหล่านั้นกับปริศนาของคุณก่อนเริ่มแก้

ด้วยภาพเพียง 200 ภาพ ผลลัพธ์ย่อมแม่นยำได้ในระดับหนึ่งเท่านั้น สำหรับผลหลัก เราให้ช่วง 95% ไว้ด้วย โดยใช้ช่วงความเชื่อมั่นแบบวิลสัน (Wilson interval) ผล 89.5% จาก 200 ภาพหมายความว่าเป็นไปได้มากที่สุดว่าอัตราที่แท้จริงอยู่ระหว่าง 84.5% ถึง 93.0%

ภาพที่เราใช้ทดสอบ

เราเริ่มจากชุดข้อมูลเปิดสองชุด ชุดข้อมูล Sudoku Image Recognition ของ Lexski (CC0) มีภาพ 1,400 ภาพ ส่วนใหญ่เป็นภาพหน้าจอและภาพถ่ายที่ผู้คนแชร์ทางออนไลน์ ได้แก่ แอปทุกรูปแบบ ธีมมืด ตัวเลขดินสอ และปริศนาบนกระดาษที่แก้ไปได้ครึ่งทาง ส่วนชุดข้อมูลของบาติสต์ วิชท์ (Baptiste Wicht) และฌ็อง แอนแบร์ (Jean Hennebert) ซึ่งใช้สัญญาอนุญาต CC BY 4.0 เป็นภาพซูโดกุในหนังสือพิมพ์ที่ถ่ายด้วยโทรศัพท์ บางภาพถูกเติมจนครบด้วยลายมือโดยใช้ปากกา

ก่อนเปลี่ยนแปลงสิ่งใด เราแยกชุดทดสอบไว้สามชุด ได้แก่ ภาพจาก Lexski 200 ภาพ ภาพถ่ายหนังสือพิมพ์ 40 ภาพ และปริศนาในหนังสือพิมพ์ที่เติมจนครบด้วยลายมือ 40 ข้อ เราไม่ได้ใช้ชุดเหล่านี้ฝึกโมเดล และไม่ได้เปิดดูระหว่างทำงาน ทุกการตัดสินใจทำบนภาพอื่นจาก Lexski อีก 200 ภาพ ซึ่งเป็นชุดปรับแต่ง ส่วนชุดทดสอบถูกอ่านเพียงครั้งเดียวในตอนท้าย

จุดเริ่มต้น

เวอร์ชันแรกเมื่อวันที่ 31 ตุลาคม อ่านภาพจาก Lexski ได้ถูกต้องทั้งหมด 101 จาก 200 ภาพ ภาพถ่ายหนังสือพิมพ์ 34 จาก 40 ภาพ และปริศนาที่เติมครบแล้วไม่ได้เลยสักข้อจาก 40 ข้อ ปัญหาส่วนใหญ่เกิดขึ้นก่อนจะถึงขั้นอ่านตัวเลข มันถือเอารูปทรงหมึกที่ใหญ่ที่สุดซึ่งมีลักษณะใกล้เคียงสี่เหลี่ยมจัตุรัสเป็นกระดาน และในภาพหน้าจอ รูปทรงนั้นมักกินส่วนหัวหรือแป้นตัวเลขเข้าไปด้วย ขณะที่เส้นสีเทาบาง ๆ ของธีมมืดถูกมองข้ามไปเลย ในชุดปรับแต่ง มันวางตารางได้ตรงตำแหน่งเพียง 118 ครั้งจาก 200 ครั้ง

สิ่งที่เราเปลี่ยน ทีละขั้น

แต่ละแถวคือการเปลี่ยนแปลงหนึ่งครั้ง และตัวเลขคือจำนวนภาพจากชุดปรับแต่ง 200 ภาพที่อ่านได้ถูกต้องทั้งหมดหลังการเปลี่ยนแปลงนั้น สามแถวสุดท้ายคือรอบที่สอง

ผลที่ดีขึ้นส่วนใหญ่มาจากการเปลี่ยนแปลงสามอย่าง อย่างแรก ตอนนี้ตารางถูกหาจากเส้นของมัน ตำแหน่งกระดานที่คาดเดาไว้ทุกตำแหน่งจะถูกปรับให้ลงบนเส้นที่เว้นระยะเท่ากันสิบเส้นในแต่ละทิศทาง แล้วนำทุกตัวเลือกมาเปรียบเทียบกันเพื่อตัดสิน และโครงข่ายประสาทเทียมขนาดเล็กที่ระบุตำแหน่งของกระดานก็ได้ร่วมโหวตด้วย อย่างที่สอง แต่ละช่องถูกตัดออกมาทั้งช่อง ตัวเลขดินสอจึงยังคงมีขนาดเล็กอยู่ที่มุมของช่อง และตัวเลขสีอ่อนบนช่องสีเข้มจะดูเหมือนหมึกบนกระดาษ อย่างที่สาม โครงข่ายอ่านตัวเลขเรียนรู้จากช่องจริงที่ตัดมาจากภาพฝึกของ Lexski โดยให้ตัวเลขดินสอเป็นคลาสของตัวเอง ตอนนี้โครงข่ายขนาดเล็กสามตัวที่ฝึกแยกกันจะอ่านทุกช่อง แล้วนำคำตอบมาเฉลี่ยกัน เพราะแต่ละตัวอ่านผิดในช่องที่ต่างกัน

ปริศนาที่เติมครบแล้วจะได้รับความช่วยเหลือเพิ่มเติม เมื่อกระดานมีตัวเลขตั้งแต่ 79 ตัวขึ้นไป ตัวอ่านจะหาตารางที่สมบูรณ์ซึ่งน่าจะเป็นที่สุด โดยที่ทุกแถว ทุกคอลัมน์ และทุกบล็อกมีเลข 1 ถึง 9 ครบ หากอ่านทีละช่อง ปริศนาทดสอบที่เขียนด้วยลายมือ 40 ข้ออ่านได้ถูกต้องทั้งหมดเพียง 7 ข้อ แต่เมื่ออ่านเป็นซูโดกุที่เติมครบแล้ว อ่านถูกทั้ง 40 ข้อ

รอบที่สองเพิ่มการเปลี่ยนแปลงย่อยอีกสามอย่าง ภาพถ่ายจากโทรศัพท์ขนาดเต็มจะถูกลดขนาดลงทีละครึ่งเป็นขั้น ๆ ก่อนจะย่อลง เพื่อให้เส้นบางและรอยดินสอถูกเฉลี่ยรวมเข้าไปแทนที่จะถูกข้ามไป ช่องที่หมึกทั้งสั้นกว่ามากและจางกว่ามากเมื่อเทียบกับตัวเลขที่แน่ใจแล้วบนกระดาน จะถูกถือว่าน่าจะเป็นตัวเลขดินสอ และการหมุนของภาพที่ถ่ายตะแคงจะถูกตัดสินโดยโครงข่ายทั้งสามตัวแทนที่จะใช้ตัวเดียว

สิ่งที่ไม่ช่วย

เราวัดผลสิ่งเหล่านี้บนชุดปรับแต่งด้วย และตัดสินใจไม่ใช้:

• โครงข่ายอ่านตัวเลขที่ใหญ่ขึ้น: ค่าน้ำหนัก 59,000 ค่าแทน 42,000 ค่า อ่านภาพในชุดปรับแต่งได้ถูกเพิ่มขึ้นหนึ่งภาพ และทำงานในเบราว์เซอร์ช้าลง 3.8 เท่า
• ภาพหน้าจอแอปที่สร้างขึ้นเอง 3,000 ภาพ ซึ่งมีตัวเลขดินสอและธีมมืด: คะแนนเท่าเดิมไม่ว่าจะใช้หรือไม่ใช้
• อ่านภาพสีแทนภาพระดับสีเทา เพื่อให้ปากกาสีแดงเข้มเท่าหมึกดำ: อ่านภาพในชุดปรับแต่งถูกเพิ่มอีกสองภาพ แต่อ่านลายมือได้แย่ลง
• บิดตัวเลขที่ใช้ฝึกให้ดูเหมือนลายมือมากขึ้น: อ่านลายมือได้แย่ลง
• ปล่อยให้กฎคำตอบเดียวแก้ไขช่องได้มากขึ้น: อ่านปริศนาถูกมากขึ้น แต่ปริศนาที่อ่านผิดแต่มีคำตอบเดียวซึ่งเป็นข้อผิดพลาดอันตรายก็เพิ่มขึ้นด้วย
• ฝึกโครงข่ายทั้งสามตัวใหม่ด้วยข้อมูลชุดใหม่ หรือใช้สี่หรือหกตัว: ความต่างอยู่ในระดับความคลาดเคลื่อนสุ่ม เราจึงคงชุดแรกไว้
• ถือขอบภาพเป็นขอบกระดาน สำหรับกระดานที่ถูกกรอบภาพตัดขาด: ภาพที่เสียไปมีจำนวนเท่ากับภาพที่ได้มา

ผลบนชุดทดสอบกลุ่มแรก

จำนวนปริศนาที่อ่านได้ถูกต้องทั้งหมดในแต่ละชุดทดสอบ โดยเวอร์ชันแรกและโดยตัวอ่านในปัจจุบัน:

กับภาพจาก Lexski ตัวอ่านดีขึ้นจาก 50.5% เป็น 89.5% (84.5% ถึง 93.0%) และปริศนาที่อ่านผิดแต่ยังมีคำตอบเดียวลดลงจาก 7 เป็น 4 ข้อ ในสามข้อจากสี่ข้อนั้น ตัวเลขที่เกินมาหนึ่งตัวเป็นตัวเลขที่ถูกต้องสำหรับช่องนั้นจริง ปริศนาจึงยังนำไปสู่คำตอบที่ถูกต้อง ส่วนข้อที่สี่คือเลข 1 ที่พิมพ์ไว้ชัดเจนแต่ชุดข้อมูลระบุให้เป็นช่องว่าง 177 จาก 179 ข้อได้มาเมื่อจบรอบแรก อีกสองข้อสุดท้ายได้มาในรอบที่สอง หลังจากที่เราศึกษาสิ่งที่อ่านผิดแล้ว ชุดนี้จึงไม่ใช่ชุดที่ไม่เคยถูกแตะต้องอีกต่อไป

40 จาก 40 ฟังดูสมบูรณ์แบบ แต่ภาพเพียง 40 ภาพบอกได้เพียงว่าอัตราที่แท้จริงสูงกว่าประมาณ 91% และมีการตรวจสอบหนึ่งที่เราควรทำตั้งแต่แรก: ภาพถ่ายหนังสือพิมพ์ในชุดทดสอบ 4 จาก 40 ภาพ อยู่ในชุดฝึกของชุดข้อมูลนั้นด้วย โดยสองภาพในนั้นเหมือนกันทุกพิกเซล หากตัดภาพเหล่านี้ออก ผลคือ 36 จาก 36

การทดสอบใหม่: ภาพถ่าย 200 ภาพที่ไม่มีเวอร์ชันใดเคยเห็น

ถึงตอนนั้น ชุดทดสอบกลุ่มแรกถูกอ่านไปแล้ว และเราได้ศึกษาจุดที่อ่านผิดของมันแล้ว ชุดเหล่านั้นจึงบอกเราไม่ได้อีกว่าตัวอ่านทำงานอย่างไรกับภาพที่ไม่เคยพบมาก่อน เราค้นหาภาพถ่ายซูโดกุที่มีป้ายกำกับเพิ่มเติมใน Hugging Face, Kaggle, GitHub, Zenodo, Figshare และ AIcrowd ชุดส่วนใหญ่เป็นกระดานที่สร้างขึ้นด้วยโปรแกรม ตัวเลขเดี่ยว ๆ หรือสำเนาภาพของ Wicht มีคอลเลกชันใน GitHub สามชุดที่มีภาพถ่ายจริงพร้อมป้ายกำกับ ทั้งหมดเป็นปริศนาฉบับพิมพ์ ได้แก่ ภาพถ่าย 100 ภาพจากหนังสือปริศนาแบบเปิด (NatalijaPetric/SudokuDataset) ภาพถ่าย 80 ภาพซึ่งส่วนใหญ่เป็นหนังสือพิมพ์ (mineshpatel1/sudoku-solver หลังตัดภาพ 49 ภาพที่เป็นภาพของ Wicht เองและสำเนาอีกหนึ่งภาพออก) และแผ่นพิมพ์ 20 แผ่นจากโครงงานในรายวิชาคอมพิวเตอร์วิทัศน์ของมหาวิทยาลัยบูคาเรสต์ (danielsociu/SudokuRecognition)

ทั้งสามชุดไม่ได้ระบุสัญญาอนุญาต เราจึงใช้เพื่อวัดผลเท่านั้น ไม่เคยใช้ฝึก และไม่ได้นำมาแสดงในหน้านี้ รายการภาพถูกกำหนดและบันทึกไว้ก่อนการเปลี่ยนแปลงใด ๆ โดยเลือกตามกฎจากค่าแฮชของไฟล์และป้ายกำกับ และไม่มีการเปิดดูภาพเลยจนถึงการเปลี่ยนแปลงครั้งสุดท้ายของรอบที่สอง จากนั้นตัวอ่านแต่ละเวอร์ชันอ่านภาพเหล่านี้หนึ่งครั้ง ตารางแสดงจำนวนปริศนาที่อ่านได้ถูกต้องทั้งหมด

กับปริศนาฉบับพิมพ์ที่ตัวอ่านไม่เคยเห็นมาก่อน งานทั้งหมดของทั้งสองรอบเปลี่ยนผลไปเพียงเล็กน้อย เวอร์ชันแรกอ่านได้ถูกต้องทั้งหมด 82.0% เวอร์ชันปัจจุบัน 83.5% (77.7% ถึง 88.0%) โดยอ่านถูกเพิ่มขึ้น 14 ข้อ และเสียไป 11 ข้อ สิ่งที่ดีขึ้นจริงคือระดับช่อง อ่านช่องถูก 98.9% แทนที่จะเป็น 94.2% และหาตารางเจอในทุกภาพ แทนที่จะเป็น 195 จาก 200 ภาพ ปริศนาที่อ่านผิดแต่มีคำตอบเดียว: เดิม 5 ข้อ ตอนนี้ 6 ข้อ

ข้อที่เสียไปมีสาเหตุชัดเจน เพื่อให้อ่านตัวเลขดินสอและธีมมืดได้ ตอนนี้แต่ละช่องถูกตัดออกมาทั้งช่องและนับหมึกจาง ๆ ด้วย บนหนังสือพิมพ์กระดาษบาง ตัวพิมพ์จากหน้าด้านหลังจะทะลุมาให้เห็นอย่างจาง ๆ และกลับด้านเหมือนภาพในกระจก ตัวอ่านใหม่อ่านเงาเหล่านั้นเป็นตัวเลข ส่วนเวอร์ชันแรกดูเฉพาะรูปทรงหมึกที่ใหญ่ที่สุดในช่อง จึงไม่เคยเห็นเงาเหล่านั้นเลย บนหน้าหนังสือที่โค้งงอ เส้นขอบด้านนอกของกระดานหรือเส้นแบ่งบล็อกอาจไปตกอยู่ในช่องและถูกอ่านเป็นเลข 1

สองข้อในที่อ่านพลาดเป็นความผิดพลาดของป้ายกำกับ ภาพแสดงเลข 3 และ 9 ในตำแหน่งที่ป้ายกำกับระบุว่า 9 และ 8 และแสดงเลข 4 ในตำแหน่งที่ป้ายกำกับระบุว่า 2 หากนับให้ถูกต้อง ตัวอ่านปัจจุบันอ่านได้ 84.5%

สิ่งที่ยังผิดพลาดอยู่

จากภาพถ่ายใหม่ 200 ภาพ มี 33 ภาพที่อ่านได้ไม่ถูกต้องทั้งหมด 22 ภาพเป็นหน้าของหนังสือปริศนาแบบเปิด บริเวณใกล้สันหนังสือ หน้ากระดาษโค้งมากกว่าที่ตัวอ่านจะตามได้ เส้นจึงไปอยู่ในช่องและถูกอ่านเป็นเลข 1 หรือช่องมุมถูกตัดคร่อมเส้น 7 ภาพเป็นหนังสือพิมพ์ที่ตัวพิมพ์จากหน้าด้านหลังทะลุมาให้เห็น ที่เหลือคือภาพที่ถ่ายจากหน้าจอซึ่งมีลายมัวเร (moiré) ขอบกระดานที่ถูกอ่านเป็นเลข 1 และความผิดพลาดของป้ายกำกับสองข้อ

จากภาพของ Lexski 200 ภาพ มี 21 ภาพที่อ่านได้ไม่ถูกต้องทั้งหมด ได้แก่ ตัวเลขดินสอที่ถูกอ่านเป็นตัวเลข รวมถึงรอยดินสอที่ลบแล้วแต่ยังทิ้งตัวเลขจาง ๆ ไว้ (7 ภาพ) ตัวเลขเกินมาหนึ่งตัว ส่วนใหญ่เป็นตัวเลขดินสอตัวเดียวที่ถูกอ่านเป็นตัวเลขที่กรอกจริง (5 ภาพ) ตารางอยู่ผิดตำแหน่งหรือหาไม่เจอ ในธีมแอปที่ไม่มีเส้นคั่นระหว่างช่องหรือตารางที่วาดด้วยมือ (5 ภาพ) และช่องกับสีที่แปลกไปจากปกติ (4 ภาพ)

ทำไมจึงไม่ถึง 97% และขั้นต่อไป

ทุกอย่างทำงานในเบราว์เซอร์ของคุณ ได้แก่ โมเดลขนาด 224 KB และ JavaScript ราว 850 บรรทัด ใช้เวลาค่ามัธยฐานราว 300 มิลลิวินาทีต่อภาพบนแล็ปท็อป และราว 1.2 วินาทีเมื่อลดความเร็วโปรเซสเซอร์ลงสี่เท่า เหมือนบนโทรศัพท์ที่ช้า โครงข่ายที่ใหญ่ขึ้นไม่ได้ช่วยภายในขีดจำกัดดังกล่าว สิ่งที่เหลืออยู่คือปัญหาส่วนหางยาว ได้แก่ หน้ากระดาษโค้ง ตัวพิมพ์จากด้านหลังที่ทะลุมา ตัวเลขดินสอ และสไตล์แอปที่แปลกไปจากปกติ ชุดข้อมูลสาธารณะที่มีป้ายกำกับทุกชุดที่เราพบ ตอนนี้ถูกใช้หรือถูกเห็นไปแล้ว รอบต่อไปจึงต้องใช้ภาพที่เราถ่ายและติดป้ายกำกับเอง โดยแก้ปัญหาหมึกจางและหน้ากระดาษโค้ง แล้ววัดผลบนภาพเหล่านั้น

เพื่อการสแกนที่ดีที่สุด

• ถือโทรศัพท์ตรง ๆ เหนือปริศนา ให้ตารางทั้งหมดอยู่ในกรอบภาพ
• กดหนังสือหรือหนังสือพิมพ์ให้แบนราบ หน้ากระดาษที่โค้งงอเป็นสาเหตุของการอ่านพลาดส่วนใหญ่ในปริศนาฉบับพิมพ์
• สำหรับหนังสือพิมพ์กระดาษบาง ให้รองกระดาษเปล่าไว้ด้านหลังหน้านั้น เพื่อไม่ให้อีกด้านหนึ่งทะลุมาให้เห็น
• สแกนก่อนจดตัวเลขดินสอลงในปริศนา
• ก่อนเริ่มแก้ ให้เทียบช่องที่เครื่องมือแก้ทำเครื่องหมายไว้กับปริศนาของคุณ

ข้อมูลและแหล่งที่มา

• Lexski, Sudoku Image Recognition (Hugging Face), CC0 1.0
• Wicht, B. and Hennebert, J., Sudoku dataset (GitHub), CC BY 4.0; "Camera-based Sudoku recognition with deep belief network", SoCPaR 2014
• NatalijaPetric, SudokuDataset (GitHub), ไม่ระบุสัญญาอนุญาต ใช้เพื่อการวัดผลเท่านั้น
• mineshpatel1, sudoku-solver (GitHub), ไม่ระบุสัญญาอนุญาต ใช้เพื่อการวัดผลเท่านั้น
• danielsociu, SudokuRecognition (GitHub), University of Bucharest course project, ไม่ระบุสัญญาอนุญาต ใช้เพื่อการวัดผลเท่านั้น
• วิธีที่เครื่องมือแก้โจทย์อ่านรูปภาพ ทีละขั้นตอน (English)

ลองใช้ตัวแก้ซูโดกุ →