Colorado Boulder Üniversitesi (CU Boulder), 28 Temmuz 2025'te sudokuyu bir güven testi olarak kullanan bir araştırmayı duyurdu. Soru şuydu: Yapay zekâ verdiği kararları insanlara doğru biçimde açıklayabilir mi? "Explaining Puzzle Solutions in Natural Language: An Exploratory Study on 6x6 Sudoku" başlıklı makalenin yazarları Anirudh Maiya, Razan Alghamdi, Maria Leonor Pacheco, Ashutosh Trivedi ve Fabio Somenzi. Çalışma, doğal dil işleme alanının önemli yayın yerlerinden Findings of the Association for Computational Linguistics (ACL 2025) kapsamında kabul edildi.
Araştırmacılar ne yaptı?
Ekip, klasik 9x9 tablonun küçük bir versiyonu olan altıya altı ızgarada yaklaşık 2.300 özgün sudoku hazırladı. Yeni bulmaca üretmek önemliydi: Bilinen bulmacalar ve çözümleri modellerin eğitim verisinde yer alıyor olabilir; yepyeni bir set ise modelin cevabı ezberden hatırlamasını zorlaştırır. Ardından beş büyük dil modelinden (LLM) iki şey istendi: tabloyu doldurmak ve çözüme nasıl ulaştığını sade bir dille anlatmak.
Öne çıkan bulgular
- Çözme başarısı dengesizdi. CU Boulder'a göre OpenAI'ın o1 modeli (önizleme sürümü) en iyi sonucu aldı ve bulmacaların yaklaşık yüzde 65'ini doğru çözdü. Makalenin özetinde ise yalnızca bir modelin sınırlı başarı gösterdiği belirtiliyor.
- Açıklamalar çok daha zayıftı. Makaleye göre modellerin hiçbiri çözüm sürecini stratejik akıl yürütmeyi ya da sezgisel problem çözmeyi yansıtacak şekilde açıklayamadı.
- Bazı açıklamalar hatalı, hatta tuhaftı. Trivedi'nin aktardığına göre yapay zekâ zaman zaman olmayan bilgiler uydurdu; bir modelse sudoku sorusuna hava durumu tahminiyle cevap verdi.
Fabio Somenzi bu oyunu seçmelerinin nedenini şöyle özetliyor: "Puzzles are fun, but they're also a microcosm for studying the decision-making process in machine learning." (Bulmacalar eğlencelidir ama aynı zamanda makine öğrenmesindeki karar verme sürecini incelemek için küçük bir evrendir.)
Sudoku neden iyi bir test?
Sudokunun tek bir doğru cevabı vardır ve bu cevap anında kontrol edilebilir. Deneyimli bir oyuncu her rakamı bir teknikle gerekçelendirebilir: tek aday (naked single), gizli çift, X-Wing gibi. Bu da bir açıklamanın gerçekten doğru olup olmadığını görmeyi kolaylaştırır. Dil modeli ise kelime kelime kulağa makul gelen bir metin üretir. Doğru bir tabloya ulaşırken hiç yaşanmamış adımları anlatabilir ya da ilgili hücrelere uymayan bir tekniği tarif edebilir.
Araştırmacılar bunu daha geniş bir güven sorunu olarak görüyor. Yapay zekâ planlama, lojistik veya başka kararlarda yardımcı olacaksa insanların yalnızca cevabı değil, o cevabın neden seçildiğini de anlaması gerekir. Sudoku, açıklamaların satır satır denetlenebildiği küçük ve kontrollü bir ortam sunuyor. Ekip bir sonraki adım olarak daha karmaşık bulmacaları hem çözüp hem açıklayabilen bir sistem üzerinde çalışacağını, işe Japon mantık bulmacası hitori ile başlayacağını açıkladı.
Oyuncular için ne anlama geliyor?
Çalışma, makinelerin henüz sahip olmadığı beceriye işaret ediyor: Bir rakamın o hücreye neden girmesi gerektiğini söyleyebilmek. Bulmaca zorluğu da genellikle bu şekilde ölçülür. Sudoku Explainer (SE) puanı, bir bulmacayı mantıkla çözmek için gereken en zor tekniğe göre derecelendirir; yani net bir akıl yürütme zinciri bu hobinin merkezindedir. Ölçeğin nasıl işlediğini SE puanı sayfamızda okuyabilir, sudoku bölümümüzdeki bulmacalarda her hamlenizi kendinize açıklamayı deneyebilirsiniz.
Bir not: Çalışma, 2024–2025 döneminde erişilebilen modelleri 6x6 tablolarda test etti. Yapay zekâ hızla gelişiyor ve sonraki sonuçlar farklı olabilir. Yine de ana mesaj geçerliliğini koruyor: Doğru cevabı bulmak, çözümü gösterebilmekle aynı şey değil.