Newsletter

Akıl Yürütme Yanılsaması: Yapay Zeka Dünyasını Sarsan Tartışma

Apple, LLM'nin klasik problemlerin küçük varyasyonlarında (Hanoi Kulesi, nehir geçişi) nasıl başarısız olduğunu gösteren iki yıkıcı makale -'GSM-Symbolic' (Ekim 2024) ve 'The Illusion of Thinking' (Haziran 2025)- yayınlar: 'sadece sayısal değerler değiştirildiğinde performans düşer'. Karmaşık Hanoi Kulesi'nde sıfır başarı. Ancak Alex Lawsen (Open Philanthropy) başarısız metodolojiyi gösteren "Düşünme Yanılsaması" ile karşılık veriyor: başarısızlıklar muhakeme çöküşleri değil token çıktı sınırlarıydı, otomatik komut dosyaları kısmi doğru çıktıları yanlış sınıflandırdı, bazı bulmacalar matematiksel olarak çözülemezdi. Claude/Gemini/GPT, hamleleri listelemek yerine özyinelemeli işlevlerle testleri tekrarlayarak Hanoi Kulesi'nin 15 kaydını çözdü. Gary Marcus Apple'ın 'dağıtım kayması' tezini benimsiyor, ancak WWDC öncesi zamanlama makalesi stratejik soruları gündeme getiriyor. İş dünyasına etkileri: Kritik görevler için yapay zekaya ne kadar güvenilmeli? Çözüm: nörosembolik yaklaşımlar örüntü tanıma+dil için sinir ağları, biçimsel mantık için sembolik sistemler. Örnek: YZ muhasebesi "ne kadar seyahat masrafı var?" sorusunu anlar, ancak SQL/hesaplamalar/vergi denetimleri = deterministik kod.
Fabio Lauria
Electe'nin Ceo'su ve Kurucusu‍
YZ muhakemesi gerçeklikle buluştuğunda: Robot mantık kuralını doğru bir şekilde uyguluyor ancak basketbol topunu portakal olarak tanımlıyor. LLM'lerin gerçek bir anlayışa sahip olmadan mantıksal süreçleri nasıl simüle edebileceklerine dair mükemmel bir metafor.

Geçtiğimiz birkaç ay boyunca yapay zeka topluluğu, Apple tarafından yayınlanan iki etkili araştırma makalesinin tetiklediği hararetli bir tartışmanın sancılarını yaşadı. Birincisi, 'GSM-Sembolik' (Ekim 2024) ve ikincisi, 'Düşünme Yanılsaması' (Haziran 2025), Büyük Dil Modellerinin iddia edilen muhakeme yeteneklerini sorgulayarak sektörde karışık tepkilere yol açtı.

Bir önceki yazımızda da analiz edildiği üzere "İlerleme yanılsaması: genel yapay zekayı başaramadan simüle etmek".Yapay akıl yürütme meselesi, makinelerde zeka olarak gördüğümüz şeyin tam kalbine dokunuyor.

Apple Araştırmaları Ne Diyor?

Apple araştırmacıları, bir cevap vermeden önce ayrıntılı muhakeme izleri oluşturan modeller olan Büyük Muhakeme Modelleri (LRM) üzerinde sistematik bir analiz gerçekleştirdi. Sonuçlar şaşırtıcı ve birçokları için endişe vericiydi.

Gerçekleştirilen Testler

Çalışma, en gelişmiş modelleri aşağıdaki gibi klasik algoritmik bulmacalara tabi tutmuştur:

  • Hanoi Kulesi: İlk kez 1957 yılında çözülen bir matematik bulmacası
  • Nehir geçişi problemleri: Belirli kısıtlamalara sahip mantık bulmacaları
  • GSM-Sembolik Benchmark: İlköğretim düzeyindeki matematik problemlerinin varyasyonları

Klasik bulmacalarla akıl yürütmenin test edilmesi: Çiftçi, kurt, keçi ve lahana problemi, Apple'ın çalışmalarında LLM'lerin akıl yürütme yeteneklerini değerlendirmek için kullanılan mantık bulmacalarından biridir. Zorluk, yalnız bırakıldığında kurdun keçiyi veya keçinin lahanayı yemesinden kaçınırken doğru geçiş sırasını bulmakta yatmaktadır. Algoritmik anlayış ile kalıp ezberleme arasındaki farkı ayırt etmek için basit ama etkili bir test.

Tartışmalı Sonuçlar

Sonuçlar, problem formülasyonundaki küçük değişikliklerin bile performansta önemli farklılıklara yol açtığını göstererek akıl yürütmede endişe verici bir kırılganlık olduğunu ortaya koymuştur. Rapor edildiği üzere AppleInsider kapsamı"GSM-Sembolik kıyaslama sorularındaki sadece sayısal değerler değiştirildiğinde tüm modellerin performansı düşmektedir".

Karşı Saldırı: Düşünme Yanılsaması

Yapay zeka topluluğundan yanıtın gelmesi uzun sürmedi. Open Philanthropy'den Alex Lawsen, Anthropic'ten Claude Opus ile işbirliği içinde, aşağıdaki başlık altında ayrıntılı bir çürütme yayınladı "Düşünme Yanılsaması'.Apple çalışmasının metodolojilerine ve sonuçlarına itiraz ediyor.

Ana İtirazlar

  1. Çıktı Sınırları Göz Ardı Edildi: 'Muhakeme çöküşüne' atfedilen birçok başarısızlık aslında model çıktı belirteci sınırlarından kaynaklanıyordu
  2. Yanlış Değerlendirme: Otomatik komut dosyaları ayrıca kısmi ancak algoritmik olarak doğru çıktıları toplam başarısızlık olarak sınıflandırdı
  3. İmkansız Problemler: Bazı bulmacalar matematiksel olarak çözülemezdi, ancak modeller bunları çözemedikleri için cezalandırıldı

Doğrulama Testleri

Lawsen testleri alternatif metodolojilerle tekrarladığında - modellerden tüm hamleleri listelemek yerine özyinelemeli fonksiyonlar üretmelerini istediğinde - sonuçlar önemli ölçüde farklıydı. Claude, Gemini ve GPT gibi modeller, Apple'ın sıfır başarı bildirdiği karmaşıklığın çok ötesinde, Hanoi Kulesi problemlerini 15 kayıtla doğru bir şekilde çözdü.

Tartışmada Yetkili Sesler

Gary Marcus: Tarihsel Eleştirmen

Gary MarcusLLM'lerin akıl yürütme becerilerini uzun süredir eleştiren Marcus, Apple'ın bulgularını 20 yıllık tezinin doğrulanması olarak kabul etti. Marcus'a göre, LLM'ler 'zaten çözülmüş problemlerin iyi çözücüleri' olarak kalırken, 'dağıtım kayması' - eğitim verilerinin ötesine genelleme yeteneği - ile mücadele etmeye devam ediyor.

LocalLlama Topluluğu

Tartışma ayrıca aşağıdaki gibi uzmanlaşmış topluluklara da yayılmıştır Reddit'te LocalLlamageliştiricilerin ve araştırmacıların açık kaynak modelleri ve yerel uygulamalar için pratik sonuçları tartıştığı bir platformdur.

Tartışmanın Ötesinde: Şirketler İçin Ne Anlama Geliyor?

Stratejik Çıkarımlar

Bu tartışma sadece akademik bir tartışma değildir. Doğrudan etkileri vardır:

  • Üretimde Yapay Zeka Dağıtımı: Kritik görevler için modellere ne kadar güvenebiliriz?
  • Ar-Ge yatırımları: Bir sonraki atılım için kaynaklar nereye odaklanmalı?
  • Paydaşlarla İletişim: YZ yeteneklerine ilişkin gerçekçi beklentiler nasıl yönetilir?

Nörosembolik Yol

Birkaç makalede vurgulandığı gibi tekni̇k bi̇lgi̇lerbirleştiren hibrit yaklaşımlara giderek daha fazla ihtiyaç duyulmaktadır:

  • Örüntü tanıma ve dil anlama için sinir ağları
  • Algoritmik akıl yürütme ve biçimsel mantık için sembolik sistemler

Önemsiz bir örnek: muhasebeye yardımcı olan bir yapay zeka asistanı. Dil modeli, "bu ay seyahat için ne kadar harcadım?" diye sorduğunuzu anlar ve ilgili parametreleri çıkarır (kategori: seyahat, dönem: bu ay). Ancak veritabanını sorgulayan, toplamı hesaplayan ve mali kısıtlamaları kontrol eden SQL sorgusu? Bu, nöral model tarafından değil, deterministik kod tarafından yapılır.

Zamanlama ve Stratejik Bağlam

Apple makalesinin WWDC'den kısa bir süre önce yayınlanmış olması gözlemcilerin dikkatinden kaçmadı ve stratejik motivasyonlar hakkında soru işaretleri yarattı. Olarak9to5Mac tarafından analiz"Apple makalesinin zamanlaması - WWDC'den hemen önce - birkaç kaş kaldırdı. Bu bir araştırma dönüm noktası mıydı, yoksa Apple'ı daha geniş yapay zeka ortamında yeniden konumlandırmak için stratejik bir hamle miydi?"

Gelecek için Dersler

Araştırmacılar için

  • Deneysel Tasarım: Mimari sınırlamalar ve uygulama kısıtlamaları arasında ayrım yapmanın önemi
  • Titiz Değerlendirme: Bilişsel yetenekleri pratik kısıtlamalardan ayıran sofistike ölçütlere duyulan ihtiyaç
  • Metodolojik Şeffaflık: Deneysel Düzenekleri ve Sınırlamaları Tam Olarak Belgeleme Yükümlülüğü

Şirketler için

  • Gerçekçi Beklentiler: Gelecekteki Potansiyelden Vazgeçmeden Mevcut Sınırların Tanınması
  • Hibrit Yaklaşımlar: Farklı teknolojilerin güçlü yönlerini bir araya getiren çözümlere yatırım yapmak
  • Sürekli Değerlendirme: Gerçek hayattaki kullanım senaryolarını yansıtan test sistemleri uygulayın

Sonuçlar: Belirsizliğin Üstesinden Gelmek

Apple'ın makalelerinin tetiklediği tartışma, yapay zekayı anlamanın henüz erken aşamalarında olduğumuzu hatırlatıyor. Bizim de belirttiğimiz gibi önceki̇ makaleSimülasyon ve gerçek akıl yürütme arasındaki ayrım, zamanımızın en karmaşık zorluklarından biri olmaya devam etmektedir.

Asıl ders, LLM'lerin insani anlamda 'muhakeme' yapıp yapamayacağı değil, sınırlamalarını telafi ederken güçlü yönlerinden yararlanan sistemleri nasıl oluşturabileceğimizdir. Yapay zekanın halihazırda tüm sektörleri dönüştürdüğü bir dünyada, soru artık bu araçların 'akıllı' olup olmadığı değil, onları nasıl etkili ve sorumlu bir şekilde kullanacağımızdır.

Kurumsal yapay zekanın geleceği muhtemelen tek bir devrimci yaklaşımda değil, birbirini tamamlayan çeşitli teknolojilerin akıllıca düzenlenmesinde yatacaktır. Ve bu senaryoda, araçlarımızın yeteneklerini eleştirel ve dürüst bir şekilde değerlendirme becerisi, başlı başına bir rekabet avantajı haline geliyor.

Kuruluşunuzun yapay zeka stratejisi ve sağlam çözümlerin uygulanmasına ilişkin içgörüler için uzman ekibimiz özelleştirilmiş danışmanlıklar için hazırdır.

Kaynaklar ve Referanslar:

İşletmelerin büyümesi için kaynaklar