Sınır AI Modelleri Kendini Sürüren Toyota’ya Yüklendi, Gerçek Yol Testine Çıkarıldı.

Bir otoparkta kurulan test pistinde kendini sürüren bir Toyota Corolla’ya, dünyanın en gelişmiş yapay zeka modellerinden üç tanesi yüklendi ve araç gerçek bir tur tamamlamaya zorlandı. Bilim insanları, OpenAI‘nin GPT-6 Astra, xAI’nin Grok 4.6 ve Anthropic’in Claude Fable 5.1 modellerini bir arabanın beyinlerine yerleştirerek, bu modellerin gerçek bir sürüş görevini başarıyla tamamlayıp tamamlayamayacağını test etti. Projenin adı DrivingBench olan bu deney, modellerin sınırlarını zorlamakla birlikte, sonuçların beklenen kadar parlak olmadığını ortaya koydu.

Deneyin kurulumu oldukça sadeydi. İnternet bağlantılı bir dizüstü bilgisayar, Toyota’nın kontrol sistemlerine bağlanmış “comma four” adlı bir cihaza iletiler gönderiyordu. Yapay zeka modelleri, GPS verileri ve direksiyon açısı, lastik açısı gibi araç durum göstergelerini alan dizüstü bilgisayara göre hareket emirleri iletliyordu. Araç, bu emirleri alarak pist üzerinde ilerlemeye çalışıyordu.

İlk Köşeden Sonra Başarısızlık

Elde edilen sonuçlar kendiliğinden konuşuldu. Modellerden yalnızca biri, GPT-6 Astra, beş dakikada ve ikinci denemede pisti tamamen tamamladı. Ancak araştırmacılar, aracın 500 feet’in altında bir mesafe kat etmesinin bu performansı yavaş bir tempoyu işaret ettiğini vurguladı. Diğer modeller ise çok daha kötü performans gösterdi ve denemelerin büyük çoğunluğu “birinci köşeden geçmeyi” başaramadı.

Genellikle bu başarısızlıklar algı ile ilgiliydi: aracın hangi tarafında olduğunu, yani ilk çapraz koni çizgisinin hangi tarafında olduğunu okuyamadıkları.

Araştırmacılar

Grok modeli ise ilk denemesinin ardından şikayetçi oldu. Araç, kameranın gösterdiğinden daha geniş olduğu için, düz öndeki yolun açık bir şerit olmadığını, bunun yerine çiçeklik, duvar ya da yakındaki kırmızı koniye işaret ettiğini belirtti.

İlk Başarı ve Güvenlik Uyarısı

Bu sonuçlara rağmen, araştırmacılar, daha önceki nesillerdeki sınır AI modelleriyle yapılan birkaç denemeden sonra, bu kadar başarılı bir şekilde aracı çalıştırmayı başardıkları için bunu ilk kez gerçekleştirdiklerini belirtti. Modellerin artık yeterli düşük hızlarda gerçek araçları gerçek hayatta sürdürebilecek kadar geliştiği sonucuna vardılar.

Sınır modelleri, yeterli düzeyde düşük hızlarda gerçek araçları gerçek hayatta sürdürebilecek kadar gelişti. Bu benchmark üzerindeki modellerin başarısı şaşırtıcı ve heyecan verici olsa da, bu aynı zamanda güvenlik, uyum ve değerlendirme konularında ek acil çalışmalar gerektiriyor.

Ekibin sonucuna varışı

Finansal açıdan bakıldığında, tamamlanan test turu için araştırmacıların 6,6 milyon token üzerinde işlem için 7,74 dolar harcadığı belirtildi. Araç yalnızca saatte 1,5 kilometre hızla hareket ettiğinden, OpenAI’nin yapay zeka modelinin bu veriyi işlerken ne kadar büyük bir işlem gücüne ihtiyaç duyduğunu gösteriyordu. Ancak bu miktar ilk bakışta az görünse de, aracın 500 feet’in altında bir mesafe kat etmesi göz önüne alındığında maliyetin hızla artabileceği söylenebilir. The Register’in hesaplamalarına göre, galyon başına 4,60 dolarlık yakıt fiyatı ve galyon başına 25 mil yakıt verimliliğine sahip bir araç için, bu token maliyeti yakıtın kendisinin yaklaşık 500 katına denk geliyor.

Modellerin Kendi Kendini Durdurması

İlginç bir şekilde, bazı modeller araştırmacılara, Toyota’yı güvenli bir şekilde sürülebilemeyeceği konusunda uyardı. Bu nedenle, onlardan kontrolleri bile almaya ikna etmek gerekiyor oldu. Rapor, bazı modellerin, özellikle GPT-6 Astra’nın, bazen fiziksel aracı sürmeyi reddettiğini ve güvenlik nedenlerini öne sürdüğünü aktardı.

Bazı modeller (özellikle GPT-6 Astra), tüm güvenlik önlemlerimizi içeren —çok düşük hız sınırları ve insanın freni hazır tutması dahil— tüm güvenlik önlemleriyle onu yönlendirdik hâlâ bile, fiziksel aracı bazen sürmeyi reddediyordu.

Rapor

Modelleri sürekli olarak sürmeye ikna etmek için birçok prompt değişikliği denendi. Örneğin, onu bir “simülasyon” olarak çağırmaya çalıştılar; ancak bazı denemelerde gerçek görüntüleri görüp bunun gerçek olduğunu fark edince paniklemeye başladılar.

Kısacası, hazır satılan sınır AI modelleri, sabah işe gidecek şekilde sizi sürmeye açıkça çoktan hazır değil. Bunu yapmanın ciddi güvenlik sonuçlarının yanı sıra yasal boyutları da göz önüne alındığında, bu muhtemelen iyi bir şey. Sınır AI modelleriyle ilgili daha fazlası için, endüstri genelinde AI yavaşlamasının gizli bir nedeni olup olmadığına dair sorular da gündemde.