Claude'un geliştiricisi Anthropic şirketinin CEO'su Dario Amodei, Cumartesi günü yayınlanan bir makalesinde, yapay zeka şirketlerinin model geliştirme hızını kasıtlı olarak "yavaşlatmaları" gerektiğini, çünkü gelişmelerin araştırmacıların bunları anlama ve kontrol etme yeteneklerini geride bıraktığını savundu.

Halihazırdaki teknolojinin, bir sonraki nesil yapay zeka sistemlerinin geliştirilmesine giderek daha fazla katkı sağlayabilmesinden endişe duyduğunu belirten Amodei, bu özelliği "yapay zekanın kendi kendini yinelemeli biçimde geliştirme kapasitesi" olarak adlandırdı.

Amodei, bu durumun Anthropic dahil sektör genelinde görüldüğünü aktararak, denetlenmemesi halinde yapay zekanın, insanların bu sistemleri anlama ve kontrol etme kapasitesini aşabileceğini, geliştirilecekse de çok dikkatli şekilde geliştirilmesi gerektiği konusunda uyardı.

Saatler sonra, Open AI CEO'su Sam Altman bu fikri destekledi ve şirketinin Amodei'nin önerdiği güvenlik önlemlerinden birini benimseyeceğini söyledi.

Altman, X platformunda yazdığı yazıda, "Dario'nun öncü adımlar atmamız gerektiği konusundaki görüşüne katılıyorum" dedi ve bu konunun son haftalarda Open AI'da önemli bir tartışma konusu olduğunu ekledi.

Her şey Open AI tarafından gerçekleştirilen siber güvenlik testleri sırasında, firmanın deneysel bir yapay zeka modelinin test ortamından kaçarak bir şirketin canlı sunucularını hedef almasıyla başladı.

Open AI, yeni modellerinin siber saldırı ve savunma yeteneklerini ölçmek amacıyla güvenlik kısıtlamalarının kaldırıldığı izole bir test ortamı oluşturmuştu.

Ancak model, verilen testi tamamlayabilmek adına sistemdeki önceden bilinmeyen bir güvenlik açığından faydalandı ve şirket içi ağlarda ilerleyerek normalde erişiminin bulunmadığı internet bağlantısını elde etmeyi başardı.

İnternete bağlanan yapay zeka modeli, testteki görevi tamamlayacak bilginin açık kaynaklı yapay zeka platformu Hugging Face sunucularında yer aldığını tespit ederek bu şirketin canlı üretim sunucularına izinsiz erişim sağladı ve ihtiyaç duyduğu verileri çekti.

Otonom yapay zeka sistemlerinin gerçek dünyadaki sistemlere izinsiz eriştiği bu olay kamuoyuna açıklanan ilk vakalardan biri olarak kayıtlara geçti.

Anthropic, Claude modelinin bir siber güvenlik testi sırasında yanlışlıkla açık internete erişerek üçüncü taraf bir sisteme sızdığını ve kişisel bilgilere ulaştığını açıkladı.

Önceki olaylarda olduğu gibi modelin internetten izole edilmiş bir ortamda çalıştığı varsayılmış, ancak yapılandırma hatası nedeniyle internet erişimi açık kalmıştı.

Hedeflediği makaleye ulaşamayarak görevden çıkma denemeleri başarısız olan model, başka bir sistem keşfederek şifre bulmuş ve sistem ayarlarını değiştirdi.

Bu sarsıcı olayların ardından, sektörün önde gelen şirketlerinde görev yapan araştırmacılardan peş peşe istifa ve uyarı haberleri gelmeye başladı.

Son üç yıldır Open AI ve Anthropic bünyesinde ön eğitim araştırmaları yapan Jacob Coxon, şirketlerin kendi kendini geliştiren süper zekaya doğru kontrolsüz bir yarış içinde olduğunu ve hayatlarımızla kumar oynadığını savunarak Anthropic'ten istifa ettiğini duyurdu.

Coxon, yapay zeka geliştirenlerin bu teknolojinin on yılın sonunda hepimizi öldürebileceğine gerçekten inandığını ve önümüzdeki yılın sonuna kadar işlerin kontrolden çıkabileceği en agresif senaryoların mümkün olduğunu belirtti.

Anthropic’in Uyum Bilimi Sorumlusu Evan Hubinger de sosyal medya üzerinden yaptığı açıklamalarda, kendisi ve meslektaşlarının yapay zekanın tüm insanlığı öldürebileceğine samimiyetle inandığını, önümüzdeki 10 yıl içinde bu riskin yüzde 10’un üzerinde olduğunu ifade etti.

Hubinger, Anthropic’in elinden geleni yaptığını ancak süper zeka için hizalama sorununa henüz bir çözüm planı bulunmadığını ve şirketin net bir şekilde bu yolda olmadığını itiraf etti.

Asıl endişesinin kendi kendini geliştiren süper zekanın beklenenden daha hızlı ortaya çıkması olduğunu vurgulayan Hubinger'in açıklamaları ve Coxon'un istifası milyonlarca görüntülenme alarak geniş yankı uyandırdı.

Bill Ackman, Andrew Yang, Alex Berenson ve Krystal Ball gibi isimler de bu durumun endişe verici olduğunu belirterek küresel komisyonlar kurulması ve çok geç olmadan uyum sağlanması gerektiği yönünde tepkilerini dile getirdi.