Bu algoritma yalnızca video izleyerek dil öğrenebiliyor

Massachusetts Teknoloji Enstitüsünde (MIT) geliştirilen DenseAV, multimedya arama, dil öğrenme ve robot bilimindeki potansiyel uygulamalarla yalnızca konuşan insanların videolarını izleyerek dilin anlamını ayrıştırmayı ve anlamayı öğreniyor.

Bu yeni algoritma hayvanlar arasındaki iletişimi çözebilir

Elektrik mühendisliği ve bilgisayar bilimleri alanında doktora öğrencisi olan Mark Hamilton, bu projeyi MIT’nin Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’ndaki meslektaşlarıyla birlikte yönetiyor. İnsan dili ediniminden başlayarak hayvan iletişimini çözmek için makinelerden yararlanmayı amaçlıyorlar.

Bu yeni algoritmanın ilham kaynağı ise bir film. Bir sahnesinde penguen yere düşüyor ve kalkmaya çalışırken inliyor. Hamilton, bu iniltinin bir kelimeyi ima ediyor gibi göründüğünü gözlemleyerek ses ve videonun bir algoritmaya dil öğretmek için birlikte kullanılabileceği fikrini düşünüyor.

Bu fikir, görsel içeriği sesten tahmin ederek dili öğrenmek için tasarlanmış bir model olan DenseAV’ın ortaya çıkmasına yol açtı. Örneğin, “pastayı 350’de pişir” ifadesini duymak modelin bir pasta veya fırın görseli beklemesine neden olacaktır.

Ancak milyonlarca video arasında ses-görüntü eşleşmesini mümkün kılmak için DenseAV’ın insanların tartıştığı bağlamı öğrenmesi gerekiyor. Araştırma ekibi, DenseAV’ı bu eşleştirme görevi konusunda eğittikten sonra modelin sesleri işlerken hangi piksellere odaklandığını inceledi.

“Köpek” kelimesi söylendiğinde algoritma, video akışında köpek görsellerini aradı ve bu da kelimenin anlamını anladığını gösterdi. Benzer şekilde bir köpeğin havlamasını duyduğunda videodaki köpekleri aradı.

Ekip, DenseAV’ın “köpek” kelimesi ile köpek havlaması sesi arasında ayrım yapıp yapamayacağını merak ediyordu. DenseAV’a çift beyinli bir yaklaşım uygulayarak, bir tarafın doğal olarak “köpek” kelimesi gibi dile odaklandığını, diğer tarafın ise havlama gibi seslere odaklandığını keşfettiler. 

Ekip, önceden eğitilmiş dil modellerini kullanmadan dilin özünü sıfırdan yeniden keşfetmeyi hedeflediğinden, metin girişi olmadan dil öğrenme konusunda zorlu bir görevle karşı karşıya kaldı. Bu yöntem, çocukların çevrelerini gözlemleyerek ve dinleyerek dili nasıl öğrendiklerinden ilham almaktadır.

Daha Fazla Video

donanimhabercom Instagram Takip Et

Xiaomi’den fütüristik su tabancası

Exadious 2 ay önce

Efsane Türkiye’ye gelse alırım..

E

E_Y_B_H_P_T 2 ay önce

2

O ışık efektleri sadece yanlarda değil üstte de olmalıydı. Böylece tabancayı kullanan, kafasını yana eğmek zorunda kalıp, fıtık olmaz. Aynısını küçükken ışıklı ayakkabımda yaşamıştım oradan biliyorum. Ayakkabıma yan bakmaktan düz yürüyemiyordum. Hava atmaktan ziyade o havayı yaşamayı tercih ederim. 7 de olsam 70 de olsam kararım değişmeyecek.

emrahmt 4 ay önce

Mukemmel bir silah acaba ne kadar hızlı atıyor. [resim] [resim]

garez41 4 ay önce

Fiyat makul olsa efsane olur gerçekten ya.

Rindaman 5 ay önce

Vay bee, bu cihaz xiaomi çıktı ben de diyordum kim üretmiş..

D

DH Misafiri 6 ay önce

hocam 4x daha iyi direk hs attirir

Mstt.2010 7 ay önce

Über

SUPERSONICQ 7 ay önce

Evet ama 6x scop daha iyi gider buna daha uzaktaki hedefler için. Gerektiğinde 3x’e de çekebilirsin falan 😀

SupremeMasterr 8 ay önce

Muskun alev tabancası vs bu

ccguven 9 ay önce

2

İstilacı güvercinlere karşı iyi olur. 5 10 dk da bir sopayı alıp kovalamak yordu artık.

rszx247 9 ay önce

Yakında su atan F18 falanda yaparlar 🙂

X

xsw 9 ay önce

1

Hazneye kezzaplı su doldurup nişan almak yapmayın böyle şeyler yahu…

alex59 10 ay önce

2

Xiaomi kendini çok geliştirdi artık her alanda kaliteli işler yapıyorlar.

Rhodope Thrax 10 ay önce

fışkırttığı su mermi gibi isabetli gitmeyeceği için gereksiz diye düşünmüş olabilirler.

RaptorFX 10 ay önce

Lazer nişangah da eklenseymiş tadından yenmezmiş.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir