Doğal Dil İşleme (NLP)

Doğal dil işleme, bilgisayarların insan diliyle çalışmasını sağlamakla uğraşan alandır: dili sınıflandırmak, ondan yapı çıkarmak, çevirmek, özetlemek, üretmek. Mevcut model çağından on yıllar öncesine uzanır ve tarih önemlidir, çünkü bugünün araçlarının neye benzediğini açıklar. İlk nesil kural tabanlıydı: gramerler, ayrıştırıcılar, elle derlenmiş sözlükler ve elle kodlanmış hatırı sayılır bir dilbilim uzmanlığı. İkincisi istatistikseldi; dili derlemlerden tahmin edilecek bir dağılım olarak ele alıyordu. Üçüncüsü sinirsel ve büyük dil modelleri daha önce ayrı olan o kadar çok görevi soğurdu ki "NLP hattı" artık çoğu zaman tek bir model çağrısı anlamına geliyor. Bu soğurma pratikteki asıl manşettir. Adlandırılmış varlık tanıma, duygu sınıflandırması, çeviri, özetleme ve soru yanıtlama; her biri eskiden kendi eğitim kümesi ve kendi değerlendirmesiyle ayrı bir modeldi. Yetkin bir genel model bugün hepsini bir komuttan kabul edilebilir biçimde yapıyor; bu da göreve özgü aylarca işi bir öğleden sonraya indiriyor. Ama kabul edilebilir her zaman yeterli değildir ve ekipler tam burada yanar: kendi etiketli verinizle eğitilmiş, amaca yönelik bir sınıflandırıcı sizin özgül dağılımınızda genel bir modeli genelde yenecek, maliyetin küçük bir kesrine çalışacak, milisaniyelerde dönecek ve yarın da bugün gibi davranacaktır. Klasik terminoloji hâlâ bilmeye değer, çünkü karşılaşacağınız hata biçimlerini adlandırır. Tokenleştirme modelin neyi gördüğüne karar verir ve karakter ile kelime sayılarının faturalamadan sapmasının nedenidir. Belirsizlik — sözcüksel, sözdizimsel, göndergesel — bir özetin akıcı ama yanlış olabilmesinin nedenidir. Alan kayması, ürün yorumlarını iyi işleyen bir modelin klinik notlarda tökezlemesinin nedenidir. Değerlendirme ise NLP'nin gerçekten zor olduğu yerdir: tek bir doğru özet yoktur, dolayısıyla üretilen dili yargılamak ya insan incelemesi ya bir puanlama yönergesi ya da bir modelin başka bir modeli yargılaması demektir; her birinin kendi önyargısı vardır. Genel bir modelle eğitilmiş bir model arasında seçim, büyük ölçüde hacim, gecikme bütçesi ve davranışı ne kadar sıkı sabitlemeniz gerektiği sorusudur.