DOĞAL DİL İŞLEME (DDİ) NEDİR?

Doğal Dil İşleme, yaygın olarak NLP (Natural Language Processing) olarak bilinen Yapay zekâ ve Dil bilimi alt kategorisidir. Türkçe, İngilizce, Almanca, Fransızca gibi doğal dillerin (insana özgü tüm diller) işlenmesi ve kullanılması amacı ile araştırma yapan bilim dalıdır.

Uzman Sistemler ve Doğal Dil İşleme

NLP yani Doğal Dil İşleme, doğal dillerin kurallı yapısının çözümlenerek anlaşılması veya yeniden üretilmesi amacını taşır. Bu çözümlemenin insana getireceği kolaylıklar, yazılı dokümanların otomatik çevrilmesi, soru-cevap makineleri, otomatik konuşma ve komut anlama, konuşma sentezi, konuşma üretme, otomatik metin özetleme, bilgi sağlama gibi birçok başlıkla özetlenebilir. Bilgisayar teknolojisinin yaygın kullanımı, bu başlıklardan üretilen uzman yazılımların gündelik hayatımızın her alanına girmesini sağlamıştır. Örneğin, tüm kelime işlem yazılımları birer imla düzeltme aracı taşır. Bu araçlar aslında yazılan metni çözümleyerek dil kurallarını denetleyen doğal dil işleme yazılımlarıdır.

Batı dillerinde SAPI (Microsoft şirketinin konuşma sentezleyici üretmek amacı ile satışa sunduğu geliştirici program) tabanlı Konuşma sentezleyici bileşenleri, yazılımcıların multimedia (çoklu ortam) sunuları hazırlamaları için hizmete sunulmuştur.

Konuşma ve komut anlama yazılımları ise gelecekte insan ve bilgisayar arasındaki klavye, fare gibi veri girişi aygıtlarını ortadan kaldıracak yazılımlardır. Bu gelişmeler makine-insan iletişiminde yeni ve devrimci değişimlere yol açacak ve bilgisayarların daha çok insan tarafından kabul görmesine yol açacaktır.

Doğal dil işleme, ana işlevi doğal bir dili çözümleme, anlama, yorumlama ve üretme olan bilgisayar sistemlerinin tasarımını ve gerçekleştirilmesini konu alan bilim ve mühendislik dalıdır. Doğal Dil İşleme, yapay zeka (bilgi gösterimi, planlama, akıl yürütme, vb. ), biçimsel diller kuramı (dil çözümleme), kuramsal dil bilim, bilişsel psikoloji gibi çok değişik alanlarda geliştirilmiş kuram, yöntem ve teknolojileri bir araya getirir. 1950 ve 1960 ‘larda yapay zekanın küçük bir alt alanı olarak görülen bu konu, araştırmacıların ve gerçekleştirilen uygulamaların elde ettiği başarılar sonunda artık bilgisayar bilimlerinin temel bir disiplini olarak kabul edilmektedir.

Doğal dil işleme (ddi), önümüzdeki yıllarda insanların bilgisayarlar ile etkileşiminde temel birtakım değişiklikler getirmeye aday teknolojilerden biridir. DDİ‘nin ucuz bilgisayar gücüne dayanması nedeniyle önceleri beklenen sonuca göre çok pahalı olan DDİ uygulamaları için güçlü bilgisayarların ortaya çıkışı büyük değişiklikler yapmıştır.

Doğal Dil İşleme alanındaki araştırmalarda temel amaçlar genellikle şunlar olmuştur:

-Doğal dillerin işlev ve yapısını daha iyi anlamak
– Bilgisayarlar ile insanlar arasındaki ara birim olarak doğal dil kullanmak ve bu şekilde bilgisayar ile insanlar arasındaki iletişimi kolaylaştırmak
– Bilgisayar ile dil çevirisi yapmak

DDİ sistemleri, beş ana seviyede incelenir. Bu seviyeler şöyledir:

• Ses bilim (phonology)
• Biçim bilim (morphology)
• Söz dizim bilim (syntax)
• Anlam bilim (semantics)
• Kullanım bilim (pragmatics)

Ses Bilim

Sesbilim harflerin seslerini ve bunlarin dil içinde nasıl kullanıldığını inceler. tüm dillerin bir alfabesi vardır. her harfin sesi diğerlerinden farklıdır ve bu ses birimlerine fonem adı verilir. sesbilimde ana problem ses dalgalarının sürekli olmasına ragmen fonemlerin kesikli olmasıdır. konuşmayı anlamak için, sürekli akan konuşma kesikli seslere bölümlenmelidir. daha sonra sesler ve fonemler sınıflandırılmalıdır. bu karmaşık problem örüntü tanıma kapsamında ele alınır.

Biçim Bilim

biçimbilim sözcük oluşumunu ele alan bilimdir. bu aşamada temel amaç kelimenin kökünü ve eklerini doğru olarak tespit ve tasnif edebilmektir. bir kelimede eklerin sırası ve yapısı, yapım ve çekim eklerinin belirlenmesi gibi işlemler bu seviyede yapılır.

Söz Dizim Bilim

Sözdizimbilim, sözcüklerin cümle oluşturmak için ne şekilde sıralanmaları gerektiğini inceler. kelimelerin cümle içindeki yapısal görevlerini, öbekleri ve bunları oluşturan alt öbekleri tanımlar. sözcüklerin birleştirilerek cümlelerin oluşturulması veya bir cümlenin bileşenlerine ayrıştırılması(parsing) işlemleri bu aşamada gerçekleştirilir.

Anlam Bilim

Anlambilim, dilin gerçek dünya ile iletişim kurduğu düzeydir. kelimelerin anlamlarını ve bunların cümlenin anlamını oluşturmak için nasıl bir araya geldiklerini inceler.

Kullanım Bilim

Kullanım bilim, cümlelerin normal anlamından farklı bir anlamda kullanıldığı durumları inceler. örneğin “Pencereyi açabilir misiniz” cümlesi soru değil istektir. bazıları tarafından anlam bilimin altkümesi olarak ele alınmaktadır.

Yapay Zekâ ve Doğal Dil İşleme

Gelecekte, konuşma sentezleyiciler ve konuşma anlama alanındaki gelişmeler ve makine-insan iletişiminin gelişmesi, insanın makineden beklentilerini yükseltecektir. İnsanlar makinelerin kendisini anlamalarını isteyecek, karmaşık kullanımı olan makineler pazar bulamayacaktır. Giderek gelişen ve insanı anlayan makinelerin daha zeki olması insanın yaşam kalitesini yükselteceğinden, vazgeçilmez olması kaçınılmazdır. Zeki makine kavramı, yapay zekâ çalışmalarının hızlanmasına yol açmıştır. Geleceğin en önemli sektörlerinden biri olan yapay zekâ ile insanın iletişim kuracağı tek araç dildir.

Dil, insanoğlunun uygarlaşmasını sağlamakla kalmamış, onun zekâsının doğada daha önce görülmemiş şekilde parlamasını sağlamıştır. Kültür dediğimiz insanlık birikimi, dil kullanan ve iletişim kuran insanın sosyalleşme sürecinin ürünüdür. Dil yeteneği, insan beyninin nasıl çalıştığına ışık tutan insan türüne özgü tek özellik olduğu için dilbilim bilişsel bilimlerde önemli bir yer tutar.

Doğal dilin [2] yapısının belirlenmesi, bilgi şifreleme işlemleri, konuşma tanımlama [3], optik karakter belirleme [4], yazı doğrulama [5] gibi işlemlerde yardımcı olur. Ayrıca yazılan bir kelimeye göre bir sonraki kelimenin tahmin edilebilmesi özellikle engelli insanların haberleşmesi için çok önemlidir. Ancak bunu yaparken tahmin edilebilen kelime sayısının çok fazla olduğu unutulmamalıdır. Bu nedenle sadece yazıdaki önceden yazılan kelimelere göre gelme olasılığı çok olan kelimeler tahmin edilebilir [6]. “Doğal Dil İsleme” (DDİ), akademik araştırmalarda ve ticari amaçlarla kullanılmaktadır. DDİ, doğal dili isleyen ve anlayan bir sistemin oluşturulması olarak tanımlanabilir [7].

DDİ’de derlemi oluşturup kullanan iki çeşit analiz bulunmaktadır; Biçimbilimsel ve istatistiksel Analiz[8]. Biçimbilimsel analiz, cümle sonu belirleme, kelime türlerini (isim, sıfat, vb.) belirleme ve kelimelerin parçalarını (kök, ek, vb.) analiz etme gibi kelimelerin biçimsel durumlarını inceler. İstatistiksel analiz iki türlü yapılabilir; harfler ve kelimeler üzerine. Sesli ve sessiz harflerin dizilimi, harflerin ngram analizleri, harfler arasındaki ilişkiler, vb. harfler üzerinde yapılabilen analizlerdir, buna “Harf Analizi” denir. Bir kelimedeki harf sayısı, kelimelerin n-gram frekansları, kelimelerin cümle içindeki dizilimi gibi analizler kelime üzerinde yapılabilir ve “Kelime Analizi” olarak adlandırılır. (Kelime analizi yaparak metin içerisindeki kelime sıklığını bulan C# programımızı görmek için ilgili yazıya gidebilirsiniz. – Metin İçindeki En Çok Kullanılan Kelimeleri Bulma)

Derlemin bazı tanımları aşağıda verilmiştir:

• Derlem, dilbilimsel bilginin koleksiyonudur, yazılı ya da kaydedilen konuşmalar seklinde olabilir [9].

• Doğal olarak meydana gelen metinlerden dilin çeşitliliğini ve durumunu belirlemek amacıyla seçilen ve bir araya getirilen metinler [10].

• Doğal dil isleme alanında kullanılmak için yazılardan oluşturulmuş özel bir veri tabanıdır ve kelimeleri hızlı şekilde bulma ve isleme gibi özel işlemleri yapmaya izin verir.

Doğal Dil İşleme konusunda farklı çalışmalara ve örneklere sitemiz üzerinden ulaşabilirsiniz.

Bu yazıyı hazırlarken kullandığımız kaynaklar :

1. http://tr.wikipedia.org/wiki/Do%C4%9Fal_dil_i%C5%9Fleme (15.01.2014)
2. Aktaş, Ö. (2006). Türkçe için Verimli bir Cümle Sonu Belirleme Yöntemi. Paper presented in Akademik Bilişim 2006/Bilgi Teknolojileri Kongresi IV, Pamukkale University, Denizli.
3. Nadas, A. (1984). Estimation of probabilities in the language model of the IBM speech recognition system. IEEE Transactions on Acoustics, Speech, and Signal Processing, 32:4, sayfa 859-861
4. Kukich K. (1992). Technique for automatically correcting words in text. Periodical Issue Article of ACM Press, sayfa 77439.
5. Church, K. & Gale, W. (1991). Probability Scoring for Spelling Correction. Statistics and Computing, sayfa 93-103.
6. Jurafsky, D. ve Martin, J.H. (2000). Speech and Language Processing, Prentice Hall, sayfa 193-199.
7. Güngördü Z. (1993). A lexical-functional grammar for Turkish. Yüksek Lisans Tezi. Bilgisayar Mühendisligi Bölümü , Bilkent Üniversitesi,
8. Shannon, C.E. (1951). Prediction and Entropy of Printed English. The Bell System Technical Journal, 30:1, sayfa 5064.
9. Crystal,D. (1991). A Dictionary of Linguistics and Phonetics, Blackwell,üçüncü basım.
10. Sinclair,J. (1991). Corpus Concordance, Collocation. OUP   
11. https://eksisozluk.com/entry/6443655