Dil Algılama API'si

Smodin, 176 dili destekleyen yeni Dil Algılama API'sının piyasaya sürüldüğünü duyurdu

Uygulamalarımızı iyileştirmek için bir dil algılayıcıya ihtiyaç duyduğumuzdan, bir çözüm bulmaya karar verdik.

İlk başta, Google bunu çok kolay gösterdiği için kolay olacağını düşündük, ancak öğrendiğimiz kadarıyla bu kolay bir iş değildi, aksine dil algılama her zaman zor bir iş olmuştur.

Büyük bir makine öğrenimi modeli gerektirmeyen, metinden dili tahmin etmek için en iyi seçeneği ararken, en iyi çözümün, saniyede binlerce belgeyi sınıflandırabilen ve 1 MB'tan az bellek alan önceden eğitilmiş bir dil tanımlama modeli olduğunu keşfettik.

Birçok ince ayar ve iyileştirmeden sonra, her dil için güvenilir bir şekilde iyi doğruluk oranları sağlayabilen bir araç geliştirdik.

Gerçekten iyi doğruluk dereceleri sunmakla kalmaz, aynı zamanda hızlı ve güvenilir bir hız da sağlar. İşte ülke bazında doğruluk listesi.

%99 Doğruluk Oranı*: Fransızca (fr), İngilizce (en), Almanca (de), Portekizce (pt), Türkçe (tr), Felemenkçe (nl), İtalyanca (it), İspanyolca (es), Macarca (hu), Esperanto (eo), Lehçe (pl), Fince (fi), Rusça (ru), Makedonca (mk), Ukraynaca (uk), Litvanyaca (lt), Vietnamca (vi), Yunanca (el), Marathi (mr), Arapça (ar), İbranice (he), Hintçe (hi), Uygurca (ug), Japonca (ja), Gürcüce (ka), Bengalce (bn), Urduca (ur), Tayca (th), Çince (zh), Ermenice (hy), Malayalamca (ml), Korece (ko), Khmerce (km), Birmance (my), Tamilce (ta), Kannadaca (kn), Telugu (te), Pencapça (pa), Lao (lo), Guceratça (gu), Tibetçe Standart (bo), Divehi (dv), Sinhala (si), Amharca (am).

%90 Doğruluk Oranı*: Danca (da), Romence (ro), İsveççe (sv), Latince (la), Bulgarca (bg), Çekçe (cs), Tagalogca (tl), Endonezce (id), Tatarca (tt), İzlandaca (is), Belarusça (be), Baskça (eu), Bretonca (br), Kazakça (kk), Letonca (lv), Estonca (et), İrlandaca (ga), Çuvaşça (cv), Başkurtça (ba), Osetçe (os), Tacikçe (tg).

*Bilgiler, en fazla test verisi sırasına göre sunulmuştur. Veriler, 30-250 karakter uzunluğundaki cümlelerden oluşmaktadır. Testler yalnızca en popüler 100 dilde yapılmıştır. Testler, 300 karakter ve üzeri uzunluktaki cümlelerin çoğunda %99'a yakın bir doğruluk oranı göstermiştir.

Mükemmel sonuçlar elde edemezsiniz, ancak en iyi doğruluk oranı (çoğu dilde, hatta az bilinen dillerde bile %99'un üzerinde) 300 karakter ve üzeri metinlerde görülür. Metin uzunluğuna bakılmaksızın, ne kadar uzun olursa o kadar iyidir.

Wiki'de belirtildiği gibi: dil tanımlama veya dil tahmin etme, verilen içeriğin hangi doğal dilde olduğunu belirleme sorunudur. Bu soruna yönelik hesaplamalı yaklaşımlar, bunu çeşitli istatistiksel yöntemlerle çözülen metin sınıflandırmasının özel bir durumu olarak görür.

Dil algılama hizmetleri çeşitli şekillerde kullanılabilir; örneğin, sohbet ve e-posta gibi iş metinlerinin dilini tanımlamak için kullanılabilir.
Bu hizmet, metnin dilini ve dilin değiştiği metin bölümlerini kelime düzeyine kadar tanımlayabilir.

Günümüzün dijital dünyasında, içeriği erişilebilir hale getirmek her zamankinden daha önemli hale gelmiştir, özellikle de videolar söz konusu olduğunda. YouTube gibi platformlar için, bir YouTube altyazı çevirmeni büyük bir fark yaratabilir ve içerik oluşturucuların daha geniş, küresel bir kitleye ulaşmasına yardımcı olabilir. Doğru altyazı çevirileri dil engellerini ortadan kaldırır ve videoların dünyanın her yerinden izleyicilerin ilgisini çekmesini sağlar.

Dil algılama hizmetlerini kullanarak Surveillance Insights, metinde kullanılan dili vurgulayabilir ve açıklama ekleyebilir ve potansiyel olarak şüpheli faaliyetlerin tespit edilmesine yardımcı olabilir.

E-posta veya sohbet gibi iş metinleri farklı dillerde olabilir.

Çeşitli bölgelerde faaliyet gösteren işletmeler için çok dilli çevirmenler inanılmaz derecede faydalı olabilir. Bu teknolojiyi kullanarak şirketler, birden fazla dilde etkili iletişim kurma becerilerini geliştirebilir, müşteri deneyimini iyileştirebilir ve küresel erişimlerini genişletebilir. Yerelleştirme ihtiyacının artmasıyla birlikte, güvenilir bir çok dilli çevirmen, farklı kitlelere hitap eden içerik sunmada önemli bir destek sağlayabilir.

Doğal dil işleme sürecinin önemli bir parçası, her metnin ilgili dile özgü adımlar aracılığıyla işlenebilmesi için hangi dilin ana dil olduğunu belirlemektir.

Bazı durumlarda, insanlar izlemeyi önlemek veya yasa dışı faaliyetleri gizlemek için sohbetlerde kullanılan dili değiştirebilirler. Sohbet dilinin değiştirildiği noktayı belirlemek, şüpheli bir faaliyetin olup olmadığını tespit etmek için çok yararlıdır.

API'mızı kullanmak isterseniz, BURAYA tıklayarak API ve fiyatlandırması hakkında daha fazla bilgi edinebilirsiniz.

API hizmeti sunmanın yanı sıra, bunu açık kaynak olarak yayınlamaya da karar verdik.
Bu, ilk açık kaynak yayınımızdır! Dil algılayıcı açık kaynak, BURADA mevcuttur.