API การตรวจจับภาษา

Smodin ประกาศเปิดตัว Language Detection API ใหม่ที่รองรับ 176 ภาษา

เนื่องจากจำเป็นต้องมีเครื่องตรวจจับภาษาเพื่อปรับปรุงแอปพลิเคชันของเรา เราจึงตัดสินใจค้นหาวิธีแก้ปัญหา

ในตอนแรกเราคิดว่ามันจะง่ายเนื่องจาก Google ทำให้มันดูง่ายมาก แต่เมื่อเราค้นพบ มันไม่ใช่งานง่ายเลย ตรงกันข้าม การตรวจจับภาษาเป็นงานที่ยากมาโดยตลอด

ในการค้นหาตัวเลือกที่ดีที่สุดในการทำนายภาษาจากข้อความที่ไม่จำเป็นต้องใช้โมเดลการเรียนรู้ของเครื่องขนาดใหญ่ เราพบว่าโซลูชันที่ดีที่สุดคือโมเดลการระบุภาษาที่ผ่านการฝึกอบรมไว้ล่วงหน้าซึ่งใช้หน่วยความจำน้อยกว่า 1MB แต่สามารถจำแนกเอกสารได้หลายพันรายการต่อวินาที

หลังจากปรับแต่งและปรับปรุงมากมาย เราได้พัฒนาเครื่องมือที่สามารถให้ความแม่นยำที่ดีสำหรับแต่ละภาษาได้อย่างมั่นใจ

ให้คะแนนความแม่นยำที่ดีเยี่ยม ไม่เพียงเท่านั้น แต่ยังรวดเร็วและเชื่อถือได้อีกด้วย นี่คือรายการความแม่นยำของแต่ละประเทศ

ภาษาที่แม่นยำ 99%*: ฝรั่งเศส (fr), อังกฤษ (en), เยอรมัน (de), โปรตุเกส (pt), ตุรกี (tr), ดัตช์ (nl), อิตาลี (it), สเปน (es), ฮังการี (hu), เอสเปรันโต (eo), โปแลนด์ (pl), ฟินแลนด์ (fi), รัสเซีย (ru), มาซิโดเนีย (mk), ยูเครน (สหราชอาณาจักร), ลิทัวเนีย (lt), เวียดนาม (vi), กรีก (el), มราฐี (mr), อาหรับ (ar), ฮิบรู (เขา), ฮินดี (สวัสดี), อุยกูร์ (ug), ญี่ปุ่น (ja), จอร์เจีย (ka), เบงกาลี (bn), อูรดู (ur), ไทย (th), จีน (zh), อาร์เมเนีย (hy), มาลายาลัม (ml), เกาหลี (ko), เขมร (กม.), พม่า (ของฉัน), ทมิฬ (ta), กันนาดา (kn), เตลูกู (te), Panjabi (pa), ลาว (lo), คุชราต (gu), มาตรฐานทิเบต (bo), Divehi (dv), สิงหล (si), อัมฮาริก (am)

ภาษาที่มีความแม่นยำ 90%*: ภาษาเดนมาร์ก (da), ภาษาโรมาเนีย (ro), ภาษาสวีเดน (sv), ภาษาละติน (la), ภาษาบัลแกเรีย (bg), ภาษาเช็ก (cs), ภาษาตากาล็อก (tl), ภาษาอินโดนีเซีย (id), ภาษาตาตาร์ (tt), ภาษาไอซ์แลนด์ (is), ภาษาเบลารุส (be), ภาษาบาสก์ (eu), ภาษาเบรตอน (br), ภาษาคาซัค (kk), ภาษาลัตเวีย (lv), ภาษาเอสโตเนีย (et), ภาษาไอริช (ga), ภาษาชูวัช (cv), ภาษาบัชคีร์ (ba), ภาษาออสซีเชีย (os), ภาษาทาจิก (tg)

*Information is presented in order of most test data. Data were sentences of 30-250 characters in length. Testing was only done on the most popular 100 languages. Testing showed near a 99% accuracy for the majority of sentences at or above 300 characters ใน length.

แม้ว่าคุณจะไม่ได้ผลลัพธ์ที่สมบูรณ์แบบ แต่ความแม่นยำสูงสุด (99%+ สำหรับหลายภาษา แม้แต่ภาษาที่ไม่ค่อยมีคนรู้จัก) จะเห็นได้ที่ 300 ตัวอักษรขึ้นไป ไม่ว่าข้อความจะมีความยาวเท่าใด ยิ่งยาวก็ยิ่งดี

ตามที่วิกิกล่าวไว้ การระบุภาษาหรือการเดาภาษาเป็นปัญหาในการกำหนดว่าเนื้อหาที่กำหนดนั้นอยู่ในภาษาธรรมชาติใด แนวทางการคำนวณสำหรับปัญหานี้มองว่าเป็นกรณีพิเศษของการจัดหมวดหมู่ข้อความ ซึ่งแก้ไขได้ด้วยวิธีการทางสถิติต่างๆ

Language detection services can be used ใน various ways, for example, they could be used to identify the language of business texts, such as chat and email.
The service can identify the language of the text and the parts of the text where the language has changed, down to the word level.

ในโลกดิจิทัลทุกวันนี้ การทำให้เนื้อหาเข้าถึงได้มีความสำคัญยิ่งกว่าที่เคย โดยเฉพาะอย่างยิ่งเมื่อเป็นเรื่องของวิดีโอ สำหรับแพลตฟอร์มอย่าง YouTube เครื่องมือแปลคำบรรยายของ YouTube สามารถสร้างความแตกต่างอย่างมาก ช่วยให้ผู้สร้างคอนเทนต์เข้าถึงผู้ชมทั่วโลกได้กว้างขึ้น การแปลคำบรรยายที่แม่นยำจะทำลายกำแพงด้านภาษาและทำให้มั่นใจได้ว่าวิดีโอจะดึงดูดผู้ชมจากทั่วทุกมุมโลก

Using language detection services, Surveillance Insights can highlight and annotate the language used ใน text and help identify potentially suspicious activities.

Business texts such as email or chat can be ใน different languages.

For businesses that operate across various regions, a multi-language translator can be incredibly beneficial. By incorporating this technology, companies can enhance their ability to communicate effectively in multiple languages, improving customer experience and broadening their global reach. With the increasing need for localization, a reliable multi-language translator can provide essential support ใน delivering content that resonates with diverse audiences.

ส่วนสำคัญของกระบวนการประมวลผลภาษาธรรมชาติคือการกำหนดว่าภาษาใดเป็นภาษาหลัก เพื่อให้สามารถประมวลผลข้อความแต่ละรายการได้ผ่านขั้นตอนเฉพาะภาษาที่เกี่ยวข้อง

In some cases, people may change the language used ใน chats to avoid monitoring or hiding illegal activities. Determining the point at which the chat language is switched is very useful for determining whether a suspicious activity has occurred.

หากคุณต้องการใช้ API ของเรา คุณสามารถดูข้อมูลเพิ่มเติมเกี่ยวกับ API และราคาได้โดยคลิก ที่นี่

นอกเหนือจากการให้บริการ API แล้ว เรายังตัดสินใจที่จะเปิดตัวเป็นโอเพ่นซอร์สด้วย
นี่คือการเปิดตัวโอเพนซอร์สครั้งแรกของเรา! เครื่องตรวจจับภาษาแบบโอเพนซอร์ส สามารถดาวน์โหลดได้ ที่นี่