نظام تصنيف النصوص العربية

الملخص

التصنيف (Part of Speech Tagging) هو تمييز أنواع مفردات النص ونظام تصنيف النص العربي يقوم بوصف المفردات إلى الأنواع المعروفة من حيث التذكير والتأنيث والإفراد والتثنية والجمع كما في حالة الأسماء أو أزمنة الفعل من ماض وحاضر وكذلك لتمييز الأدوات والضمائر وما إليها من الجوامد والمشتقات.
التصنيف يشمل أيضاً التعرف على المسميات (entities) والكشف عنها وتحديد أنواعها وتوصيف علاقاتها ببعضها وتصنيفها إلى فئات مختلفة من أجل الوصول إلى توصيف شامل للنص المستهدف.

المعلومات

المواصفات الفنية تطبيق الويب التنزيل ↩ الصفحة الرئيسية

يوجد موضوع علمي مصاحب يستحسن الإطلاع عليه من أجل تعريف أفضل بهذا المنتج.

الورقة المصاحبة

المرجع: MSLTAG

آخر تحديث: 15/1/2023

إستعراض

نظام التصنيف الموسع "Kalmasoft PoS Tagger" حسب تعريف كلماسوفت يعمل على تصنيف الكلمات إلى الأنواع النحوية بحيث يقترب من التصنيف الدلالي للكلمة وهو يختلف كثيراً عن المصنفات التقليدية المتوفرة للاستخدام المباشر، نظام التصنيف يميز كذلك الدخيل والأصيل باستعمال قواعد مبسطة لا تعتمد على التحليل النحوي، استعمالات النظام تظهر في تهيئة المكانز (Corpora) العربية وتصنيف مفرداتها لأن المكنز غير المصنف لا فائدة ترجى من استعماله خاصة إذا أريد توظيفه في التطبيقات اللغوية الإحصائية مثل الترجمة الآلية القائمة على النموذج الإحصائي (SBMT) أو استخراج المعلومات (Information Retrieval).

يعتمد نظام التصنيف على أسلوب جديد في تنظيم العلاقات النحوية بين أجزاء الكلام بحيث لا تكون مجرد صورة عن التقسيم القديم (اسم وفعل وحرف) المعمول به في المعاجم العربية التقليدية أو نسخة عن التقسيم المستخدم في تصنيف اللغات الأوروبية، المخطط أدناه يبين لمحة من التقسيم الذي يمتد بعمق يصل لخمس مستويات وينتشر لمئات البنود.

مخرجات النظام على غير المعتاد ليست ملف نصي يمكن التعامل مع محتوياته بل ملف مشفر بطريقة خاصة بكلماسوفت وذلك لأن النظام مخصص للتعامل مع كميات كبيرة من النصوص أي ملايين الكلمات ومن غير المتوقع أن يعمد المستخدم للتعامل مع تفاصيل ملف نصي يحتوي ملايين الكلمات كأن يقوم بتغيير كلمة أو تعديل سطر، لذا فإن الطريقة الوحيدة للتعامل مع ملفات المكانز العربية تكون من واجهة النظام تعديلاً ومطالعة ولهذا السبب فإن النظام يوفر إمكانات متعددة للتحكم في طريقة التصنيف.
من بين هذه الطرق يمكن إخراج نتيجة التصنيف إلى ملف يمكن تصفحه باستخدام أي من متصفحات الإنترنت المتوفرة حيث يتم تضمين الرموز بحيث تظهر عند المرور على الكلمات بالماوس بينما ذات رموز التصنيف مبينة نصياً عقب كل كلمة بطريقة مختصرة، ويمكن أيضاً الإخراج إلى نسق (XML، JSON) حيث يمكن استخدام أدوات أخرى للاستفادة القصوى من عملية تبادل المعلومات التي يوفرها هذا النسق.
يتيح النظام عمليات أخرى من بينها التعرف على المسميات (Named Entity Recognition) ويوفر نصوص موسمة (Annotated text) إما مدمجة مع النص المصنف أو في ملفين منفصلين لكل عملية ملف مخصص.

منتجات وحلول

النموذج

V: فعل
N: اسم
A: صفة
a: ظرف
C: عطف
Pr: أداة جر
d: اسم إشارة
O: عدد
R: ضمير
r: اسم موصول
F: كلمة أجنبية
E: مصدر
T: خطأ إملائي
X: بلا حل
P: ماضي
I: حاضر
M: أمر
E: مؤكد
S: مفرد
D: مثنى
P: جمع
F: مؤنث
M: مذكر
1: المتكلم
2: المخاطب
3: الغائب

أنظر التوضيح KTagset

تعددت وتنوعت الأزمات التي خلفتها الحرب في اليمن وأزمة الانقطاع الكامل لخدمة الكهرباء ضاعفت من معاناة سكان هذه البلاد ودفعتهم نحو مصادر الطاقة البديلة للتخفيف من آثار تلك الأزمة

toddt wtnwot Al!zmAt Alty KlfthA AlHrb fy Alymn w!zm: AlAnqTAo AlkAml lKdm: AlkhrbA' DAoft mn moAnA: skAn hch AlblAd wdfothm nHw mSAdr AlTAq: Albdyl: lltKfyf mn |xAr tlk Al!zm:

رقم	المفردة	كاتس	التصنيف	الضمائر	السوابق
1	تعددت	toddt	VPIA	3PF•••
2	وتنوعت	wtnwot	VPIA	053PF•••	PC
3	الأزمات	Al!zmAt	NNG	••••PF	PD
4	التي	Alty	PL
5	خلفتها	KlfthA	VPIA	023SF3SF
6	الحرب	AlHrb	NNN	••••S•	PD
7	في	fy	PP
8	اليمن	Alymn	NN•G
9	وأزمة	w!zm:	NF•G	••••SF	PC
10	الانقطاع	AlAnqTAo	NF•G	07•SM	PD
11	الكامل	AlkAml	NA•G	••••SM	PD
12	لخدمة	lKdm:	NF•G	••••SF
13	الكهرباء	AlkhrbA'	N••G		PD
14	ضاعفت	DAoft	VPIA	033SF•••
15	من	mn	PP
16	معاناة	moAnA:	NF•G	03•SF
17	سكان	skAn	NQ•G	••••BM
18	هذه	hch	PD
19	البلاد	AlblAd	N••G		PD
20	ودفعتهم	wdfothm	VPIA	013SF3PM	PC
21	نحو	nHw	NV
22	مصادر	mSAdr	NF•A	••••PM
23	الطاقة	AlTAq:	N••G	••••SF	PD
24	البديلة	Albdyl:	NA•G	••••SF	PD
25	للتخفيف	lltKfyf	NF•G		PP
26	من	mn	PP
27	آثار	\|xAr	NF•G	••••B•
28	تلك	tlk	PD
29	الأزمة	Al!zm:	NF•G	••••SF

(*) للشرح فقط، النظام يولد نسخة مختصرة.