ٹیسٹ متن:
بات یہاں تک پہنچنی
تھی تو اتنی بڑھک نہ مارتے۔ کتنے لوگ پنجاب میں
ہوں گے جو کہیں گے کہ پنجاب حکومت ٹھیک ہاتھوں میں ہے اور اِس کی کارکردگی تسلی بخش ہے
؟ خاک میں کیا صورتیں
ہوں گی کہ پنہاں ہو گئیں۔
اردو ھیک سینٹینس ٹوکنائزیشن کی آوٹ پٹ:
بات یہاں تک پہنچنی تھی۔
تو اتنی بڑھک نہ مارتے۔
کتنے لوگ پنجاب میں ہوں۔
گے جو کہیں گے کہ پنجاب حکومت ٹھیک ہاتھوں میں ہے اور اس کی کارکردگی تسلی بخش ہے؟
خاک میں کیا صورتیں ہوں۔
گی کہ پنہاں ہو گئیں۔
اس مسئلہ کا تعلق بھی مندرجہ ذیل فائل کی سطر 7 اور 8 سے ہے
urduhack/urduhack/tokenization/eos.py
URDU_CONJUNCTIONS = ['جنہیں','جس','جن','جو','اور', 'اگر', 'اگرچہ', 'لیکن', 'مگر', 'پر', 'یا', 'تاہم', 'کہ', 'کر']
URDU_NEWLINE_WORDS = ['کیجئے', 'گئیں', 'تھیں', '
ہوں', 'خریدا', 'گے', 'ہونگے', 'گا', 'چاہیے', 'ہوئیں', 'گی','تھا', '
تھی', 'تھے', 'ہیں', 'ہے',]
اس مسئلے کا حل:
URDU_CONJUNCTIONS میں
'تو', 'گے', 'گی'
کا اضافہ کردیا جائے
