Merge pull request #380 from opalchonlapat/dev

Add crfcut v2 model

Author: Charin

pythainlp/corpus/sentenceseg-crfcut-v2.model

@@ -177,7 +177,7 @@ def extract_features(
     return doc_features
 
 
-_CRFCUT_DATA_FILENAME = "sentenceseg-ted.model"
+_CRFCUT_DATA_FILENAME = "sentenceseg-crfcut-v2.model"
 _tagger = pycrfsuite.Tagger()
 _tagger.open(os.path.join(corpus_path(), _CRFCUT_DATA_FILENAME))
 

pythainlp/tokenize/crfcut.py

@@ -263,23 +263,23 @@ def test_sent_tokenize(self):
             ["วันนี้ฉันกินข้าว และโดดเรียน"],
         )
         self.assertEqual(
-            sent_tokenize("น้ำพึ่งเรือ แต่เสือพึ่งป่า", engine="crfcut"),
-            ["น้ำพึ่งเรือ ", "แต่เสือพึ่งป่า"],
+            sent_tokenize("ฉันไปโรงเรียน เธอไปโรงพยาบาล", engine="crfcut"),
+            ['ฉันไปโรงเรียน ', 'เธอไปโรงพยาบาล'],
         )
         self.assertEqual(
-            sent_tokenize("น้ำพึ่งเรือ แต่เสือพึ่งป่า", engine=""),
-            ["น้ำพึ่งเรือ ", "แต่เสือพึ่งป่า"],
+            sent_tokenize("ฉันไปโรงเรียน เธอไปโรงพยาบาล", engine=""),
+            ['ฉันไปโรงเรียน ', 'เธอไปโรงพยาบาล'],
         )
         self.assertEqual(
             sent_tokenize("วันนี้ฉันกินข้าว และโดดเรียน"),
             ["วันนี้ฉันกินข้าว และโดดเรียน"],
         )
         self.assertEqual(
-            sent_tokenize("น้ำพึ่งเรือ แต่เสือพึ่งป่า"),
-            ["น้ำพึ่งเรือ ", "แต่เสือพึ่งป่า"],
+            sent_tokenize("ฉันไปโรงเรียน เธอไปโรงพยาบาล"),
+            ['ฉันไปโรงเรียน ', 'เธอไปโรงพยาบาล'],
         )
         self.assertIsNotNone(
-            sent_tokenize("น้ำพึ่งเรือ แต่เสือพึ่งป่า", 
+            sent_tokenize("ฉันไปโรงเรียน เธอไปโรงพยาบาล", 
             keep_whitespace = False,
             engine = "whitespace"),
         )