Fix thainlp tokenize sent command line

Author: bact

docs/notes/command_line.rst

@@ -21,8 +21,11 @@ You can use some thainlp functions directly from command line.
     $ thainlp tokenize word -a longest "แรงงานกะดึก: ฟันเฟืองที่ยังหมุนในคำ่คืนมีเคอร์ฟิว"
     แรงงาน|กะ|ดึก|:| |ฟันเฟือง|ที่|ยัง|หมุน|ใน|คำ่|คืน|มี|เคอร์ฟิว|
 
-    $ thainlp tokenize word -nw -s # "5 เหตุผล 'ไม่ควร' ต่อพ.ร.ก.ฉุกเฉิน"
-    5#เหตุผล#'#ไม่#ควร#'#ต่อ#พ.ร.ก.#ฉุกเฉิน#
+    $ thainlp tokenize word -nw -s "##" "5 เหตุผล 'ไม่ควร' ต่อพ.ร.ก.ฉุกเฉิน"
+    5##เหตุผล##'##ไม่##ควร##'##ต่อ##พ.ร.ก.##ฉุกเฉิน##
+
+    $ thainlp tokenize sent "หลายปีที่ผ่านมา ชาวชุมชนโคกยาวหลายคนได้พากันย้ายออก บ้างก็เสียชีวิต บางคนถูกจำคุกในข้อบุกรุกป่าหรือแม้กระทั่งสูญหาย"
+    หลายปีที่ผ่านมา @@ชาวชุมชนโคกยาวหลายคนได้พากันย้ายออก @@บ้างก็เสียชีวิต @@บางคนถูกจำคุกในข้อบุกรุกป่าหรือแม้กระทั่งสูญหาย@@
 
 **Part-Of-Speech tagging**::
 

pythainlp/cli/tokenize.py

@@ -16,7 +16,7 @@
     word_tokenize,
 )
 
-DEFAULT_SENT_TOKEN_SEPARATOR = "^"
+DEFAULT_SENT_TOKEN_SEPARATOR = "@@"
 DEFAULT_SUBWORD_TOKEN_SEPARATOR = "/"
 DEFAULT_SYLLABLE_TOKEN_SEPARATOR = "~"
 DEFAULT_WORD_TOKEN_SEPARATOR = "|"
@@ -127,6 +127,6 @@ def __init__(self, argv):
         elif subcommand.startswith("su"):
             SubwordTokenizationApp("subword", argv)
         elif subcommand.startswith("se"):
-            SubwordTokenizationApp("sent", argv)
+            SentenceTokenizationApp("sent", argv)
         else:
             print(f"Subcommand not available: {subcommand}")