Merge pull request #379 from PyThaiNLP/offload-init-py

Move non-init code out of __init__.py files

Author: bact

README.md

@@ -80,7 +80,7 @@ pip install pythainlp[extra1,extra2,...]
 
 where `extras` can be
   - `attacut` (to support attacut, a fast and accurate tokenizer)
-  - `benchmarks` (for word tokenization benchmarking)
+  - `benchmarks` (for [word tokenization benchmarking](tokenization-benchmark.md))
   - `icu` (for ICU, International Components for Unicode, support in transliteration and tokenization)
   - `ipa` (for IPA, International Phonetic Alphabet, support in transliteration)
   - `ml` (to support ULMFiT models for classification)
@@ -180,7 +180,7 @@ pip install pythainlp[extra1,extra2,...]
 
 โดยที่ `extras` คือ
   - `attacut` (ตัวตัดคำที่แม่นกว่า `newmm` เมื่อเทียบกับชุดข้อมูล BEST)
-  - `benchmarks` (สำหรับเครื่องมือวัดความแม่นยำของตัวตัดคำ)
+  - `benchmarks` (สำหรับเครื่องมือ[วัดความแม่นยำของตัวตัดคำ](tokenization-benchmark.md))
   - `icu` (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
   - `ipa` (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
   - `ml` (สำหรับการรองรับโมเดล ULMFiT)

docs/api/tokenize.rst

@@ -12,7 +12,6 @@ Modules
 .. autofunction:: word_tokenize
 .. autofunction:: syllable_tokenize
 .. autofunction:: subword_tokenize
-.. autofunction:: dict_trie
 .. autoclass:: Tokenizer
    :members:
 

docs/api/util.rst

@@ -11,6 +11,7 @@ Modules
 .. autofunction:: bahttext
 .. autofunction:: collate
 .. autofunction:: delete_tone
+.. autofunction:: dict_trie
 .. autofunction:: digit_to_text
 .. autofunction:: eng_to_thai
 .. autofunction:: find_keyword
@@ -31,4 +32,6 @@ Modules
 .. autofunction:: thai_digit_to_arabic_digit
 .. autofunction:: thaiword_to_num
 .. autofunction:: thai_day2datetime
-.. autofunction:: thai_time2time
+.. autofunction:: thai_time2time
+.. autoclass:: Trie
+   :members:

pythainlp/__init__.py

@@ -43,6 +43,7 @@
     Tokenizer,
     sent_tokenize,
     subword_tokenize,
+    syllable_tokenize,
     word_tokenize,
 )
 from pythainlp.transliterate import romanize, transliterate

pythainlp/__main__.py

@@ -19,7 +19,7 @@ def main(args=None):
         type=str,
         default="",
         nargs="?",
-        help="[%s]" % "|".join(cli.COMMANDS)
+        help="[%s]" % "|".join(cli.COMMANDS),
     )
 
     args = parser.parse_args(sys.argv[1:2])
@@ -30,12 +30,9 @@ def main(args=None):
         command = getattr(cli, args.command)
         command.App(sys.argv)
     else:
-        print(f"Command not available: {args.command}\nPlease run with --help for alternatives")
-
+        print(f"Command not available: {args.command}")
+        print("Please run with --help for alternatives")
 
 
 if __name__ == "__main__":
     main()
-
-
-

pythainlp/benchmarks/__init__.py

@@ -1,3 +1,8 @@
-from .word_tokenization import benchmark
+# -*- coding: utf-8 -*-
+"""
+Performance benchmarking.
+"""
 
 __all__ = ["benchmark"]
+
+from pythainlp.benchmarks.word_tokenization import benchmark