Skip to content

Commit 21b5d69

Browse files
tbartley94tbartley94
committed
rebase to main
Signed-off-by: tbartley94 <tbartley@nvidia.com>
1 parent a506e1c commit 21b5d69

65 files changed

Lines changed: 3067 additions & 2 deletions

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

‎Jenkinsfile‎

Lines changed: 24 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -24,6 +24,7 @@ pipeline {
2424
SV_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-08-23-0'
2525
ZH_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/11-13-24-0'
2626
IT_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/08-22-24-0'
27+
HE_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/09-24-25-0'
2728
HY_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/03-12-24-0'
2829
MR_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/03-12-24-1'
2930
JA_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/10-17-24-1'
@@ -253,7 +254,24 @@ pipeline {
253254
}
254255
}
255256
}
256-
257+
stage('L0: Create He TN/ITN Grammars & MR') {
258+
when {
259+
anyOf {
260+
branch 'main'
261+
branch 'staging/**'
262+
branch 'staging_*'
263+
changeRequest target: 'main'
264+
}
265+
}
266+
failFast true
267+
parallel {
268+
stage('L0: HE ITN grammars') {
269+
steps {
270+
sh 'CUDA_VISIBLE_DEVICES="" python nemo_text_processing/inverse_text_normalization/inverse_normalize.py --lang=he --text="ת " --cache_dir ${HE_TN_CACHE}'
271+
}
272+
}
273+
}
274+
}
257275
stage('L0: Create HY TN/ITN Grammars & MR') {
258276
when {
259277
anyOf {
@@ -413,6 +431,11 @@ pipeline {
413431
sh 'CUDA_VISIBLE_DEVICES="" pytest tests/nemo_text_processing/hy/ -m "not pleasefixme" --cpu --tn_cache_dir ${HY_TN_CACHE}'
414432
}
415433
}
434+
stage('L1: Run all HE TN/ITN tests (restore grammars from cache)') {
435+
steps {
436+
sh 'CUDA_VISIBLE_DEVICES="" pytest tests/nemo_text_processing/he/ -m "not pleasefixme" --cpu --tn_cache_dir ${HE_TN_CACHE}'
437+
}
438+
}
416439
}
417440
}
418441

‎nemo_text_processing/inverse_text_normalization/he/__init__.py‎

Lines changed: 13 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,13 @@
1+
# Copyright (c) 2021, NVIDIA CORPORATION. All rights reserved.
2+
#
3+
# Licensed under the Apache License, Version 2.0 (the "License");
4+
# you may not use this file except in compliance with the License.
5+
# You may obtain a copy of the License at
6+
#
7+
# http://www.apache.org/licenses/LICENSE-2.0
8+
#
9+
# Unless required by applicable law or agreed to in writing, software
10+
# distributed under the License is distributed on an "AS IS" BASIS,
11+
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12+
# See the License for the specific language governing permissions and
13+
# limitations under the License.

‎nemo_text_processing/inverse_text_normalization/he/data/measurements.tsv‎

Lines changed: 45 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,45 @@
1+
°F פרנהייט
2+
°C צלסיוס
3+
° מעלות
4+
°F מעלות פרנהייט
5+
°C מעלות צלסיוס
6+
K קלווין
7+
% אחוז
8+
% אחוזים
9+
Hz הרץ
10+
kW קילוואט
11+
kW קילו ואט
12+
kW קילו וואט
13+
kWh קילו ואט לשעה
14+
kWh קילוואט לשעה
15+
Wh ואט לשעה
16+
W ואט
17+
ghz ג׳יגה הרץ
18+
ghz גיגה הרץ
19+
khz קילו הרץ
20+
mhz מגה הרץ
21+
v וולט
22+
nm ננומטר
23+
mA מילי אמפר
24+
tW טרה ואט
25+
mv מילי וולט
26+
mW מגה ואט
27+
μm מיקרומטר
28+
" אינץ׳
29+
cc סי סי
30+
ω אוהם
31+
db דציבל
32+
db דציבלים
33+
kb קילו ביט
34+
mb מגה ביט
35+
gb ג׳יגה ביט
36+
gb גיגה ביט
37+
tb טרה ביט
38+
pb פטה ביט
39+
mb מגה בייט
40+
kb קילו בייט
41+
gb ג׳יגה בייט
42+
gb גיגה בייט
43+
tb טרה בייט
44+
pb פטה בייט
45+
A אמפר

‎nemo_text_processing/inverse_text_normalization/he/data/months.tsv‎

Lines changed: 13 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,13 @@
1+
ינואר
2+
פברואר
3+
מרץ
4+
מרס
5+
אפריל
6+
מאי
7+
יוני
8+
יולי
9+
אוגוסט
10+
ספטמבר
11+
אוקטובר
12+
נובמבר
13+
דצמבר

‎nemo_text_processing/inverse_text_normalization/he/data/months_name2number.tsv‎

Lines changed: 12 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,12 @@
1+
ינואר 1
2+
פברואר 2
3+
מרץ 3
4+
אפריל 4
5+
מאי 5
6+
יוני 6
7+
יולי 7
8+
אוגוסט 8
9+
ספטמבר 9
10+
אוקטובר 10
11+
נובמבר 11
12+
דצמבר 12

‎nemo_text_processing/inverse_text_normalization/he/data/months_ordinal2number.tsv‎

Lines changed: 12 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,12 @@
1+
ראשון 1
2+
שני 2
3+
שלישי 3
4+
רביעי 4
5+
חמישי 5
6+
שישי 6
7+
שביעי 7
8+
שמיני 8
9+
תשיעי 9
10+
עשירי 10
11+
אחת עשרה 11
12+
שתיים עשרה 12

‎nemo_text_processing/inverse_text_normalization/he/data/numbers/__init__.py‎

Lines changed: 13 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,13 @@
1+
# Copyright (c) 2021, NVIDIA CORPORATION. All rights reserved.
2+
#
3+
# Licensed under the Apache License, Version 2.0 (the "License");
4+
# you may not use this file except in compliance with the License.
5+
# You may obtain a copy of the License at
6+
#
7+
# http://www.apache.org/licenses/LICENSE-2.0
8+
#
9+
# Unless required by applicable law or agreed to in writing, software
10+
# distributed under the License is distributed on an "AS IS" BASIS,
11+
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12+
# See the License for the specific language governing permissions and
13+
# limitations under the License.

‎nemo_text_processing/inverse_text_normalization/he/data/numbers/decimal_fractions.tsv‎

Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,6 @@
1+
חצי 5
2+
רבע 25
3+
שלושת רבעי 75
4+
עשירית 1
5+
שתי עשיריות 2
6+
חמישית 2

‎nemo_text_processing/inverse_text_normalization/he/data/numbers/digit.tsv‎

Lines changed: 20 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,20 @@
1+
אחד 1
2+
שניים 2
3+
שני 2
4+
שלושה 3
5+
ארבעה 4
6+
חמישה 5
7+
שישה 6
8+
שבעה 7
9+
שמונה 8
10+
תשעה 9
11+
אחת 1
12+
שתיים 2
13+
שתים 2
14+
שתי 2
15+
שלוש 3
16+
ארבע 4
17+
חמש 5
18+
שש 6
19+
שבע 7
20+
תשע 9

‎nemo_text_processing/inverse_text_normalization/he/data/numbers/teen.tsv‎

Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,21 @@
1+
עשר 10
2+
אחד עשר 11
3+
שניים עשר 12
4+
שלושה עשר 13
5+
ארבעה עשר 14
6+
חמישה עשר 15
7+
שישה עשר 16
8+
שבעה עשר 17
9+
שמונה עשר 18
10+
תשעה עשר 19
11+
עשרה 10
12+
אחת עשרה 11
13+
שתיים עשרה 12
14+
שתים עשרה 12
15+
שלוש עשרה 13
16+
ארבע עשרה 14
17+
חמש עשרה 15
18+
שש עשרה 16
19+
שבע עשרה 17
20+
שמונה עשרה 18
21+
תשע עשרה 19

0 commit comments

Comments
 (0)