Expand multilingual support to SaaS locales

Author: ndbroadbent

README.md

@@ -27,24 +27,36 @@ Current first-class language coverage:
 
 - English
 - Spanish
-- Portuguese
 - German
+- Japanese
 - French
+- Portuguese
+- Russian
 - Italian
 - Dutch
-- Swedish
-- Danish
-- Norwegian
 - Polish
-- Russian
-- Hindi
-- Indonesian
 - Turkish
-- Arabic
-- Japanese
-- Korean
 - Chinese (Simplified)
 - Chinese (Traditional)
+- Persian
+- Vietnamese
+- Czech
+- Indonesian
+- Korean
+- Ukrainian
+- Hungarian
+- Arabic
+- Swedish
+- Romanian
+- Greek
+- Danish
+- Finnish
+- Hebrew
+- Slovak
+- Thai
+- Bulgarian
+- Norwegian Bokmål
+- Hindi
 
 ## Installation
 

src/extraction/embeddings/index.test.ts

@@ -453,6 +453,10 @@ describe('Embeddings Module', () => {
       expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('deberíamos'))).toBe(true)
       expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('行ってみたい'))).toBe(true)
       expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('我們應該'))).toBe(true)
+      expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('باید برویم'))).toBe(true)
+      expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('chúng ta nên'))).toBe(true)
+      expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('כדאי שנלך'))).toBe(true)
+      expect(DEFAULT_ACTIVITY_QUERIES.some((q) => q.includes('เราควรไป'))).toBe(true)
     })
   })
 })

src/extraction/embeddings/queries/activity-types.json

@@ -39,7 +39,21 @@
 		"レストラン カフェ 居酒屋",
 		"식당 카페 술집",
 		"餐厅 咖啡馆 酒吧",
-		"餐廳 咖啡館 酒吧"
+		"餐廳 咖啡館 酒吧",
+		"رستوران کافه غذا",
+		"nhà hàng quán cà phê đồ ăn",
+		"restaurace kavárna bar",
+		"ресторан кав'ярня бар",
+		"étterem kávézó bár",
+		"restaurant cafenea bar",
+		"εστιατόριο καφέ μπαρ",
+		"ravintola kahvila baari",
+		"מסעדה בית קפה בר",
+		"reštaurácia kaviareň bar",
+		"ร้านอาหาร คาเฟ่ บาร์",
+		"ресторант кафене бар",
+		"restaurang kafé bar",
+		"restaurant kafé bar"
 	],
 	"nature_outdoors": [
 		"we should go hiking",
@@ -85,7 +99,21 @@
 		"ハイキング ビーチ 山 公園",
 		"등산 해변 산 공원",
 		"徒步 海滩 山 公园",
-		"徒步 海灘 山 公園"
+		"徒步 海灘 山 公園",
+		"پیاده‌روی ساحل کوه پارک",
+		"đi bộ đường dài bãi biển núi công viên",
+		"turistika pláž hora park",
+		"похід пляж гори парк",
+		"túra strand hegy park",
+		"drumeție plajă munte parc",
+		"πεζοπορία παραλία βουνό πάρκο",
+		"vaellus ranta vuori puisto",
+		"טיול חוף הר פארק",
+		"turistika pláž hory park",
+		"เดินป่า ชายหาด ภูเขา สวน",
+		"поход плаж планина парк",
+		"vandring strand berg park",
+		"fottur strand fjell park"
 	],
 	"entertainment": [
 		"we should go to that concert",
@@ -130,7 +158,20 @@
 		"コンサート 映画 フェス",
 		"콘서트 영화 축제 공연",
 		"演唱会 电影 节日 演出",
-		"演唱會 電影 節日 表演"
+		"演唱會 電影 節日 表演",
+		"کنسرت سینما جشنواره تئاتر",
+		"buổi hòa nhạc phim lễ hội nhà hát",
+		"koncert kino festival predstavenie",
+		"концерт кіно фестиваль театр",
+		"koncert mozi fesztivál színház",
+		"concert cinema festival teatru",
+		"συναυλία σινεμά φεστιβάλ θέατρο",
+		"konsertti elokuva festivaali teatteri",
+		"הופעה קולנוע פסטיבל תיאטרון",
+		"koncert kino festival divadlo",
+		"คอนเสิร์ต หนัง เทศกาล โรงละคร",
+		"концерт кино фестивал театър",
+		"konsert bio festival teater"
 	],
 	"culture_arts": [
 		"we should visit the museum",
@@ -175,7 +216,20 @@
 		"美術館 博物館 展覧会",
 		"박물관 미술관 전시",
 		"博物馆 美术馆 展览",
-		"博物館 美術館 展覽"
+		"博物館 美術館 展覽",
+		"موزه گالری نمایشگاه",
+		"bảo tàng phòng tranh triển lãm",
+		"muzeum galerie výstava",
+		"музей галерея виставка",
+		"múzeum galéria kiállítás",
+		"muzeu galerie expoziție",
+		"μουσείο γκαλερί έκθεση",
+		"museo galleria näyttely",
+		"מוזיאון גלריה תערוכה",
+		"múzeum galéria výstava",
+		"พิพิธภัณฑ์ แกลเลอรี นิทรรศการ",
+		"музей галерия изложба",
+		"museum galleri utstilling"
 	],
 	"travel_accommodation": [
 		"let's book an airbnb",
@@ -208,7 +262,21 @@
 		"رحلة فندق عطلة",
 		"旅行 ホテル 休暇",
 		"여행 호텔 휴가",
-		"旅行 酒店 假期"
+		"旅行 酒店 假期",
+		"سفر هتل تعطیلات",
+		"du lịch khách sạn kỳ nghỉ",
+		"cesta hotel dovolená",
+		"подорож готель відпустка",
+		"utazás hotel nyaralás",
+		"călătorie hotel vacanță",
+		"ταξίδι ξενοδοχείο διακοπές",
+		"matka hotelli loma",
+		"נסיעה מלון חופשה",
+		"cestovanie hotel dovolenka",
+		"เที่ยว โรงแรม วันหยุด",
+		"пътуване хотел ваканция",
+		"resa hotell semester",
+		"reise hotell ferie"
 	],
 	"sports_adventure": [
 		"we should go skiing",
@@ -255,7 +323,21 @@
 		"スキー サーフィン ダイビング",
 		"스키 서핑 다이빙 클라이밍",
 		"滑雪 冲浪 潜水 攀岩",
-		"滑雪 衝浪 潛水 攀岩"
+		"滑雪 衝浪 潛水 攀岩",
+		"اسکی موج‌سواری غواصی صخره‌نوردی",
+		"trượt tuyết lướt sóng lặn leo núi",
+		"lyžování surfování potápění lezení",
+		"лижі серфінг дайвінг скелелазіння",
+		"síelés szörf búvárkodás mászás",
+		"schi surf scufundări escaladă",
+		"σκι σερφ κατάδυση αναρρίχηση",
+		"hiihto surffaus sukellus kiipeily",
+		"סקי גלישה צלילה טיפוס",
+		"lyžovanie surfovanie potápanie lezenie",
+		"สกี โต้คลื่น ดำน้ำ ปีนเขา",
+		"ски сърф гмуркане катерене",
+		"skidåkning surfing dykning klättring",
+		"ski surfing dykking klatring"
 	],
 	"social_events": [
 		"let's throw a party",
@@ -291,7 +373,21 @@
 		"パーティー ワークショップ 誕生日",
 		"파티 생일 워크숍",
 		"派对 生日 工作坊",
-		"派對 生日 工作坊"
+		"派對 生日 工作坊",
+		"مهمانی تولد کارگاه",
+		"tiệc sinh nhật hội thảo",
+		"oslava narozeniny workshop",
+		"вечірка день народження майстерня",
+		"buli születésnap workshop",
+		"petrecere aniversare atelier",
+		"πάρτι γενέθλια εργαστήριο",
+		"juhlat syntymäpäivä työpaja",
+		"מסיבה יום הולדת סדנה",
+		"oslava narodeniny workshop",
+		"ปาร์ตี้ วันเกิด เวิร์กช็อป",
+		"парти рожден ден работилница",
+		"fest födelsedag workshop",
+		"fest bursdag verksted"
 	],
 	"shopping": [
 		"let's go to the mall",
@@ -315,7 +411,21 @@
 		"市場 ショッピング お土産",
 		"시장 쇼핑 기념품",
 		"市场 商店 纪念品",
-		"市場 商店 紀念品"
+		"市場 商店 紀念品",
+		"بازار فروشگاه سوغاتی",
+		"chợ cửa hàng quà lưu niệm",
+		"trh obchod suvenýry",
+		"ринок магазин сувеніри",
+		"piac bolt szuvenír",
+		"piață magazin suveniruri",
+		"αγορά κατάστημα σουβενίρ",
+		"markkinat kauppa matkamuisto",
+		"שוק חנות מזכרות",
+		"trh obchod suveníry",
+		"ตลาด ร้านค้า ของที่ระลึก",
+		"пазар магазин сувенири",
+		"marknad butik souvenir",
+		"marked butikk suvenirer"
 	],
 	"family_kids": [
 		"let's go to the playground",
@@ -340,6 +450,20 @@
 		"動物園 水族館 遊園地",
 		"동물원 수족관 놀이터",
 		"动物园 水族馆 游乐园",
-		"動物園 水族館 遊樂園"
+		"動物園 水族館 遊樂園",
+		"باغ وحش آکواریوم زمین بازی",
+		"sở thú thủy cung sân chơi",
+		"zoo akvárium hřiště",
+		"зоопарк акваріум дитячий майданчик",
+		"állatkert akvárium játszótér",
+		"grădină zoologică acvariu loc de joacă",
+		"ζωολογικός κήπος ενυδρείο παιδική χαρά",
+		"eläintarha akvaario leikkipuisto",
+		"גן חיות אקווריום גן משחקים",
+		"zoo akvárium ihrisko",
+		"สวนสัตว์ พิพิธภัณฑ์สัตว์น้ำ สนามเด็กเล่น",
+		"зоопарк аквариум детска площадка",
+		"djurpark akvarium lekplats",
+		"dyrehage akvarium lekeplass"
 	]
 }

src/extraction/embeddings/queries/agreement.json

@@ -62,5 +62,42 @@
 	"聽起來不錯",
 	"看起来很好",
 	"看起來很好",
-	"好主意"
+	"好主意",
+	"به نظر خوبه",
+	"ایده خوبیه",
+	"من هستم",
+	"nghe hay đó",
+	"mình tham gia",
+	"ý hay",
+	"zní to dobře",
+	"jdu do toho",
+	"dobrý nápad",
+	"звучить добре",
+	"я підтримую",
+	"гарна ідея",
+	"jól hangzik",
+	"benne vagyok",
+	"jó ötlet",
+	"sună bine",
+	"mă bag",
+	"idee bună",
+	"ακούγεται καλό",
+	"είμαι μέσα",
+	"καλή ιδέα",
+	"kuulostaa hyvältä",
+	"olen mukana",
+	"hyvä idea",
+	"נשמע טוב",
+	"אני בפנים",
+	"רעיון טוב",
+	"znie to dobre",
+	"idem do toho",
+	"vyzerá to dobre",
+	"ฟังดูดี",
+	"ไปด้วย",
+	"ไอเดียดี",
+	"звучи добре",
+	"аз съм за",
+	"добра идея",
+	"god idé"
 ]

src/extraction/embeddings/queries/query-embeddings.json.gz

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7cc1019f6519505f38a4815fef9393b3814fe0b5ca8bf46f3906a5c8ccb9a046
-size 6982893
+oid sha256:8b2a895004454777b62a35ac739abeb4cbfe4dd9bbffc865c8ca644c7a738cb5
+size 9774143

src/extraction/embeddings/queries/suggestions.json

@@ -103,5 +103,42 @@
 	"我們應該去那裡",
 	"一起去看看",
 	"想去这个地方",
-	"想去這個地方"
+	"想去這個地方",
+	"باید برویم آنجا",
+	"بریم آن رستوران",
+	"می‌خوام آنجا را ببینم",
+	"chúng ta nên đi chỗ đó",
+	"mình nên ghé thăm",
+	"đi thử nhà hàng đó",
+	"měli bychom tam jít",
+	"pojďme tam",
+	"stojí za návštěvu",
+	"нам варто туди піти",
+	"давай сходимо туди",
+	"треба відвідати це місце",
+	"el kellene mennünk oda",
+	"menjünk oda",
+	"próbáljuk ki azt a helyet",
+	"ar trebui să mergem acolo",
+	"hai să mergem acolo",
+	"merită vizitat",
+	"πρέπει να πάμε εκεί",
+	"να πάμε εκεί",
+	"αξίζει να το επισκεφτούμε",
+	"meidän pitäisi mennä sinne",
+	"mennään sinne",
+	"kannattaa käydä siellä",
+	"כדאי שנלך לשם",
+	"בוא נלך לשם",
+	"כדאי לבקר שם",
+	"mali by sme tam ísť",
+	"poďme tam",
+	"stojí za návštevu",
+	"เราควรไปที่นั่น",
+	"ไปกันเถอะ",
+	"น่าไปลอง",
+	"трябва да отидем там",
+	"хайде да отидем там",
+	"струва си да посетим",
+	"vi bør besøke dette stedet"
 ]

src/extraction/heuristics/activity-links.test.ts

@@ -227,6 +227,23 @@ describe('extractActivityLinks', () => {
       expect(link.inferredType).toBe('place')
     })
 
+    it('detects SaaS locale intent keywords around links', () => {
+      const messages = [
+        createMessage(0, 'เราควรไปที่ร้านอาหารนั้น', 'Alice', []),
+        createMessage(1, 'https://instagram.com/reel/xyz', 'Bob', [
+          'https://instagram.com/reel/xyz'
+        ]),
+        createMessage(2, 'ฟังดูดี', 'Alice', [])
+      ]
+
+      const result = extractActivityLinks(messages)
+
+      expect(result.links).toHaveLength(1)
+      const link = getFirstLink(result)
+      expect(link.intent.keywords).toEqual(expect.arrayContaining(['เราควรไป', 'ฟังดูดี']))
+      expect(link.inferredType).toBe('place')
+    })
+
     it('detects high-signal emojis', () => {
       const messages = [
         createMessage(0, 'This restaurant looks incredible! \u{1F525}\u{1F60D}', 'Alice', []),