거래소 아이템과 아이템 가격 수집 서비스 통합

- 완벽한 통합은 아닌, stat scraper 내 item scraping 작업을 task로 추가함.
- 현재 item scraping은 가벼운 작업이지만 별도 서비스로 분리하긴 과한 상황이라고 판단하여, 적절히 1시간에 한 번 수집되는 구조로 추가함.

Author: kubrickcode

src/go/apps/market-item-stat-scraper/main.go

@@ -39,6 +39,10 @@ func main() {
 
 	scheduler := schedule.NewScheduler()
 	scheduler.AddTask(schedule.NewTask("Market item stat scraping and converting", 10*time.Minute, combinedTask))
+	// 아예 수집되지 않을 시 아이템의 bundle_count 등이 갱신되지 않는 문제가 있어서 수집 스케쥴에 포함시킴.
+	// 단, 거의 변하지 않는 정보이기에 1시간 정도에 한 번만 수집되도록 설정함.
+	// TODO: 또한 최초 seed data가 없을 시 단순히 수집에 실패하는 구조로 되어있기에 개선이 필요함.
+	scheduler.AddTask(schedule.NewTask("Market item scraping and converting", 1*time.Hour, scraper.ScrapeItem))
 
 	err = scheduler.Run()
 	if err != nil {

src/go/apps/market-item-stat-scraper/scraper/scraper.go

@@ -22,6 +22,25 @@ func NewScraper(db loadb.DB) *Scraper {
 	return &Scraper{db: db, rateLimiter: rate.NewLimiter(rate.Every(time.Second), 1)}
 }
 
+func (s *Scraper) ScrapeItem() error {
+	categories, err := s.getCategoriesToScrape()
+	if err != nil {
+		return fmt.Errorf("failed to get market item categories: %w", err)
+	}
+
+	itemsToSave, err := s.getItemsToSave(categories)
+	if err != nil {
+		return fmt.Errorf("failed to get market items: %w", err)
+	}
+
+	err = s.saveItems(itemsToSave)
+	if err != nil {
+		return fmt.Errorf("failed to save market items: %w", err)
+	}
+
+	return nil
+}
+
 func (s *Scraper) ScrapeStat() error {
 	items, err := s.getItemsToScrape()
 	if err != nil {
@@ -114,3 +133,77 @@ func (s *Scraper) getItemStatToCreate(category *loadb.MarketItemCategory, item l
 
 	return &stat, nil
 }
+
+func (s *Scraper) getCategoriesToScrape() ([]loadb.MarketItemCategory, error) {
+	categories, err := s.db.MarketItemCategory().FindItemScraperEnabledAll()
+	if err != nil {
+		return nil, err
+	}
+
+	if len(categories) == 0 {
+		return nil, fmt.Errorf("no market item categories found")
+	}
+
+	return categories, nil
+}
+
+func (s *Scraper) getItemsToSave(categories []loadb.MarketItemCategory) ([]loadb.MarketItem, error) {
+	var itemsToUpsert []loadb.MarketItem
+	seenItems := make(map[string]bool)
+
+	for _, category := range categories {
+		pageNo := 1
+
+		for {
+			resp, err := request.GetMarketItemList(&loaApi.GetMarketItemListParams{
+				CategoryCode: category.Code,
+				PageNo:       pageNo,
+			})
+			if err != nil {
+				return nil, fmt.Errorf("failed to get market items for category %d: %w", category.Code, err)
+			}
+
+			itemCounts := len(resp.Items)
+
+			if itemCounts > 0 {
+				for _, item := range resp.Items {
+					uniqueKey := fmt.Sprintf("%s-%s", item.Name, item.Grade)
+
+					if seenItems[uniqueKey] {
+						log.Printf("중복 아이템 스킵: 이름=%s, 등급=%s, ID=%d",
+							item.Name, item.Grade, item.ID)
+						continue
+					}
+
+					seenItems[uniqueKey] = true
+					itemsToUpsert = append(itemsToUpsert, loadb.MarketItem{
+						BundleCount:          item.BundleCount,
+						Grade:                item.Grade,
+						MarketItemCategoryID: category.ID,
+						Name:                 item.Name,
+						ImageUrl:             item.Icon,
+						RefID:                item.ID,
+					})
+				}
+			}
+
+			if itemCounts < resp.PageSize {
+				break
+			}
+
+			pageNo++
+		}
+	}
+
+	if len(itemsToUpsert) == 0 {
+		return nil, fmt.Errorf("no market items found")
+	}
+
+	return itemsToUpsert, nil
+}
+
+func (s *Scraper) saveItems(items []loadb.MarketItem) error {
+	log.Println("Market items saved successfully")
+
+	return s.db.MarketItem().UpsertMany(items)
+}