[2026/04/22] Machine Learning 輪講

[chimuichimu]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #339

What

話したいことがある人はここにコメントしましょう！
面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[chimuichimu]

Don’t Retrieve, Navigate Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

[taikinman]

FlexRec: Adapting LLM-based Recommenders for Flexible Needs via Reinforcement Learning

著者

Yijun Pan, Weikang Qiu, Qiyao Ma, Mingxuan Ju, Tong Zhao, Neil Shah, Rex Ying

背景

従来の推薦器の多くは CTR や購買率のような単一の静的な目的に最適化されているが、実際はその場のニーズへ柔軟に対応しづらい。LLMはこの種の目的切り替えと相性が良いが、推薦用に学習されているわけではない。事後的に強化学習しようにも、リスト全体の reward だとニーズごとにどの順位が良かったかが評価出来ず、未観測な interaction の reward の予測でノイズが混ざりやすい。

概要

固定候補集合の再ランキングを LLM にやらせる際、各順位の信用割当を細かくする swap-based item-level reward と、疎でノイジーな報酬の寄与を抑えて方策更新を安定化する uncertainty-aware GRPO を組み合わせ、ユーザの “今のニーズ” に応じて並び順を柔軟に変えられる推薦器を構築する研究

問題設定

ここでの設定は closed-set autoregressive ranking。まず retriever が候補アイテム集合 C を 30 個ほど持ってきて、その後で LLM が 1 位、2 位、3 位…と残っている候補から 1 個ずつ選んで順列を生成する。したがって「2位に置いた B の価値」は、1位に何を置いたか、2位の時点で何が候補として残っているかに依存する。この「ある順位にあるアイテムを置いた時の価値」を swap-based item-level reward として定式化。ただし、user-item interaction は通常疎であり、 item レベルの真の reward は観測されないことも多い。そこで、critic に未観測の reward を補完させる。uncertainty-aware とは、critic が「予測値」だけでなく「その予測にどれだけ自信があるか」も出し、自信の低い報酬で policy を強く更新しないようにする。評価指標は NDCG で、同じプロンプトから複数のランキング候補を生成し、そのグループ内の相対比較で各ランキング候補の advantage を作る強化学習手法（GRPO）を利用。

実験設定

評価タスク
以下の4つを設定

• ある一つの need に特化して学習したとき、本当に既存法より強いのか。
• 一つの need で学習した知識が、別の need にどこまで転移するのか。
  • 興味最大化だけで学習したモデルが、新規トピック探索という未学習 need にどこまで適応するかを見る
• 複数 need をまとめて学習した一つのモデルが universal ranker として機能するのか。
• この方法が短動画や映画推薦だけでなく、商品検索のような non-sequential ranking にも効くのか。

さらに、その性能向上が本当に提案手法の二本柱、すなわち causal swap reward と uncertainty-aware update に由来するのかを、アブレーションで評価。

データセット

• KuaiRec
• MovieLens-1M
• ESCI

論文では現実の疎な implicit feedback に近づけるため、各ユーザの interaction を一様に 10% だけ残す形で subsample している

また、KuaiRec と MovieLens-1M では 80/10/10 の train/validation/test split。各 split で、履歴長 10 の sequential ranking instance を構築している。ESCI は公開されている公式 train-test split を使用。さらに、計算可能性のために 全データセットで訓練 5,000 instance、テスト 1,000 instance に subsample。

need については後付けで三つ設定

• Maximizing Interest
  • ユーザーの嗜好シグナルに基づいてアイテムをランク付けするため、ユーザーが最も高い確率で楽しみ、関与する可能性が高いアイテムに最高スコアが付与される。
  • KuaiRec では watch ratio を relevance とし、MovieLens-1M では rating を $2^
    {rating}
    −1$ 型の指数変換で relevance にしている。
    • 単なるクリック有無ではなく、より強い嗜好をより強く反映する評価設計
• Explore New Topics / Niche Discovery
  • ユーザーの興味に合致しつつも、ユーザーが最近触れていないトピック/ジャンルに属するニッチなアイテムや露出の少ないアイテムを優先的に扱う。このため、興味との強い一致性を示しつつ過去の接触頻度が低いアイテムに最高スコアが付与される
  • KuaiRec では動画 topic tag、MovieLens-1M では映画 genre を使い、履歴に現れない topic/genre を niche とみなして multiplicative bonus を掛けている。
    • 単に興味に合うだけでなく、まだ見ていない方向へ広げる目的関数
• Trend Promotion
  • パーソナライゼーションと時間的人気度のバランスを取るため、ユーザーにとって関連性が高く、かつ直近の時間枠（例えば過去1日間）において高い人気を得ているアイテムに最高スコアが付与される
  • KuaiRec では直近 1 日の interaction count から trend score を作り、embedding-based similarity と min-max 正規化後に線形結合している
  • ユーザに合うことを主としつつ、今みんなが見ている要素を 30% 混ぜる

結果

Q. ある一つの need に特化して学習したとき、本当に既存法より強いのか。

Q. 一つの need で学習した知識が、別の need にどこまで転移するのか。

Q. 複数 need をまとめて学習した一つのモデルが universal ranker として機能するのか

Q. この方法が短動画や映画推薦だけでなく、商品検索のような non-sequential ranking にも効くのか

[ghibney]

On the Mechanisms of Collaborative Learning in VAE Recommenders

会議

ICLR 2026 Poster

概要

VAE ベースの協調フィルタリング (VAE-CF) で「なぜ入力マスクが効くのか」を理論的に解明し、学習時だけ使うアイテム anchor でユーザ表現のブレを抑える手法 (PIA) を提案。

背景

VAE-CF は学習時にユーザの行動ベクトルの一部をランダムに隠し (マスク)、残りから全体を復元させることで推薦精度が向上するが、なぜ効くのかは未解明だった。論文では、マスクが「行動が遠いが共通アイテムを持つユーザ同士を潜在空間上で偶然近づけ、パラメータ共有を通じて互いの学習が伝播する (global collaboration)」ことを理論的に証明した。一方でマスクパターンが毎回変わるため、同じユーザの潜在表現が学習のたびにブレる (neighborhood drift) という副作用も示した。

手法

各アイテムに decoder とは独立した学習可能な anchor (潜在空間上の目印) を割り当て、ユーザが触ったアイテムの anchor 重心を計算する (例: アイテム 1,3,7 を使ったユーザなら (e_1 + e_3 + e_7) / 3)。学習時の損失に「encoder 出力とこの重心の距離」を加えることで、どのマスクパターンでも encoder 出力が同じ重心付近に着地するようになり drift が抑制される。anchor は学習時のみ使い推論時は捨てるため、推論コストの追加はゼロで学習時間も約 16% 増に留まる。

結果

Netflix (46 万ユーザ)/ML-20M (14 万ユーザ)/MSD (57 万ユーザ) で Multi-VAE, RecVAE の両方に対し Recall/nDCG が一貫して改善。Amazon streaming (2500 万ユーザ × 4000 映画) での A/B テストでは Click Rate が +117〜283% 向上し p-value = 0.000。特に行動が少ない cold-start ユーザ (5-10 件) で Recall@20 +2.72%、行動が多い warm-start ユーザ (100 件+) で +4.09% と、推薦が難しい両端のユーザ層で最も効果が大きい。

[nogawanogawa]

DeepMTL2R: A Library for Deep Multi-task Learning to Rank

論文URL

https://arxiv.org/abs/2602.14519

著者

Chaosheng Dong, Peiyao Xiao, Yijia Wang, Kaiyi Ji

会議

?

背景

従来のLTRは通常単一の目的関数を最適化するものだが、現実世界では異質な複数のシグナル（クリック、ストリーム、売上、滞在時間、etc）を最適化したいことがある。
ツリーベースのモデルにMTL技術を組み込む研究はあったが、近年ではDNNモデルも登場している。

目的

• ランク学習とマルチタスク学習を両立するDNNフレームワーク

アプローチ

• DeepMTL2R
  • Transformerベース
  • リストレベルのコンテキストやアイテム間の依存関係をセルフアテンションのモデリング
  • タスク固有のシグナルを統合的に学習

memo

nogawanogawa/paper_memo#162