Skip to content
Draft
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion chapters/zh-TW/_toctree.yml
Original file line number Diff line number Diff line change
Expand Up @@ -34,7 +34,7 @@
- local: chapter2/1
title: 本章簡介
- local: chapter2/2
title: 管道的內部
title: pipeline 背後的運作原理
- local: chapter2/3
title: 模型
- local: chapter2/4
Expand Down
21 changes: 11 additions & 10 deletions chapters/zh-TW/chapter2/1.mdx
Original file line number Diff line number Diff line change
@@ -1,22 +1,23 @@
# 本章簡介
# 本章簡介[[introduction]]

<CourseFloatingBanner
chapter={2}
classNames="absolute z-10 right-0 top-0"
/>

正如你在 [Chapter 1](/course/chapter1),中看到的那樣,Transformers 模型通常非常大。對於數以百萬計到數千萬計數十億的參數,訓練和部署這些模型是一項複雜的任務。此外,由於幾乎每天都在發佈新模型,而且每種模型都有自己的實現,因此嘗試它們絕非易事
正如你在[第一章](/course/chapter1)所看到的,Transformer 模型通常規模龐大。擁有數百萬乃至數*百億*個參數,訓練與部署這些模型是一項相當複雜的任務。此外,由於幾乎每天都有新模型發布,且每個模型都有各自的實作方式,要一一嘗試絕非易事

創建 🤗Transformers 庫就是為了解決這個問題。它的目標是提供一個API,通過它可以加載、訓練和保存任何Transformer模型。這個庫的主要特點是:
- **易於使用**:下載、加載和使用最先進的NLP模型進行推理只需兩行代碼即可完成。
- **靈活**:所有模型的核心都是簡單的 PyTorch **nn.Module** 或者 TensorFlow **tf.kears.Model**,可以像它們各自的機器學習(ML)框架中的任何其他模型一樣進行處理。
- **簡單**:當前位置整個庫幾乎沒有任何摘要。“都在一個文件中”是一個核心概念:模型的正向傳遞完全定義在一個文件中,因此代碼本身是可以理解的,並且是可以破解的。
🤗 Transformers 函式庫的誕生正是為了解決這個問題。它的目標是提供一個統一的 API,讓任何 Transformer 模型都能透過它來載入、訓練與儲存。這個函式庫的主要特色如下:

最後一個特性使🤗 Transformers與其他ML庫截然不同。這些模型不是基於通過文件共享的模塊構建的;相反,每一個模型都有自己的網絡結構(layers)。除了使模型更加容易接受和更容易理解,這還允許你輕鬆地在一個模型上實驗,而且不影響其他模型。
- **易於使用**:只需兩行程式碼,即可下載、載入並使用最先進的 NLP 模型進行推論。
- **靈活性**:所有模型的核心都是簡單的 PyTorch `nn.Module` 類別,可以像各自機器學習(ML)框架中的任何其他模型一樣處理。
- **簡潔性**:整個函式庫幾乎不做任何額外抽象。「一切盡在單一檔案」是其核心概念:模型的前向傳遞完全定義在單一檔案中,使程式碼本身易於理解且可自由修改。

本章將從一個端到端的示例開始,在該示例中,我們一起使用模型和tokenizer分詞器來複制[Chapter 1](/course/chapter1)中引入的函數 pipeline(). 接下來,我們將討論模型API:我們將深入研究模型和配置類,並向您展示如何加載模型以及如何將數值輸入處理為輸出預測
最後這項特色使 🤗 Transformers 與其他 ML 函式庫截然不同。這些模型並非建立在跨檔案共享的模組之上;相反地,每個模型都擁有自己的層。這不僅讓模型更容易上手和理解,也讓你能輕鬆地對單一模型進行實驗,而不影響其他模型

然後我們來看看標記器API,它是 pipeline() 函數的另一個主要組件。它是作用分詞器負責第一個和最後一個處理步驟,處理從文本到神經網絡數字輸入的轉換,以及在需要時轉換回文本。最後,我們將向您展示如何處理在一個準備好的批處理中通過一個模型發送多個句子的問題,然後詳細介紹 pipeline() 函數。
本章將從一個端對端的範例開始,示範如何結合使用模型與分詞器,來重現[第一章](/course/chapter1)所介紹的 `pipeline()` 函式。接著,我們將深入討論模型 API:探索模型與設定類別,並說明如何載入模型,以及模型如何將數值輸入處理為預測結果。

然後,我們將了解分詞器 API——它是 `pipeline()` 函式的另一個核心元件。分詞器負責處理第一步與最後一步:將文字轉換為神經網路所需的數值輸入,以及在需要時將結果轉換回文字。最後,我們將示範如何在一個預先準備好的批次中,將多個句子送入模型進行處理,並以更深入的方式介紹高階的 `tokenizer()` 函式。

> [!TIP]
> ⚠️ 為了從模型中心和 🤗Transformers 的所有可用功能中獲益,我們建議<a href="https://huggingface.co/join">creating an account</a>.
> ⚠️ 為了充分使用模型中心(Model Hub)與 🤗 Transformers 的所有功能,我們建議<a href="https://huggingface.co/join">建立一個帳號</a>
Loading
Loading