Description
LLM走進你的電腦：自己動手開發大型語言模型應用
本書共分四部分，第一部分詳細介紹大型語言模型的基礎理論知識，包括語言模型的定義、Transformer 結構，以及大型語言模型框架等內容，並以 LLaMA 所採用的模型結構為例的程式碼。
第二部分主要介紹預訓練的相關內容，包括在模型分散式訓練中需要掌握的資料平行、流水線並行和模型平行等技術也介紹了ZeRO 最佳化，介紹預訓練資料分佈和資料預處理，以DeepSpeed 為例，介紹大型語言模型的預訓練。
第三部分為大型語言模型在指令理解，如何在基礎模型的基礎上利用有監督微調和強化學習方法，理解指令並給出回答，包括高效微調方法、有監督微調資料構造方法、強化學習基礎和近端策略優化方法，並以 DeepSpeed-Chat和 MOSS-RLHF 為例訓練類 ChatGPT 系統。
第四部分重點介紹了大型語言模型的擴充應用和評估。包括與外部工具和知識源連接的LangChain 技術。
【本書看點】
●LLM基礎，包括GPT、Transformer、LLAMA
●常用的模型倉庫Huggingface的介紹
●LLM的預訓練資料的介紹及整理
●多GPU分散式訓練的基礎及實作
●SFT有監督微調的應用實例及基礎，包括LORA、PEFT
●強化學習在LLM中的應用，包括獎勵模型及PPO
●LLM的應用，包括COT及LLM瑞士刀LangChain
●用科學方式來評估LLM的能力
目錄
第 1 章 緒論
1.1 大型語言模型的基本概念
1.2 大型語言模型的發展歷程
1.3 大型語言模型的建構流程
1.4 本書的內容安排
第 2 章 大型語言模型基礎
2.1 Transformer 結構
2.2 生成式預訓練語言模型 GPT
2.3 大型語言模型的結構
2.4 實踐思考
第 3 章 大型語言模型預訓練資料
3.1 資料來源
3.2 資料處理
3.3 資料影響分析
3.4 開放原始碼資料集
3.5 實踐思考
第 4 章 分散式訓練
4.1 分散式訓練概述
4.2 分散式訓練的平行策略
4.3 分散式訓練的叢集架構
4.4 DeepSpeed 實踐
4.5 實踐思考
第 5 章 有監督微調
5.1 提示學習和語境學習
5.2 高效模型微調
5.3 模型上下文視窗擴展
5.4 指令資料的建構
5.5 DeepSpeed-Chat SFT 實踐
5.6 實踐思考
第 6 章 強化學習
6.1 基於人類回饋的強化學習
6.2 獎勵模型
6.3 近端策略最佳化
6.4 MOSS-RLHF 實踐
6.5 實踐思考
第 7 章 大型語言模型應用
7.1 推理規劃
7.2 綜合應用框架
7.3 智慧代理
7.4 多模態大模型
7.5 大型語言模型推理最佳化
7.6 實踐思考
第 8 章 大型語言模型評估
8.1 模型評估概述
8.2 大型語言模型評估系統
8.3 大型語言模型評估方法
8.4 大型語言模型評估實踐
8.5 實踐思考
參考文獻
索引
书名简译:LLM走进你的计算机：自己动手开发大型语言模型应用
目前沒有評價。