LLMs 相关知识及面试题

简介

本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 🌟 star，谢谢！

为了在低资源情况下，学习大模型，进行动手实践，创建 tiny-llm-zh仓库，旨在构建一个小参数量的中文大语言模型，该项目已部署，可以在如下网站上体验：ModeScope Tiny LLM。

动手实践项目：

• tiny-llm-zh : 从零实现一个小参数量的中文大语言模型，快速掌握大模型预训练、微调、RL等相关技术；
• tiny-rag : 实现一个简单的RAG系统，支持多路召回、重排等功能，快速了解搜索相关内容；
• tiny-mcp : 使用 Prompt 和 Function Calling 实现 MCP （模型上下文协议）服务端和客户端，快速使用MCP搭建Agent项目。
• llama3-from-scratch-zh : 从零实现 llama3, 可加载 meta 官方权重，可在本地笔记本（16G内存）调试运行

其他学习资源推荐：

• AI 工程师八股 : 包含深度学习、机器学习、推荐系统、搜索系统等通用知识

在线阅读

在线阅读链接：LLMs Interview Note

注意：

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：

目录

• 首页
• 真实面试题
• 01.大语言模型基础
  • 1.1 大模型发展历程
    • 1.语言模型
  • 1.2 分词与词向量
    • 1.分词
    • 2.jieba分词用法及原理
    • 3.词性标注
    • 4.句法分析
    • 5.词向量
  • 1.3 语言模型基础知识
    • Word2Vec
    • NLP三大特征抽取器（CNN/RNN/TF）
    • NLP面试题
    • [LLM为什么Decoder only架构](</01.大语言模型基础/LLM为什么Decoder only架构/LLM为什么Decoder only架构.md> "LLM为什么Decoder only架构")
  • 1.4 深度学习
    • 1.激活函数
  • 1.5 一些题目
    • 1.llm概念
• 02.大语言模型架构
  • 2.1 Transformer模型
    • 1.attention
    • 2.layer_normalization
    • 3.位置编码
    • 4.tokenize分词
    • 5.token及模型参数
    • 6.激活函数
  • 2.2 注意力
    • MHA_MQA_GQA
  • 2.3 解码部分
    • [解码策略（Top-k & Top-p & Temperature）](</02.大语言模型架构/解码策略（Top-k & Top-p & Temperatu/解码策略（Top-k & Top-p & Temperature）.md> "解码策略（Top-k & Top-p & Temperature）")
  • 2.4 BERT
    • bert细节
    • Transformer架构细节
    • bert变种
  • 2.5 常见大模型
    • llama系列模型
    • chatglm系列模型
    • [llama 2代码详解](</02.大语言模型架构/llama 2代码详解/llama 2代码详解.md> "llama 2代码详解")
    • [llama 3](</02.大语言模型架构/llama 3/llama 3.md> "llama 3")
  • 2.6 MoE
    • 1.MoE论文
    • 2.MoE经典论文简牍
    • [3.LLM MoE ：Switch Transformers](</02.大语言模型架构/3.LLM MoE ：Switch Transformers/3.LLM MoE ：Switch Transformers.md> "3.LLM MoE ：Switch Transformers")
• 03.训练数据集
  • 3.1 数据集
    • 数据格式
  • 3.2 模型参数
• 04.分布式训练
  • 4.1 基础知识
    • 1.概述
    • 2.数据并行
    • 3.流水线并行
    • 4.张量并行
    • 5.序列并行
    • 6.多维度混合并行
    • 7.自动并行
    • 8.moe并行
    • 9.总结
  • 4.2 DeepSpeed
    • deepspeed介绍
  • 4.3 Megatron
  • 4.4 训练加速
  • 4.5 一些有用的文章
  • 4.6 一些题目
    • 1.分布式训练题目
    • 2.显存问题
• 05.有监督微调
  • 5.1 理论
    • 1.基本概念
    • 2.prompting
    • 3.adapter-tuning
    • 4.lora
    • 5.总结
  • 5.2 微调实战
    • llama2微调
    • ChatGLM3微调
  • 5.3 一些题目
    • 1.微调
    • 2.预训练
• 06.推理
  • 6.1 推理框架
    • 0.llm推理框架简单总结
    • 1.vllm
    • 2.text_generation_inference
    • 3.faster_transformer
    • 4.trt_llm
  • 6.2 推理优化技术
    • llm推理优化技术
  • 6.3 量化
  • 6.4 vLLM
  • 6.5 一些题目
    • 1.推理
• 07.强化学习
  • 7.1 强化学习原理
    • 策略梯度（pg）
    • 近端策略优化(ppo)
  • 7.2 RLHF
    • 大模型RLHF：PPO原理与源码解读
    • DPO
  • 7.3 一些题目
    • 1.rlhf相关
    • 2.强化学习
• 08.检索增强RAG
  • 8.1 RAG
    • 检索增强llm
    • rag（检索增强生成）技术
  • 8.2 Agent
    • 大模型agent技术
• 09.大语言模型评估
  • 9.1 模型评估
    • 1.评测
  • 9.2 LLM幻觉
    • 1.大模型幻觉
    • 2.幻觉来源与缓解
• 10.大语言模型应用
  • 10.1 思维链提示
    • 1.思维链（cot）
  • 10.2 LangChain框架
    • 1.langchain
• 98.相关课程
• 99.参考资料