avatar
文章
95
标签
30
分类
27

首页
时间轴
标签
分类
关于
谨慎谦虚
首页
时间轴
标签
分类
关于
PAGE_NAME
# 保研# 神经网络# NLP

HuggingFace NLP Course

发表于2023-03-26|更新于2024-05-07|学习笔记神经网络
|字数总计:15|阅读量:1|评论数:
HuggingFace NLP Course
https://jjq0425.github.io/post/8892/
作者
谨慎谦虚
发布于
2023-03-26
更新于
2024-05-07
许可协议
CC BY 4.0
# 保研# 神经网络# NLP
cover of previous post
上一篇
杂记——关于我的2023
cover of next post
下一篇
Transformer神经网络
相关推荐 随便逛逛
cover
2023-03-13
CNN卷积神经网络
cover
2023-03-14
RNN循环神经网络
cover
2023-03-14
Transformer神经网络
cover
2023-02-25
神经网络入门
cover
2023-07-15
保研记录贴
cover
2024-03-29
数据结构刷题日记基础篇

评论
avatar
谨慎谦虚
等风来不如追风去
文章
95
标签
30
分类
27
公告& 提示
👋若博客界面加载延迟,建议您刷新页面并清除缓存。图片展示依赖于Github图床,如遇加载困难,不妨尝试调整DNS设置。
愿知识的星火,永远照亮前方。
目录
  1. 1. Transformer模型
    1. 1.1. pipline使用
    2. 1.2. 典型任务
      1. 1.2.1. 零样本分类
      2. 1.2.2. 文本预测生成
      3. 1.2.3. Mask Filling 填补空白
      4. 1.2.4. 实体命名识别
    3. 1.3. 工作机理
      1. 1.3.1. 微调他
        1. 1.3.1.1. 微调方式一:因果语言建模
        2. 1.3.1.2. 微调方式2:遮罩语言建模
    4. 1.4. 迁移学习
    5. 1.5. 体系结构
      1. 1.5.1. 注意力层
      2. 1.5.2. 原始的结构
  2. 2. 使用Transformer
    1. 2.1. Behind Pipline
      1. 2.1.1. 使用分词器进行预处理 Tokenizer
      2. 2.1.2. 浏览模型
        1. 2.1.2.1. 高维向量
        2. 2.1.2.2. 模型头:数字的意义
      3. 2.1.3. 输出后处理
    2. 2.2. 模型
      1. 2.2.1. 初始化模型
      2. 2.2.2. 保存模型
      3. 2.2.3. 推理
    3. 2.3. 标记器
      1. 2.3.1. 如何标记
        1. 2.3.1.1. 基于词的(Word-based)& 基于字符(Character-based)
        2. 2.3.1.2. 子词标记化
      2. 2.3.2. 应用
      3. 2.3.3. 逐步理解原子操作:编码与解码
        1. 2.3.3.1. 编码
        2. 2.3.3.2. 解码
      4. 2.3.4. 处理序列
        1. 2.3.4.1. 填充输入
        2. 2.3.4.2. 注意力面具
        3. 2.3.4.3. 长序列
    4. 2.4. 合起来
      1. 2.4.1. 特殊词符(token)
      2. 2.4.2. 最终
  3. 3. 微调
    1. 3.1. 预处理数据
      1. 3.1.1. 从模型中心下载数据集
      2. 3.1.2. 预处理训练集
      3. 3.1.3. 动态填充
      4. 3.1.4. 汇总
    2. 3.2. 使用 Trainer API 微调模型
      1. 3.2.1. 训练
      2. 3.2.2. 评估
最新文章
大模型框架基础
大模型框架基础2025-06-02
SCRAPS适用于具有不可信代理验证者的发布-订阅物联网网络的可扩展集体远程证明
SCRAPS适用于具有不可信代理验证者的发布-订阅物联网网络的可扩展集体远程证明2025-05-20
模型上下文协议MCP:现状、安全威胁及未来研究方向
模型上下文协议MCP:现状、安全威胁及未来研究方向2025-04-29
算法JAVA常用库语法
算法JAVA常用库语法2025-04-23
LeetCode-Hot100思路复习
LeetCode-Hot100思路复习2025-03-26

源于 热爱而去
寻找探索发现生活感受创造闪耀成长

©2022 - 2025 By 谨慎谦虚
框架 Hexo|主题 butterfly
本地搜索
数据库加载中

复制
昼夜切换阅读模式随机文章