深度学习基础篇
深度学习
基础知识
神经元
单层感知机
多层感知机
距离计算
向量距离与相似度
评估方式
机器学习常用评估指标
Precision、Recall、mAP
GAN评估指标
Perplexity
BLEU
ROUGE
优化策略
梯度下降算法背景
Momentum
NAG
AdaGrad
AdaDelta
RMSProp
Adam
AdaMax
Nadam
AMSGrad
AdaBound
AdamW
RAdam
Lookahead
激活函数
激活函数
损失函数
交叉熵损失
MSE损失
CTC损失
Lb损失
模型调优
学习率
注意力机制
正则化
Batch Size
参数初始化
归一化算法
归一化
层归一化
卷积模型
CNN综述
计算机视觉综述
计算机视觉的发展历程
卷积神经网络
池化
1 基础概念
2 特点
3 池化中填充的方式
4 应用示例
CNN模型的参数量与计算量计算
1. 卷积层
2. 归一化层
3. 线性层
4. 实例演示
卷积算子
标准卷积
1*1卷积
3D卷积
转置卷积
空洞卷积
分组卷积
可分离卷积
可变形卷积
序列模型
词表示
One-Hot编码: 一种简单的单词表示方式
Word Embedding: 一种分布式单词表示方式
Word2Vec: 一种词向量的训练方法
关于词向量的一些有趣应用
循环神经网络RNN
1. 循环神经网络RNN是什么
2. RNN的公式推导
3. RNN的缺陷
4. RNN的几种常见模式
5. 引用
长短时记忆网络LSTM
1. LSTM的设计思路
2. LSTM是怎样工作的
3. 从公式层面理解LSTM
4. 使用LSTM设计情感分析任务
门控循环单元GRU
1.更新门
2.重置门
3. 当前记忆内容
4. 当前时间步的最终记忆
参考文献
深度学习进阶篇
预训练模型
预训练模型是什么
预训练分词Subword
1. Subword介绍
2. 基于空格的分词方法
3. 基于字母的分词方法
4. 基于子词的分词方法
4.1 Byte Pair Encoding (BPE)
4.2 WordPiece
4.3 Unigram Language Model (ULM)
三种子词分词器的关系
ELMo
1.介绍
2.ELMo原理
3.ELMo 训练
4. ELMo使用步骤
5. 优缺点
6. 参考文献
Transformer
1.介绍
2.Transformer直观认识
3. Transformer的结构
3.1 Embedding
3.2 Encoder
3.3 Decoder
3.4 Transformer的最后一层和Softmax
3.5 Transformer的权重共享
4 总结
5. 参考文献
Transformer-XL
1. Transformer-XL的由来
2. Transformer-XL 建模更长序列
3. 相关资料
Longformer
1. Longformer的由来
2. Longformer提出的Self-Attention
3. Longformer Attention的实现
4. 相关资料
GPT
1. 介绍
2. 模型结构
3. GPT训练过程
4. GPT特点
5. GPT 与 ELMo的区别
参考文献
XLNet
1. 从AR和AE模型到XLNet模型
2. Permutation Language Model
3. Permutation Language Model如何建模
4. 相关资料
BERT
BERT介绍
BERT框架
BERT可视化
BERT的预训练任务
BERT的微调
BERT,GPT,ELMO的区别
优缺点
SpanBERT
1. SpanBERT的技术改进点
2. BERT模型中的预训练任务
3. SpanBERT的预训练任务
4. 相关资料
RoBERTa
1. Dynamic Masking
2. Full-Sentences without NSP
3. Larger Batch Size
4. Byte-Level BPE
5. More Data and More Training Steps
6. 相关资料
ERINE
1. ERINE是什么
2. Knowledge Masking Task
ERNIE 3.0
1. ERNIE 3.0的设计思路
2. ERNIE 3.0的模型结构
3. 不同类型的预训练任务
4. 相关资料
ERNIE-Gram
1. ERNIE-Gram的由来
2. ERNIE和N-Gram的融入方式
3. 使用生成器显式建模N-gram Relation
4. 相关资料
ERNIE-Doc
1. ERNIE-Doc的由来
2. 经典/Recurrence Transformer的计算
3. Retrospective feed mechanism
4. Enhanced Recurrence Mechanism
5. Segment-Reordering Objective
6. 相关资料
THU-ERNIE
1. THU-ERNIE的由来
2. THU-ERNIE的模型结构
3. K-Encoder融合文本信息和KG知识
4. THU-ERNIE的预训练任务
6. 参考资料
SKEP
1. SKEP的设计思路
2. SKEP的实现概况
3. 无监督情感知识挖掘
4. Sentiment Masking
5. Sentiment Pre-training Objectives
6. 相关资料
KBERT
1. KBERT的由来
2. KBERT的模型结构
3. 相关资料
ALBERT
介绍
模型结构
No Dropout
ELECTRA
1.介绍
2.模型结构
3.训练策略
4. 实验
5.分析
6. 总结
7. 参考文献
Performer
1. 介绍
2. 两种常规的注意力机制回顾
3. 广义注意力
4. FAVOR+：通过矩阵相关性实现快速注意力
5. 实验结果
6. 案例：蛋白质序列建模
7. 总结
参考文献
对抗神经网络
基本概念
博弈论
纳什均衡
输入噪声
生成器
判别器
损失函数
模型训练
模型训练不稳定
模式崩溃
编码器和解码器
编码器
解码器
GAN应用
应用
GAN综述
Overview
深度学习应用篇
计算机视觉
图像增广
一、数据增广
二、常用数据增广方法
三、图像变换类
四、图像裁剪类
五、图像混叠
六、实验
参考文献
测试时增强
图像分类
LeNet
AlexNet
VGG
GoogLeNet
DarkNet
ResNet
ResNeXt
Res2Net
Swin Transformer
ViT
目标检测
目标检测综述
边界框（bounding box）
锚框（Anchor box）
交并比
NMS
SoftNMS
语义分割
DeepLabV3
综述
OCR
OCR综述
OCR检测方法
OCR识别方法
视频分类
TSM
TimeSformer
自然语言处理
命名实体识别
命名实体识别是什么
一文读懂BiLSTM+CRF实现命名实体识别
N-Gram
介绍
概率计算
SimCSE
1.介绍
2.对比学习背景
3.无监督SimCSE
4.有监督SimCSE
5.各向异性问题
6.实验细节
7.总结
8.参考文献
推荐系统
推荐系统基础
推荐系统的产生
应用场景
推荐系统的方法
推荐系统的组成
推荐系统的评价指标
场景转化指标
消费满意度
离线评估验证方法
离线评估的主要指标
Replay
用户数据指标
DSSM
背景
DSSM
参考文献
DeepFM
1.模型简介
2.DeepFM模型结构
3.FM
4.DNN
5.Loss及Auc计算
6.与其他模型的对比
7.参考文献
元学习
元学习概述
1 元学习概念
2 元学习含义
3 元学习单位
4 基学习器和元学习器
5 元学习工作原理
6 元学习关键
7 元学习分类
基于优化的元学习
MAML
Reptile
LEO
基于度量的元学习
SNAIL
RN
PN
MN
基于模型的元学习
Learning to Learn
Meta-Learner LSTM
产业实践篇
模型压缩
模型压缩概述
1. 为什么需要模型压缩
2. 模型压缩的基本方法
模型蒸馏
Patient-KD
DistilBERT
DynaBERT
TinyBERT
模型部署
强化学习篇
强化学习
强化学习基础知识点
马尔科夫决策过程
策略梯度定理
蒙特卡洛策略梯度定理
REINFORCE 算法
SARSA
介绍
基础概念
应用举例
优缺点
Q-Learning
介绍
基础概念
应用举例
优缺点
DQN
1. 网络概述及其创新点
2. 算法流程
Actor-Critic
介绍
Actor-Critic
Actor-Critic算法流程
Actor-Critic优缺点
面试宝典
面试问题
深度学习基础
卷积模型
预训练模型
对抗神经网络
计算机视觉
自然语言处理
推荐系统
模型压缩
强化学习