永洪社区

标题: 一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Tra... [打印本页]
作者: 喝酸奶不舔盖    时间: 2024-5-20 11:03
标题: 一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Tra...

ChatGPT横空出世后，伴随而来的是大量AI概念，这些概念互相之间既有联系也有区别，让人一脸懵逼，近期大鱼做了GPT相关概念的辨析，特此分享给你。

1）Transformer
2）GPT
3）InstructGPT
4）ChatGPT（GPT3.5/GPT4.0）
5）大模型
6）AIGC（人工智能生成内容）
7）AGI（通用人工智能）
8）LLM（大型语言模型）
9）羊驼（Alpaca）
10）Fine-tuning（微调）
11）自监督学习（Self-Supervised Learning）
12）自注意力机制（Self-Attention Mechanism）
13）零样本学习（Zero-Shot Learning)
14）AI  Alignment （AI对齐）
15）词嵌入（Word Embeddings）
16）位置编码（Positional Encoding）
17）中文LangChain

1、Transformer

Transformer 是一种基于自注意力机制（self-attention mechanism）的深度学习模型，最初是为了处理序列到序列（sequence-to-sequence）的任务，比如机器翻译。由于其优秀的性能和灵活性，它现在被广泛应用于各种自然语言处理（NLP）任务。Transformer模型最初由Vaswani等人在2017年的论文"Attention is All You Need"中提出。

Transformer模型主要由以下几部分组成：

（1）自注意力机制（Self-Attention Mechanism）
自注意力机制是Transformer模型的核心。它允许模型在处理一个序列的时候，考虑序列中的所有单词，并根据它们的重要性给予不同的权重。这种机制使得模型能够捕获到一个序列中的长距离依赖关系。

（2）位置编码（Positional Encoding）
由于Transformer模型没有明确的处理序列顺序的机制，所以需要添加位置编码来提供序列中单词的位置信息。位置编码是一个向量，与输入单词的嵌入向量相加，然后输入到模型中。

（3）编码器和解码器（Encoder and Decoder）
Transformer模型由多层的编码器和解码器堆叠而成。编码器用于处理输入序列，解码器用于生成输出序列。编码器和解码器都由自注意力机制和前馈神经网络（Feed-Forward Neural Network）组成。

（4）多头注意力（Multi-Head Attention）
在处理自注意力时，Transformer模型并不只满足于一个注意力分布，而是产生多个注意力分布，这就是所谓的多头注意力。多头注意力可以让模型在多个不同的表示空间中学习输入序列的表示。

（5）前馈神经网络（Feed-Forward Neural Network）
在自注意力之后，Transformer模型会通过一个前馈神经网络来进一步处理序列。这个网络由两层全连接层和一个ReLU激活函数组成。

（6）残差连接和层归一化（Residual Connection and Layer Normalization）

Transformer模型中的每一个子层（自注意力和前馈神经网络）都有一个残差连接，并且其输出会通过层归一化。这有助于模型处理深度网络中常见的梯度消失和梯度爆炸问题。

下图示例了架构图。
(, 下载次数: 19)