• 知乎ai办公软件

  • 表格excel处理
  • 思维导图
  • ppt制作

• 商业观点

  • 只有很少的商业和业务可以利用ai重新做一遍
  • 但有一些新的生意和业务，过去没得做，现在可以做；

谷歌2017年发表的论文，注意力机制的使用，对transfomer模型做出了重大改进

• transfomer 目前是全世界所有大模型的基座原理；
• Transformer: Attention is all you need 解读 https://zhuanlan.zhihu.com/p/343751830
• Attention Is All You Need (Transformer) 论文精读

在深度学习时代早期，人们使用RNN（循环神经网络）来处理机器翻译任务。一段输入先是会被预处理成一个token序列。RNN会对每个token逐个做计算，并维护一个表示整段文字整体信息的状态。根据当前时刻的状态，RNN可以输出当前时刻的一个token。

所谓token，既可以是一个单词、一个汉字，也可能是一个表示空白字符、未知字符、句首字符的特殊字符。

这种简单的RNN架构仅适用于输入和输出等长的任务。然而，大多数情况下，机器翻译的输出和输入都不是等长的。因此，人们使用了一种新的架构。前半部分的RNN只有输入，后半部分的RNN只有输出（上一轮的输出会当作下一轮的输入以补充信息）。前半部分可以叫做“编码器”，后半部分可以叫做“解码器”。这种架构因而被称为“编码器-解码器”架构。

这种架构存在不足：