[经验]

大语言模型：原理与工程时间+小白初识大语言模型

问答对人有帮助，内容完整，我也想知道答案 0 解锁我理解的是基于深度学习，需要训练各种数据知识最后生成自己的的语言理解和能力的交互模型。对于常说的RNN是处理短序列的数据时表现出色，耳真正厉害的是Transformer，此框架被推出后直接开拓深度学习的思路。对于新涌现的大语言模型的能力，主要是表现在学习能力的提升、语言理解和生成能力、创新和探索的能力。基础技术词表示技术词表示一般分为三种，主要是词的独热表示（One-hot），词的分布式表示，基于预训练的词嵌入表示。独热表示就是在一个大的向量空间中，其中一个位1，其余都为0，这样就会变成单独的。词的分布式表示：根据上下文进行推断语义。基于预训练的词嵌入表示：重要的是利用莫种语言模型进行预训练，此处预训练为自然语言处理领域的里程碑分词技术（Tokenization） Word粒度：我/贼/喜欢/看/大语言模型 character粒度：我/贼/喜/欢/看/大/语/言/模/型 sunword粒度：中文->我/贼/喜/欢/看/大/语/言/模/型 English->let/'/s/go/to/li/##b 这里有个专有名词OOV：模型无法处理未在词表中的词其中效果最好的就是sunword粒度，可以处理以上问题，具有灵活性，允许学习词缀关系经典结构 transformer：由Encoder和Decoder组成，这个太厉害了，有效避免卷积神经网络中的梯度消失与梯度爆炸。开篇的感觉主要是学好数学，书山有路勤为径，学海无涯苦作舟！ 0 本主题由 dianzi_0101 于 2024-5-13 09:02 审核通过
2024-5-12 23:57:34　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × hzks 该类别下有 2 个回答。邀请回答向日葵铁塔该类别下有 2 个回答。邀请回答 everest123 该类别下有 2 个回答。邀请回答 fkzxf 该类别下有 1 个回答。邀请回答阿依诺该类别下有 1 个回答。邀请回答华2333 该类别下有 1 个回答。邀请回答 hjs108 该类别下有 1 个回答。邀请回答洌洌的水该类别下有 1 个回答。邀请回答 slytherinsun 该类别下有 1 个回答。邀请回答 zkj2019 该类别下有 1 个回答。邀请回答 ygngygsina 该类别下有 1 个回答。邀请回答 yangjie 该类别下有 1 个回答。邀请回答 Liutoou 该类别下有 1 个回答。邀请回答陌上花开lzp 该类别下有 1 个回答。邀请回答 rx_ted 该类别下有 1 个回答。邀请回答墨笔成灰该类别下有 1 个回答。邀请回答 Cho 该类别下有 1 个回答。邀请回答 baigame 该类别下有 1 个回答。邀请回答星邻_aed 该类别下有 1 个回答。邀请回答赵承乾该类别下有 1 个回答。邀请回答举报 jf_51300420 相关推荐 • 求一种基于模型检查的嵌入式软件验证方法 747 • 神经机器翻译的方法有哪些？ 1639 • 什么是自然语言处理 2315 • 工程师们为什么会使用 IBIS 模型呢？ 1608 • 如何用Verilog HDL语言描述D型主从触发器模块 1558 • 小白求助，求基于Proteus和C语言实现的程序和仿真 897 • 高压MOSFET与IGBT SPICE模型 2893 • 使用rk3588多npu推理模型，模型总推理时间还增加了，这怎么解释 11270 • 小白求助，求大佬分享C语言的if条件语句演示实例 1477 • AIO-3568J是否可以使用python调用rknn模型 3652