[经验]

大语言模型：原理与工程时间+小白初识大语言模型

问答对人有帮助，内容完整，我也想知道答案 0 解锁我理解的是基于深度学习，需要训练各种数据知识最后生成自己的的语言理解和能力的交互模型。对于常说的RNN是处理短序列的数据时表现出色，耳真正厉害的是Transformer，此框架被推出后直接开拓深度学习的思路。对于新涌现的大语言模型的能力，主要是表现在学习能力的提升、语言理解和生成能力、创新和探索的能力。基础技术词表示技术词表示一般分为三种，主要是词的独热表示（One-hot），词的分布式表示，基于预训练的词嵌入表示。独热表示就是在一个大的向量空间中，其中一个位1，其余都为0，这样就会变成单独的。词的分布式表示：根据上下文进行推断语义。基于预训练的词嵌入表示：重要的是利用莫种语言模型进行预训练，此处预训练为自然语言处理领域的里程碑分词技术（Tokenization） Word粒度：我/贼/喜欢/看/大语言模型 character粒度：我/贼/喜/欢/看/大/语/言/模/型 sunword粒度：中文->我/贼/喜/欢/看/大/语/言/模/型 English->let/'/s/go/to/li/##b 这里有个专有名词OOV：模型无法处理未在词表中的词其中效果最好的就是sunword粒度，可以处理以上问题，具有灵活性，允许学习词缀关系经典结构 transformer：由Encoder和Decoder组成，这个太厉害了，有效避免卷积神经网络中的梯度消失与梯度爆炸。开篇的感觉主要是学好数学，书山有路勤为径，学海无涯苦作舟！ 0 本主题由 dianzi_0101 于 2024-5-13 09:02 审核通过
2024-5-12 23:57:34　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × 向日葵铁塔该类别下有 2 个回答。邀请回答 everest123 该类别下有 2 个回答。邀请回答 hzks 该类别下有 2 个回答。邀请回答逸興遄飛该类别下有 1 个回答。邀请回答 linlaoli 该类别下有 1 个回答。邀请回答 24不可说该类别下有 1 个回答。邀请回答 ChauvetPeng 该类别下有 1 个回答。邀请回答 wzzjnb2006 该类别下有 1 个回答。邀请回答彭伟文该类别下有 1 个回答。邀请回答 xvelin 该类别下有 1 个回答。邀请回答孤⇔✘ 该类别下有 1 个回答。邀请回答輕°sunshine 该类别下有 1 个回答。邀请回答于彪该类别下有 1 个回答。邀请回答颓废了就习惯了该类别下有 1 个回答。邀请回答上海唐辉电子杯该类别下有 1 个回答。邀请回答 light6776 该类别下有 1 个回答。邀请回答 jf_16190223 该类别下有 1 个回答。邀请回答 Murphy 该类别下有 1 个回答。邀请回答 FPGA之道该类别下有 1 个回答。邀请回答 lulu9398 该类别下有 1 个回答。邀请回答举报 jf_51300420 相关推荐 • 求一种基于模型检查的嵌入式软件验证方法 726 • 神经机器翻译的方法有哪些？ 1622 • 什么是自然语言处理 2291 • 工程师们为什么会使用 IBIS 模型呢？ 1591 • 如何用Verilog HDL语言描述D型主从触发器模块 1529 • 小白求助，求基于Proteus和C语言实现的程序和仿真 882 • 高压MOSFET与IGBT SPICE模型 2865 • 使用rk3588多npu推理模型，模型总推理时间还增加了，这怎么解释 10487 • 小白求助，求大佬分享C语言的if条件语句演示实例 1463 • AIO-3568J是否可以使用python调用rknn模型 3637