[经验]

大语言模型：原理与工程时间+小白初识大语言模型

问答对人有帮助，内容完整，我也想知道答案 0 解锁我理解的是基于深度学习，需要训练各种数据知识最后生成自己的的语言理解和能力的交互模型。对于常说的RNN是处理短序列的数据时表现出色，耳真正厉害的是Transformer，此框架被推出后直接开拓深度学习的思路。对于新涌现的大语言模型的能力，主要是表现在学习能力的提升、语言理解和生成能力、创新和探索的能力。基础技术词表示技术词表示一般分为三种，主要是词的独热表示（One-hot），词的分布式表示，基于预训练的词嵌入表示。独热表示就是在一个大的向量空间中，其中一个位1，其余都为0，这样就会变成单独的。词的分布式表示：根据上下文进行推断语义。基于预训练的词嵌入表示：重要的是利用莫种语言模型进行预训练，此处预训练为自然语言处理领域的里程碑分词技术（Tokenization） Word粒度：我/贼/喜欢/看/大语言模型 character粒度：我/贼/喜/欢/看/大/语/言/模/型 sunword粒度：中文->我/贼/喜/欢/看/大/语/言/模/型 English->let/'/s/go/to/li/##b 这里有个专有名词OOV：模型无法处理未在词表中的词其中效果最好的就是sunword粒度，可以处理以上问题，具有灵活性，允许学习词缀关系经典结构 transformer：由Encoder和Decoder组成，这个太厉害了，有效避免卷积神经网络中的梯度消失与梯度爆炸。开篇的感觉主要是学好数学，书山有路勤为径，学海无涯苦作舟！ 0
2024-5-12 23:57:34　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × jf_86523069 该类别下有 4 个回答。邀请回答 everest123 该类别下有 2 个回答。邀请回答 hzks 该类别下有 2 个回答。邀请回答向日葵铁塔该类别下有 2 个回答。邀请回答 FreeStyle0220 该类别下有 1 个回答。邀请回答 andyyau 该类别下有 1 个回答。邀请回答冷岛_8dd 该类别下有 1 个回答。邀请回答未羊该类别下有 1 个回答。邀请回答 cbl88 该类别下有 1 个回答。邀请回答阿福该类别下有 1 个回答。邀请回答 really1981 该类别下有 1 个回答。邀请回答发烧友才是真男人该类别下有 1 个回答。邀请回答九天之車该类别下有 1 个回答。邀请回答 L丶可悦该类别下有 1 个回答。邀请回答 h1654155946.1945 该类别下有 1 个回答。邀请回答老蔡2010 该类别下有 1 个回答。邀请回答 jp-brothers 该类别下有 1 个回答。邀请回答吴生该类别下有 1 个回答。邀请回答胡思敏该类别下有 1 个回答。邀请回答 gaofei... 该类别下有 1 个回答。邀请回答举报 jf_51300420 相关推荐 • 求一种基于模型检查的嵌入式软件验证方法 1030 • 无法在OVMS上运行来自Meta的大型语言模型（LLM），为什么? 236 • 大模型在半导体行业的应用可行性分析 1669 • 神经机器翻译的方法有哪些？ 1919 • 什么是自然语言处理 2626 • 工程师们为什么会使用 IBIS 模型呢？ 1980 • 如何用Verilog HDL语言描述D型主从触发器模块 1860 • 小白求助，求基于Proteus和C语言实现的程序和仿真 1093 • 高压MOSFET与IGBT SPICE模型 3212 • 使用rk3588多npu推理模型，模型总推理时间还增加了，这怎么解释 12326