ewAU_zenRRan的个人主页_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的动态

发布了文章 2024-3-7 14:44

大语言模型（LLMs）如何处理多语言输入问题

研究者们提出了一个框架来描述LLMs在处理多语言输入时的内部处理过程，并探讨了模型中是否存在特定于语言的神经元。...

0

1350次阅读

0条评论
发布了文章 2024-3-1 11:38

LLM中的大规模激活

篇论文主要研究了大型语言模型（LLMs）中的一个现象，即在模型的隐藏状态中存在极少数激活值（activations）远大于其他激活值的情况，这些被称为“massive activations”。...

0

1237次阅读

0条评论
发布了文章 2024-2-22 14:13

利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统（下）

对于语言模型（LLM）幻觉，知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息，减少了LLM中出现幻觉的可能性。...

0

2074次阅读

0条评论
发布了文章 2024-2-22 14:07

利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统（上）

向量数据库是一组高维向量的集合，用于表示实体或概念，例如单词、短语或文档。向量数据库可以根据实体或概念的向量表示来度量它们之间的相似性或关联性。...

0

2035次阅读

0条评论
发布了文章 2024-2-22 14:04

快速全面了解大模型长文本能力

那关于LLM的长文本能力，目前业界通常都是怎么做的？有哪些技术点或者方向？今天我们就来总结一波，供大家快速全面了解。...

0

1540次阅读

0条评论
发布了文章 2024-2-21 16:00

LLaMA 2是什么？LLaMA 2背后的研究工作

Meta 发布的 LLaMA 2，是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着 LLaMA 的下一代版本，并且具有商业许可证。...

0

2145次阅读

0条评论
发布了文章 2024-2-21 11:38

大模型系列：Flash Attention V2整体运作流程

基于1.1中的思想，我们在V2中将原本的内外循环置换了位置（示意图就不画了，基本可以对比V1示意图想象出来）。我们直接来看V2的伪代码（如果对以下伪代码符号表示或解读有疑惑的朋友，最好先看一下V1的讲解）。...

0

4214次阅读

0条评论
发布了文章 2024-2-21 11:30

开发RAG管道过程中的12个痛点

准确解释用户查询以检索相关的结构化数据是困难的，特别是在面对复杂或模糊的查询、不灵活的文本到SQL转换方面...

0

1463次阅读

0条评论
发布了文章 2024-2-21 11:28

聊聊小公司如何做大模型

通过SFT、DPO、RLHF等技术训练了领域写作模型。实测下来，在该领域写作上，强于国内大多数的闭源模型。...

0

1183次阅读

0条评论
发布了文章 2024-1-30 10:37

小红书搜索团队研究新框架：负样本在大模型蒸馏中的重要性

在思维链（CoT）提示的帮助下，大语言模型（LLMs）展现出强大的推理能力。然而，思维链已被证明是千亿级参数模型才具有的涌现能力。...

0

2039次阅读

0条评论
发布了文章 2024-1-30 10:33

探索LangChain：构建专属LLM应用的基石

LangChain通过Loader加载外部的文档，转化为标准的Document类型。Document类型主要包含两个属性：page_content 包含该文档的内容。meta_data 为文档相关的描述性数据，类似文档所在的路径等。...

0

1192次阅读

0条评论
发布了文章 2024-1-29 15:54

LLM推理加速新范式！推测解码（Speculative Decoding）最新综述

这个问题随着LLM规模的增大愈发严重。并且，如下左图所示，目前LLM常用的自回归解码（autoregressive decoding）在每个解码步只能生成一个token。这导致GPU计算资源利用率低下（->每个token的生成都需要重...

0

5860次阅读

0条评论
发布了文章 2023-2-28 10:26

介绍一个给NLP领域带来革新的预训练语言大模型Bert

之前的文章和大家详细的介绍了静态的词向量表示word2vec理论加实战，但是word2vec存在一个很大的问题，由于是静态词向量所以无法表示一词多义，对于每个词只能有一个固定的向量表示...

0

105462次阅读

0条评论
发布了文章 2023-2-28 10:21

Language Model Reasoning是什么意思？

那么，前面总是提到推理 (Reasoning) 这个词，什么是推理？我尝试用自己的语言来解释“推理”的含义，最后发现我写得还不如 ChatGPT...

0

1923次阅读

0条评论
发布了文章 2023-2-28 09:30

复旦大学NLP实验室《自然语言处理导论》网络初版发布

复旦大学自然语言处理实验室张奇教授、桂韬研究员以及黄萱菁教授从2020年起着手教材的规划，结合自己对相关领域的核心问题的理解，和长期教学、研究以及工程实践经验，系统梳理了自然语言处理领域发展至今的关键知识，历时近三年，终于在近期完成了初版。...

0

1658次阅读

0条评论