ewAU_zenRRan的文章_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的文章发文章

基于归结反演的大语言模型逻辑推断系统
2024-4-28 18:00

受逻辑符号领域的逻辑推理方法的启发，我们引入了一个在一阶逻辑下完备的逻辑推理范式归结反演（其推理过程不会受到条件1的约束）来提高完备性，并提出一个新的推理框架GFaiR。...

0

907次阅读

0条评论
OpenAI新研究：指令层次结构防御LLM攻击策略
2024-4-28 10:41

为了解决这个问题，这篇研究提出了一种指令层次结构（instruction hierarchy）。它明确定义了不同指令的优先级，以及当不同优先级的指令发生冲突时，LLM应该如何表现。...

0

851次阅读

0条评论
RAG系统中答案无关片段对LLMs生成结果的影响分析
2024-4-15 09:49

与常见语义无关的答案无关片段相比，LLMs更容易受到高度语义相关的答案无关片段的影响；...

0

796次阅读

0条评论
通过增强一致性训练，有效缓解CoT中的偏见问题
2024-3-22 10:37

这些偏见特征可能导致模型在没有明确提及这些偏见的情况下，系统性地歪曲其推理过程，从而产生不忠实（unfaithful）的推理。...

0

842次阅读

0条评论
探索推理时KV Cache的动态内存压缩方法
2024-3-22 09:16

DMC通过一个决策变量（α）来有效地对输入序列进行分段，每个段落可以独立地决定是继续追加还是进行累积。这允许模型在不同段落之间动态调整内存使用。...

0

1650次阅读

0条评论
深度探讨VLMs距离视觉演绎推理还有多远？
2024-3-19 14:32

通用大型语言模型（LLM）推理基准：研究者们介绍了多种基于文本的推理任务和基准，用于评估LLMs在不同领域（如常识、数学推理、常识推理、事实推理和编程）的性能。这些研究包括BIG-bench、HELM、SuperGLUE...

0

737次阅读

0条评论
一种高效的KV缓存压缩框架--GEAR
2024-3-19 10:12

GEAR框架通过结合三种互补的技术来解决这一挑战：首先对大多数相似幅度的条目应用超低精度量化；然后使用低秩矩阵来近似量化误差。...

0

912次阅读

0条评论
大语言模型（LLMs）如何处理多语言输入问题
2024-3-7 14:44

研究者们提出了一个框架来描述LLMs在处理多语言输入时的内部处理过程，并探讨了模型中是否存在特定于语言的神经元。...

0

1348次阅读

0条评论
快速全面了解大模型长文本能力
2024-2-22 14:04

那关于LLM的长文本能力，目前业界通常都是怎么做的？有哪些技术点或者方向？今天我们就来总结一波，供大家快速全面了解。...

0

1534次阅读

0条评论
探索LangChain：构建专属LLM应用的基石
2024-1-30 10:33

LangChain通过Loader加载外部的文档，转化为标准的Document类型。Document类型主要包含两个属性：page_content 包含该文档的内容。meta_data 为文档相关的描述性数据，类似文档所...

0

1190次阅读

0条评论
大模型Reward Model的trick应用技巧
2024-1-25 09:31

借助对比学习和元学习的方法。增加对比学习的loss，对比学习通过增强模型区分能力，来增强RM的对好坏的区分水平。元学习则使奖励模型能够维持区分分布外样本的细微差异，这种方法可以用于迭代式的RLHF优化。...

0

1725次阅读

0条评论
Continous Batching大模型推理关键技术
2024-1-23 11:25

TurboTransformers算是比较早期指出输入变长需要新的Batching方法的论文。在2020年上半年，我开始思考如何把变长输入Batching方法扩展到Decoder架构中。...

0

1343次阅读

0条评论
2023年LLM大模型研究进展
2024-1-19 13:55

作为做LLM应用的副产品，我们提出了RLCD[11]，通过同时使用正例和负例prompt，自动生成带标签的生成样本不需人工标注，然后可以接大模型微调，或者用于训练reward models...

0

963次阅读

0条评论
掌握成本计算：大模型AI应用的关键要素
2024-1-17 11:43

目前看起来，训练数据的质量比数量更重要。对于大模型厂商来说，如何从繁多的数据中拿到高质量的训练数据是他们降低成本的重要工作。...

0

1921次阅读

0条评论
如何利用位置编码实现长度外推？
2024-1-8 09:58

无论是缩放位置索引还是修改基地，所有token都变得彼此更接近，这将损害LLM区分相近token的位置顺序的能力。结合他们对RoPE的波长的观察，存在一些波长比预训练的上下文窗口长的维度，NTK-by-parts插值的作...

0

914次阅读

0条评论