发 帖  
  • 发布了文章 2024-4-28 18:00
    受逻辑符号领域的逻辑推理方法的启发,我们引入了一个在一阶逻辑下完备的逻辑推理范式归结反演(其推理过程不会受到条件1的约束)来提高完备性,并提出一个新的推理框架GFaiR。...
    0
    289次阅读
    0条评论
  • 发布了文章 2024-4-28 10:41
    为了解决这个问题,这篇研究提出了一种指令层次结构(instruction hierarchy)。它明确定义了不同指令的优先级,以及当不同优先级的指令发生冲突时,LLM应该如何表现。...
    0
    212次阅读
    0条评论
  • 发布了文章 2024-4-24 09:17
    高级的RAG能很大程度优化原始RAG的问题,在索引、检索和生成上都有更多精细的优化,主要的优化点会集中在索引、向量模型优化、检索后处理等模块进行优化...
    0
    532次阅读
    0条评论
  • 发布了文章 2024-4-15 09:53
    MoE 与 MoT:在专家混合中(左),每个令牌都被路由到不同的专家前馈层。在令牌混合(右)中,每组内的令牌被混合,并且混合令牌由专家前馈层处理。...
    0
    576次阅读
    0条评论
  • 发布了文章 2024-4-15 09:49
    与常见语义无关的答案无关片段相比,LLMs更容易受到高度语义相关的答案无关片段的影响;...
    0
    282次阅读
    0条评论
  • 发布了文章 2024-4-2 16:46
    这篇论文试图解决的问题是大型预训练模型在下游任务中进行微调时出现的过拟合问题。尽管低秩适应(LoRA)及其变体通过学习低秩增量矩阵有效地减少了与完全微调方法相比的可训练参数数量。...
    0
    524次阅读
    0条评论
  • 发布了文章 2024-3-28 10:51
    在选择k值时,较大的值会使生成的内容更具多样性,但可能会生成不合理的内容;较小的值则使生成的内容多样性较低,但质量更有保证。我们可以根据任务的不同选择合适的k值。...
    0
    571次阅读
    0条评论
  • 发布了文章 2024-3-22 10:37
    这些偏见特征可能导致模型在没有明确提及这些偏见的情况下,系统性地歪曲其推理过程,从而产生不忠实(unfaithful)的推理。...
    0
    270次阅读
    0条评论
  • 发布了文章 2024-3-22 09:16
    DMC通过一个决策变量(α)来有效地对输入序列进行分段,每个段落可以独立地决定是继续追加还是进行累积。这允许模型在不同段落之间动态调整内存使用。...
    0
    716次阅读
    0条评论
  • 发布了文章 2024-3-19 14:32
    通用大型语言模型(LLM)推理基准:研究者们介绍了多种基于文本的推理任务和基准,用于评估LLMs在不同领域(如常识、数学推理、常识推理、事实推理和编程)的性能。这些研究包括BIG-bench、HELM、SuperGLUE和LAMA等。...
    0
    285次阅读
    0条评论
  • 发布了文章 2024-3-19 10:12
    GEAR框架通过结合三种互补的技术来解决这一挑战:首先对大多数相似幅度的条目应用超低精度量化;然后使用低秩矩阵来近似量化误差。...
    0
    269次阅读
    0条评论
  • 发布了文章 2024-3-13 15:23
    斯坦福大学此前提出的FlashAttention算法,能够在BERT-large训练中节省15%,将GPT训练速度提高2/3。...
    0
    637次阅读
    0条评论
  • 发布了文章 2024-3-13 14:56
    对于所有“基座”(Base)模型,–template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”(Chat)模型请务必使用对应的模板。...
    0
    697次阅读
    0条评论
  • 发布了文章 2024-3-13 11:41
    NLP上估计会帮助reduce overfitting, improve generalization,但是与其花时间改这个地方不如好好clean data。。。目前来说...
    0
    885次阅读
    0条评论
  • 发布了文章 2024-3-7 14:44
    研究者们提出了一个框架来描述LLMs在处理多语言输入时的内部处理过程,并探讨了模型中是否存在特定于语言的神经元。...
    0
    428次阅读
    0条评论
ta 的专栏

成就与认可

  • 获得 5 次赞同

    获得 0 次收藏
关闭

站长推荐 上一条 /6 下一条

返回顶部