ewAU_zenRRan的文章_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的文章发文章

基于LLM的表格数据的大模型推理综述
2024-1-8 09:56

面向表格数据的推理任务，在计算机领域，特别是自然语言处理（Natural Language Processing，NLP）领域的研究中扮演着重要角色[1]。该任务要求模型在给定一个或多个表格的情况下，按照任务要求，生成相...

0

2469次阅读

0条评论
LLMs时代进行无害性评估的基准解析
2024-1-5 14:14

随着对LLMs的不断应用，大家也发现了诸多问题。比如常见的幻觉现象，LLMs可喜欢一本正经地说着胡话呢。除此之外，LLMs也有可能生成一些歧视某些身份群体的内容，还有一些伤害我们小小心灵的有毒内容（这可不行）。...

0

769次阅读

0条评论
四种微调大模型的方法介绍
2024-1-3 10:57

全微调（Full Fine-tuning）：全微调是指对整个预训练模型进行微调，包括所有的模型参数。在这种方法中，预训练模型的所有层和参数都会被更新和优化，以适应目标任务的需求。...

0

26833次阅读

0条评论
什么是AI Agent？NLP到AGI的发展路线
2023-12-18 10:40

大模型在语言理解、决策制定以及泛化能力等方面展现出强大的潜力，成为代理构建过程中的关键角色，而代理的进展也为大模型提出了更高的要求。...

0

2296次阅读

0条评论
探索高效的大型语言模型！大型语言模型的高效学习方法
2023-12-13 14:21

在大型语言模型（LLMs）的应用中，提示工程（Prompt Engineering）是一种关键技术，用于引导模型生成特定输出或执行特定任务。通过精心设计的提示，可以显著提高LLMs的性能和适用性。本文将介绍提示工程的主要...

0

1386次阅读

0条评论
多语言的开放式问答数据集构建过程
2023-12-11 11:15

从评测能力上来看，由于目前的评测数据集主要是利用人类试题及其标准答案进行评测，这种评价方式更偏向对推理能力的评估，存在评估结果和模型真实能力有⼀定偏差。...

0

1210次阅读

0条评论
无监督域自适应场景：基于检索增强的情境学习实现知识迁移
2023-12-5 14:14

本文对比了多种基线方法，包括无监督域自适应的传统方法（如Pseudo-labeling和对抗训练）、基于检索的LM方法（如REALM和RAG）和情境学习方法（如In-context learning）。...

0

1324次阅读

0条评论
一种新大模型安全问题之隐式有害内容输出
2023-12-4 13:57

使用了LLaMA-13B来训练模型和奖励模型，使用BAD模型作为有害内容检测模型。...

0

819次阅读

0条评论
一种新颖的大型语言模型知识更新微调范式
2023-12-1 15:10

我们使用LLAMA2-7B作为实验的基础模型。我们主要评估将旧知识更新为新知识的能力，因此模型将首先在旧知识上进行为期3个时期的微调。表1中F-Learning中设置的超参数λ分别取值为0.3、0.7、0.1和1.5。...

0

983次阅读

0条评论
LLM真的能推理和规划吗？
2023-11-30 09:45

在研究人员选择的模型中，GPT-3 davinci（非指令微调）、GPT-3 textdavinci-001（指令微调）和GPT-3 textdavinci-003（InstructGPT）都是以前观察到过涌现能力的模型...

0

1117次阅读

0条评论
解读大模型FP量化的解决方案
2023-11-24 11:15

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了远超 SOTA 的结果。特别是，这篇文章展示了 4-bit 量化的 LLaMA-13B 模型，在零样本推理任务上达到平均 63.1 的分数，只比...

0

1531次阅读

0条评论
探究编辑多模态大语言模型的可行性
2023-11-9 14:53

不同于单模态模型编辑，多模态模型编辑需要考虑更多的模态信息。文章出发点依然从单模态模型编辑入手，将单模态模型编辑拓展到多模态模型编辑，主要从以下三个方面：可靠性（Reliability），稳定性（Locality）和泛化...

0

994次阅读

0条评论
基于LLaMA的多语言数学推理大模型
2023-11-8 10:37

MathOctopus在多语言数学推理任务中，表现出了强大的性能。MathOctopus-7B 可以将LLmMA2-7B在MGSM不同语言上的平均表现从22.6%提升到40.0%。更进一步，MathOctopus-13B...

0

977次阅读

0条评论
大语言模型Fine-tuning踩坑经验分享
2023-10-26 12:23

当然 MPT-7B-StoryWriter-65k+ [5] 模型也有较长的外推能力，主要在于，注意力这块使用了 ALIBI [6]。要拥有什么样的长度，取决你的需求。对于对话模型，往往不需要那么长的外推能力。但对于想做...

0

932次阅读

0条评论
主流大模型推理框架盘点解析
2023-10-10 15:09

vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。...

0

7398次阅读

0条评论