ewAU_zenRRan的文章_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的文章发文章

深入理解Alpaca 的优化、训练及应用
2023-4-5 10:19

为了提高训练的稳定性，LLaMA对每个transformer子层的输入进行归一化，而不是对输出进行归一化。同时使用RMSNorm归一化函数。...

0

3148次阅读

0条评论
Recursive prompting增强语言模型方案
2023-3-23 12:21

无监督问题分解，将原问题分解为多个相对简单的子问题。这里需要训练一个分解模型，用于将复杂问题分解成多个子问题。...

0

588次阅读

0条评论
如何确定语言模型应该有多大？
2023-3-17 11:40

GPT-2 在此等体量的数据集上表现不佳。随着训练的进行，我们来观察计算成本 (通过浮点运算数来衡量) 与模型性能 (通过验证集上的损失来衡量) 的联动关系。...

0

778次阅读

0条评论
基于不同量级预训练数据的RoBERTa模型分析
2023-3-3 11:21

NLP领域的研究目前由像RoBERTa等经过数十亿个字符的语料经过预训练的模型汇主导。那么对于一个预训练模型，对于不同量级下的预训练数据能够提取到的知识和能力有何不同？...

0

2604次阅读

0条评论
如何利用Transformers了解视觉语言模型
2023-3-3 09:49

将模型称为 “视觉语言” 模型是什么意思？一个结合了视觉和语言模态的模型？但这到底是什么意思呢？...

0

1554次阅读

0条评论
超越GPT 3.5的小型语言模型案例概述
2023-2-27 11:44

ChatGPT 是在 GPT-3.5 系列模型的基础上微调而来的，我们看到很多研究也在紧随其后紧追慢赶，但是，与 ChatGPT 相比，他们的新研究效果到底有多好？...

0

1201次阅读

0条评论
网络问诊会被ChatGPT取代吗？
2023-2-21 14:04

在泛健康场景下，ChatGPT能够向大众提供健康科普等百科类知识问答，降低患者获取信息的时间成本。...

0

657次阅读

0条评论
ChatGPT背后技术的争议和未来趋势分析
2023-2-17 18:05

2020年OpenAI发布1750亿参数的GPT-3之后，国内企业和科研机构，同Google、微软、DeepMind、Meta AI等一样，于2021-2022年间，研制了类似于GPT-3架构的千亿级大模型。...

0

1055次阅读

0条评论
ChatGPT处理文本分段任务的能力如何
2023-2-16 14:27

作为一个兼具分析&生成能力的AI，ChatGPT最近一段时间热度都非常高，它的确颠覆了很多人的认知，它的出现一定程度上是强人工智能的出现。...

0

2519次阅读

0条评论
详细解读ChatGPT 背后的技术重点
2023-2-9 10:20

通常，基础模型的语言建模目标不足以让模型学会以有用的方式遵循用户的指令。模型创建者使用「指令微调 (Instruction Fine-Tuning，IFT)」方法来达到该目的。...

0

952次阅读

0条评论
NLG的医疗健康科普实践案例解析
2023-1-9 14:37

文章中将摘要抽取的训练分两个阶段，第一阶段首先训练MLE的loss，第二阶段模型采用多任务训练排序loss+MLE loss训练，整个训练过程重复这两个阶段直到收敛。...

0

890次阅读

0条评论
深度学习有哪些trick？提升performance的利器有哪些？
2023-1-26 17:08

abel smoothing将hard label转变成soft label，使网络优化更加平滑。标签平滑是用于深度神经网络（DNN）的有效正则化工具，该工具通过在均匀分布和hard标签之间应用加权平均值来生成soft标...

0

1055次阅读

0条评论
深度解析深度学习的知识蒸馏技术
2022-11-29 11:13

可以看到原本的分布很接近均匀分布，但经过 softmax，不同类别的概率相差很大。这就导致类别间的隐藏的相关性信息不再那么明显，有谁知道 0.09 和 0.24 对应的类别很像呢？为了解决这个问题，我们就引入了温度系数。...

0

1859次阅读

0条评论
统计机器学习方法：基于HMM的中文词性标注
2022-11-17 11:40

「隐马尔可夫模型（Hidden Markov Model, HMM)」是做NLP的同学绕不过去的一个基础模型, 是一个生成式模型, 通过训练数据学习隐变量和观测变量的联合概率分布。...

0

1720次阅读

0条评论