ewAU_zenRRan的个人主页_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的动态

发布了文章 2022-12-5 10:12

如何使用CLM自身的embedding来得到OOD score？

如果直接套用classification任务中使用MSP作为OOD score的话，那么对于NLG问题我们就应该采用perplexity（ppx），然而作者实验发现使用ppx的效果很不好...

0

722次阅读

0条评论
发布了文章 2022-12-1 17:07

基于VQVAE的长文本生成利用离散code来建模文本篇章结构的方法

写在前面近年来，多个大规模预训练语言模型 GPT、BART、T5 等被提出，这些预训练模型在自动文摘等多个文本生成任务上显著优于非预训练语言模型。但对于开放式生成任务，如故事生成、新闻生成等，其输入信息有限，而要求输出内容丰富，经常需要生...

0

1513次阅读

0条评论
发布了文章 2022-11-29 11:13

深度解析深度学习的知识蒸馏技术

可以看到原本的分布很接近均匀分布，但经过 softmax，不同类别的概率相差很大。这就导致类别间的隐藏的相关性信息不再那么明显，有谁知道 0.09 和 0.24 对应的类别很像呢？为了解决这个问题，我们就引入了温度系数。...

0

1078次阅读

0条评论
发布了文章 2022-11-29 11:13

从统一视角看各类高效finetune方法实现最优tuning框架设计

Adaptor核心是在原Bert中增加参数量更小的子网络，finetune时固定其他参数不变，只更新这个子网络的参数。Adaptor是最早的一类高效finetune方法的代表，在Parameter-Efficient Transfer Le...

0

3329次阅读

0条评论
发布了文章 2022-11-29 11:09

采用检测框架CoP通过控制偏好检测事实不一致

一致性评估的本质是衡量摘要Y受原文X支持的程度，也就是衡量X到Y的因果效应。直接使用常规推理过程的生成概率（如BARTScore[2]）不能够区分X和M的因果效应，二者的偏好是混杂的。比如一些流畅性很差但是事实一致的摘要会获得一个较低的生成...

0

718次阅读

0条评论
发布了文章 2022-11-24 14:54

基于本体的金融知识图谱自动化构建技术

本评测任务参考 TAC KBP 中的 Cold Start 评测任务的方案，围绕金融研报知识图谱的自动化图谱构建所展开。评测从预定义图谱模式（Schema）和少量的种子知识图谱开始，从非结构化的文本数据中构建知识图谱。...

0

1031次阅读

0条评论
发布了文章 2022-11-24 11:24

FRNet：上下文感知的特征强化模块

现有的工作已经注意到了这个问题，例如 IFM、DIFM 等，但是他们仅仅在不同的实例中为相同特征赋予不同的权重（vector-level weights），导致不同实例中的相同特征的表示存在严格的线性关系，而这显然是不太合理的。...

0

871次阅读

0条评论
发布了文章 2022-11-24 11:21

谷歌提出Flan-T5，一个模型解决所有NLP任务

这里的Flan指的是（Instruction finetuning），即"基于指令的微调"；T5是2019年Google发布的一个语言模型了。注意这里的语言模型可以进行任意的替换（需要有Decoder部分，所以「不包括B...

0

1297次阅读

0条评论
发布了文章 2022-11-24 10:28

介绍两种高效的参数更新方式LoRA与BitFit

NLP一个重要的范式包括在通用领域数据上的大规模预训练和在特定任务或者领域上的微调。...

0

2140次阅读

0条评论
发布了文章 2022-11-24 10:20

图模型在方面级情感分析任务中的应用

方面级情感分析(Aspect-based Sentiment Analysis, ABSA)是一项细粒度的情感分析任务，主要针对句子级别的文本，分析文本中相关的方面项(Aspect Term)、观点项(Opinion Term)、方面类别(...

0

1642次阅读

0条评论
发布了文章 2022-11-17 11:40

统计机器学习方法：基于HMM的中文词性标注

「隐马尔可夫模型（Hidden Markov Model, HMM)」是做NLP的同学绕不过去的一个基础模型, 是一个生成式模型, 通过训练数据学习隐变量和观测变量的联合概率分布。...

0

1091次阅读

0条评论
发布了文章 2022-11-16 15:35

一篇文章讲清楚交叉熵和KL散度

什么情况下产生的平均惊喜最高呢？自然是不确定越高平均惊喜越高。对于给定均值和方差的连续分布，正态分布（高斯分布）具有最大的信息熵（也就是平均惊喜）。...

0

740次阅读

0条评论
发布了文章 2022-11-16 14:52

面向Aspect情感分析的自动生成离散意见树结构

在本文中，我们探索了一种简单的方法，为每个方面自动生成离散意见树结构。用到了RL。...

0

516次阅读

0条评论
发布了文章 2022-11-14 14:56

从预训练语言模型看MLM预测任务

为了解决这一问题，本文主要从预训练语言模型看MLM预测任务、引入prompt_template的MLM预测任务、引入verblize类别映射的Prompt-MLM预测、基于zero-shot的prompt情感分类实践以及基于zero-sho...

0

3014次阅读

0条评论
发布了文章 2022-11-14 14:16

用于中文缩略词预测的序列生成模型研究

缩略词是单词或短语的缩写形式。为了方便写作和表达，在文本中提及某个实体时，人们倾向于使用缩写名称而不是它的完整形式（名称）。理解缩略词，尤其是实体的缩写名称，是知识图谱构建和应用的关键步骤。缩略词处理主要包括三个任务：缩略词扩展，缩略词识别...

0

760次阅读

0条评论