ewAU_zenRRan的个人主页_电子工程师 - 电子技术论坛

ewAU_zenRRan

经验：积分：10

查看完整档案 >>

+关注发私信

他的动态

发布了文章 2023-1-11 16:51

基于Transformer编码器的chatGPT模型设计

Bert 所作的事就是从大规模的上亿的文本预料中，随机地扣掉一部分字，形成上面例子的完形填空题型，不断地学习空格处到底该填写什么。...

0

1206次阅读

0条评论
发布了文章 2023-1-11 14:44

一键从Prompt到PowerPoint

职场人苦 PPT 久矣。想做出一份优秀的 PPT，确实难点颇多：要构思亮眼的标题、简明的大纲、精炼的陈述内容等等，还要配上精美的主题和插图。即使在各类 PPT 模板资源库的助力下，整理出一份优秀的 PPT 仍需大量心血。...

0

384次阅读

0条评论
发布了文章 2023-1-11 14:33

ChatGPT反思大语言模型的技术精要

在Bert和GPT模型出现之前，NLP领域流行的技术是深度学习模型，而NLP领域的深度学习，主要依托于以下几项关键技术：以大量的改进LSTM模型及少量的改进CNN模型作为典型的特征抽取器；以Sequence to Sequence（或叫en...

0

2186次阅读

0条评论
发布了文章 2023-1-11 10:10

模型任务的评价指标体系

1. 写在前面模型“好”与“坏”的评价指标直接由业务目标/任务需求决定。我们需要做的是：根据具体的业务目标/任务需求去选择相应的评价指标，继而选出符合业务目标/任务需求的好模型。在此之前，我们需要全面了解一个任务的评价指标体系。在二分类...

0

817次阅读

0条评论
发布了文章 2023-1-10 16:08

文本图片编辑新范式：单个模型实现多文本引导图像编辑

本文首先利用已有的编码器将需要编辑的图像转换到 StyleGAN 的语义空间中的潜在编码 w，再通过提出的语义调制模块对该隐编码进行自适应的调制。该语义调制模块包括语义对齐和语义注入模块，首先通过注意力机制对齐文本编码和 GAN 的隐编码...

0

674次阅读

0条评论
发布了文章 2023-1-10 16:03

一文速览人岗匹配领域研究进展

基于文本匹配的方法认为求职者与职位是否匹配主要依赖于求职者简历中的技能或工作经历与职位要求描述之间是否相对应，因此这种方法往往将PJF问题建模为一个简历与职位描述之间的文本匹配问题。...

0

1228次阅读

0条评论
发布了文章 2023-1-9 14:37

NLG的医疗健康科普实践案例解析

文章中将摘要抽取的训练分两个阶段，第一阶段首先训练MLE的loss，第二阶段模型采用多任务训练排序loss+MLE loss训练，整个训练过程重复这两个阶段直到收敛。...

0

533次阅读

0条评论
发布了文章 2023-1-6 09:54

京东：基于多类目MoE模型的电商搜索引擎

此外，对于一些小类目的商品，在训练集样本量上和大类目相比差距悬殊，在模型训练过程中会被大类目商品的样本所影响和主导。针对类目差异和小类目学习这两个问题，本文提出了一种多类目MoE(Mixture of Experts)模型。...

0

826次阅读

0条评论
发布了文章 2023-1-6 09:49

基于长度感知注意机制的长度可控摘要模型

本文的方法是在由原始训练数据构建的摘要长度平衡数据集上训练 LAAM，然后像往常一样进行微调。结果表明，这种方法可以有效地生成具有所需长度的高质量摘要，甚至是原始训练集中从未见过的短长度摘要。...

0

438次阅读

0条评论
发布了文章 2023-1-6 09:20

Distributed Data Parallel中的分布式训练

与DataParallel不同的是，Distributed Data Parallel会开设多个进程而非线程，进程数 = GPU数，每个进程都可以独立进行训练，也就是说代码的所有部分都会被每个进程同步调用，如果你某个地方print张量，你会...

0

745次阅读

0条评论
发布了文章 2023-1-4 14:49

对话机器人之LaMDA

来自：NLP日志提纲1 简介 2 LaMDA 3 总结 1 简介 LaMDA是在DeepMind的Sparrow跟openai的instructGPT之前由谷歌提出的对话机器人，全称Language Models for Dialog A...

0

983次阅读

0条评论
发布了文章 2023-1-3 17:38

讲一讲ChatGPT的技术细节

通过人工标注等方式，使用监督学习的模式对GPT3模型（对这个是chatGPT模型的base）进行初步训练（有监督微调，SFT），从而得到一个初步能够理解语言的模型，尤其是prompt的模式。...

0

2299次阅读

0条评论
发布了文章 2022-12-23 15:08

世界杯融入词库的位置编码方法介绍

实际上在NER任务中，格是一个有向无环图，其中每个节点都是一个字符或一个潜在的字，可以参考图1a。格子包括句子中的一系列字符和可能的单词。...

0

512次阅读

0条评论
发布了文章 2022-12-22 16:14

介绍几篇EMNLP'22的语言模型训练方法优化工作

来自：圆圆的算法笔记今天给大家介绍3篇EMNLP 2022中语言模型训练方法优化的工作，这3篇工作分别是：针对检索优化语言模型：优化语言模型训练过程，使能够生成更合适的句子表示用于检索——RetroMAE: Pre-training ...

0

926次阅读

0条评论
发布了文章 2022-12-22 15:53

靴子落地：ChatGPT 国内发展或被「拉手刹」

实际上，早在今年 1 月，国家网信办就发布了《互联网信息服务深度合成管理规定（征求意见稿）》，公开征求群众意见，时隔 11 个月，如今靴子终于落地，近期一路高歌猛进的 ChatGPT，在国内发展或被按下暂停键。...

0

704次阅读

0条评论