Dydg66778899的个人主页_电子工程师 - 电子技术论坛

Dydg66778899

经验：积分：0

查看完整档案 >>

+关注发私信

他的动态

发布了文章 2023-1-8 09:16

腾讯优图/浙大/北大提出：重新思考高效神经模型的移动模块

近年来，随着对存储和计算资源受限的移动应用程序需求的增加，涌现了非常多参数少、FLOPs 低的轻量级模型，例如 Inceptionv3 时期便提出了使用非对称卷积代替标准卷积。后来 MobileNet 提出了深度可分离卷积 depth-wi...

0

715次阅读

0条评论
发布了文章 2023-1-5 10:23

完全卷积掩码自编码器框架——ConvNeXt V2

ConvNeXt V2 最终在各种识别基准上的性能，包括 ImageNet 分类、COCO 检测和 ADE20K 分割任务上均取得了极具竞争力的结果，其中最小的模型仅 3.7M 参数可获取 76.7% top-1 准确率，而最大的模型约 6...

0

4018次阅读

0条评论
发布了文章 2023-1-5 09:44

LSTM之父最新长文：现代AI和深度学习发展史

实用AI地提出，最早可以追溯到1914年。当时Leonardo Torres y Quevedo构建了第一个工作的国际象棋机器终端游戏玩家。当时，国际象棋被认为是一种仅限于智能生物领域的活动。...

0

664次阅读

0条评论
发布了文章 2023-1-5 09:23

基于分割后门训练过程的后门防御方法

后门攻击的目标是通过修改训练数据或者控制训练过程等方法使得模型预测正确干净样本，但是对于带有后门的样本判断为目标标签。例如，后门攻击者给图片增加固定位置的白块(即中毒图片)并且修改图片的标签为目标标签。用这些中毒数据训练模型过后，模型就会判...

0

756次阅读

0条评论
发布了文章 2023-1-4 14:49

南开/南理工/旷视提出CTKD：动态温度超参蒸馏新方法

一直保持静态固定的温度超参对学生模型来说不是最优的。基于课程学习的思想，人类在学习过程中都是由简单到困难的学习知识。那么在蒸馏的过程中，我们也会希望模型一开始蒸馏是让学生容易学习的，然后难度再增加。难度是一直动态变化的。...

0

727次阅读

0条评论
发布了文章 2023-1-4 10:17

GMMSeg：生成式语义分割新范式！可同时处理闭集和开集识别

实验结果表明，GMMSeg 在多种分割网络架构 (segmentation architecture) 及骨干网络 (backbone network) 上都获得了性能提升；同时，无需任何后处理或微调，GMMSeg 可以直接被应用到异常分割...

0

1103次阅读

0条评论
发布了文章 2023-1-3 11:12

一张RTX 2080Ti搞定大模型训练！算力节省136倍！

在自然语言处理（NLP）领域，基于 Transformer 架构的预训练模型已经成为主流，并带来诸多突破性进展。很大程度上，这些模型性能强大的原因是它们的规模很大。随着模型参数量和数据量的增长，模型的性能会不断提高。因此，NLP 领域内掀起...

0

1205次阅读

0条评论
发布了文章 2022-12-20 13:42

谷歌提出FlexiViT：适用于所有Patch大小的模型

一句话总结就是，ViT 是一种通过将图像切割成一个个小方块(patch)将图像转换为序列从而输入到Transformer网络进行训练和推理的一种神经网络架构。...

0

1188次阅读

0条评论
发布了文章 2022-12-19 14:00

一种新的轻量级视觉Transformer

既然都叫 EfficientFormerV2，那必然是在上一版的基础上改进了，如图(a)所示。没什么特别新奇的，一个很常规的 ViT 型架构。下面的图表是作者统计的实验改进结果...

0

1130次阅读

0条评论
发布了文章 2022-12-19 09:42

基于先验指导的对抗样本初始化方法提升FAT效果

这种现象最先由Wong等人发现，随后他们又发现使用FGSM生成对抗样本时使用随机初始化可以延缓灾难性遗忘发生的时间，但是随着训练的进行，灾难性遗忘还是无法避免。...

0

648次阅读

0条评论
发布了文章 2022-12-15 14:09

PEMN：参数集约型掩码网络

来自美国东北大学和罗切斯特理工的研究者提出参数集约型掩码网络（Parameter-Efficient Masking Networks (PEMN)）。作者首先探索了有限数量随机数生成的随机网络的表征能力。...

0

751次阅读

0条评论
发布了文章 2022-12-14 15:26

复旦&微软提出OmniVL：首个统一图像、视频、文本的基础预训练模型

根据输入数据和目标下游任务的不同，现有的VLP方法可以大致分为两类：图像-文本预训练和视频-文本预训练。前者从图像-文本对中学习视觉和语言表征的联合分布，后者则从视频-文本对中建立视频帧和文本之间的语义关联。...

0

809次阅读

0条评论
发布了文章 2022-12-12 15:01

基于视觉transformer的高效时空特征学习算法

视觉Transofrmer通常将图像分割为不重叠的块(patch)，patch之间通过自注意力机制(Self-Attention)进行特征聚合，patch内部通过全连接层(FFN)进行特征映射。每个Transformer block中，包含...

0

1344次阅读

0条评论
发布了文章 2022-12-12 11:23

无残差连接或归一化层，也能成功训练深度transformer

残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发的，后来自注意力网络中产生了无处不在的 transformer 架构。残差架构之所以取得成功，一种原因是与普通 DNN 相比具有更好的信号传播能力，其中信号传播指的是几何信...

0

597次阅读

0条评论
发布了文章 2022-12-9 14:53

全球首个面向遥感任务设计的亿级视觉Transformer大模型

简单来说，为了更好地应对遥感图像所具有的大尺寸特性以及图像中的目标物体的朝向任意性，我们提出了一种新的旋转可变尺寸窗口的注意力（Rotated Varied-Size Window Attention, RVSA）来代替Transforme...

0

672次阅读

0条评论