jf_pmFSk4VX的专栏_电子工程师 - 电子技术论坛

jf_pmFSk4VX

经验：积分：14

查看完整档案 >>

+关注发私信

LLaMa量化部署
2023-8-28 16:44

使用 GPTQ 量化的模型具有很大的速度优势，与 LLM.int8() 不同，GPTQ 要求对模型进行 post-training quantization，来得到量化权重。GPTQ 主要参考了 Optimal Brai...

0

2497次阅读

0条评论
解析优化的调度逻辑和cuda实现
2023-8-24 11:15

0x0. 前言这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前的结果累加到先前计算的梯度上，所有这些都在一...

0

2530次阅读

0条评论
LLMEngine下一层级的模块内如何实现各自功能接口
2023-8-21 09:45

最近业余时间在看新番vLLM，在读源码过程中，对其显存管理原理有了清晰的认识。vLLM系统主要是基于python+cuda实现的，很多其他python项目实现都很混乱（各种重复代码、语意不明/模糊的抽象设计），但vLLM...

1

5384次阅读

0条评论
深入浅出扩散模型(Diffusion Model)系列：基石DDPM
2023-8-18 16:21

具备了产出逼真图片的能力，模型才可能在下一步中去学习语义信息(guidance)，进一步产生符合人类意图的图片。而DDPM的本质作用，就是学习训练数据的分布，产出尽可能符合训练数据分布的真实图片。所以，它也成为后续文生图...

0

1683次阅读

0条评论
CVPR 2023 中的领域适应：用于切片方向连续的无监督跨模态医学图像分割
2023-8-17 16:35

如上图所示，以前的医学图像分割 UDA 方法大多采用 2D UDA，当将预测堆叠在一起时，会导致切片方向上的预测不一致。SDC-UDA 在翻译和分割过程中考虑了体积信息，从而改善了分割结果在切片方向上的连续性，可以看到在...

0

2962次阅读

0条评论
一文详解迁移学习
2023-8-11 16:56

迁移学习需要将预训练好的模型适应新的下游任务。然而，作者观察到，当前的迁移学习方法通常无法关注与任务相关的特征。在这项工作中，作者探索了重新聚焦模型注意力以进行迁移学习。作者提出了自上而下的注意力引导（TOAST），这是...

0

7630次阅读

0条评论
基于生成模型的预训练方法
2023-8-11 09:38

I实验总结参考前言请添加图片描述我们这次要介绍的文章被接收在 ICCV 2023 上，题为：DreamTeacher: Pretraining Image Backbones with Deep Generat...

0

1950次阅读

0条评论
低质量图像的生成与增强的区别图像生成领域中存在的难点
2023-8-3 15:36

1. 论文信息 2. 引言这篇论文的研究背景是图像生成领域中存在的一个难点 - 如何从低质量的图像中恢复高质量的细节信息。这对很多下游应用如监控视频分析等都是非常重要的。现有的图像生成方法通常只关注单一的子任务...

0

2457次阅读

0条评论
在各种检测器的所有模块实现无监督预训练
2023-8-1 11:42

近年来，大规模预训练后微调优化方法在计算机视觉中取得了重大进展。一系列预训练算法被设计出来，以学习特定领域的或任务感知的概念，以提升下游性能。...

0

1426次阅读

0条评论
Wayve：从源头讲起，如何实现以对象为中心的自监督感知方法？
2023-7-29 14:54

传统上，以对象中心的表示是通过训练监督对象检测模型，并从中提取对象属性(如位置和速度)来实现的。这种方法有两大缺点。首先，它需要与检测对象相匹配的带标签数据集，而大规模获取带标签数据集的成本很高，...

0

1130次阅读

0条评论
大模型部署框架FastLLM实现细节解析
2023-7-27 10:48

接着大模型部署框架 FastLLM 简要解析这篇文章首先梳理了一下FastLLM的调用链和关键的数据结构，然后解析了 FastLLM 的一些实现细节和CPU/GPU后端实现采用的优化技巧。...

0

4382次阅读

0条评论
数据高效缺陷检测技术有哪些
2023-7-18 15:28

1. 摘要 CVPR VISION 23挑战赛第1赛道 "数据智能缺陷检测 "要求参赛者在数据缺乏的环境下对14个工业检测数据集进行实例分割。本论文的方法聚焦于在有限训练样本的场景下提高缺陷掩模的分割质量的关键问题。基于...

0

1332次阅读

0条评论
transformer模型详解：Transformer 模型的压缩方法
2023-7-17 10:50

动机&背景 Transformer 模型在各种自然语言任务中取得了显著的成果，但内存和计算资源的瓶颈阻碍了其实用化部署。低秩近似和结构化剪枝是缓解这一瓶颈的主流方法。然而，作者通过分析发现，结构化剪枝在高稀疏率时往往不...

0

3458次阅读

0条评论
如何计算transformer模型的参数量
2023-7-10 09:13

1. 前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model,LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大，训练数据规模...

0

14602次阅读

0条评论
当红炸子鸡LoRA，是当代微调LLMs的正确姿势？
2023-7-7 15:35

大多数人对于 LLM 的“亲密度”，可能最多就是拉个开源的 demo 跑下推理过程，得到个“意料之中”的结果，然后很讽刺地自 high 一把：WOW~ 好腻害哟！我们离 AGI 又更近了一步！至于你让他训一个？他会说：呵...

0

3727次阅读

0条评论