jf_pmFSk4VX的专栏_电子工程师 - 电子技术论坛

jf_pmFSk4VX

经验：积分：10

查看完整档案 >>

+关注发私信

DeepSpeed Chat中监督指令微调过程的源码
2023-7-6 15:31

文章目录系列文章0x0. 前言0x1. Supervised finetuning (SFT) 教程翻译如何训练模型如何对SFT checkpoint进行评测? 模型和数据来自OPT-1.3B及其SFT变体（...

0

1471次阅读

0条评论
CVPR 2023中的领域适应: 通过自蒸馏正则化实现内存高效的CoTTA
2023-7-4 11:00

EcoTTA 包括解决这些问题的两个组成部分。第一个组件是轻量级元网络，它可以使冻结的原始网络适应目标域。这种架构通过减少反向传播所需的中间激活量来最大限度地减少内存消耗。...

0

846次阅读

0条评论
CVPR 2023 中的领域适应: 一种免反向传播的TTA语义分割方法
2023-6-30 15:13

TTA 在语义分割中的应用，效率和性能都至关重要。现有方法要么效率低（例如，需要反向传播的优化），要么忽略语义适应（例如，分布对齐）。此外，还会受到不稳定优化和异常分布引起的误差积累的困扰。...

0

948次阅读

0条评论
一种免反向传播的 TTA 语义分割方法
2023-6-30 15:10

我们已经介绍过两篇关于 TTA 的工作，可以在 GiantPandaCV 公众号中找到，分别是： Continual Test-Time 的领域适应 CVPR 2023 中的领域适应: 通过自蒸馏正则化实现内存高效的...

0

584次阅读

0条评论
基石DDPM（模型架构篇），最详细的DDPM架构图解
2023-6-29 16:32

DDPM（模型架构篇）：也就是本篇文章。在阅读源码的基础上，本文绘制了详细的DDPM模型架构图，同时附上关于模型运作流程的详细解说。本文不涉及数学知识，直观帮助大家了解DDPM怎么用，为什么好用。...

0

8727次阅读

0条评论
Profile工作判断模型的计算以及内存瓶颈
2023-6-26 10:45

Profile模型训练的循环标记任意代码范围 Profile CPU/GPU的活动 Profile 内存消耗总览 Flops 测量多GPU，多节点，数据并行和模型并行例子和DeepSpeed运行时一起使用在M...

0

1420次阅读

0条评论
基于一种可扩展的解码器范式
2023-6-25 17:23

1. 论文信息代码：https://github.com/opendrivelab/thinktwice 2. 引言端到端自动驾驶是一种基于传感器观测预测动作的方法。与传统的模块化自动驾驶框架不同，端到端方法展现...

0

412次阅读

0条评论
CoTTA的新方法：用于在非平稳环境下进行持续的测试时间适应
2023-6-25 11:21

Continual Test-Time 的领域适应目录前言相关工作 Source Data Adaptation Target Data Adaptation CoTTA 概述 CoTTA 详细介绍 Weight-...

0

1563次阅读

0条评论
DeepSpeed安装和使用教程
2023-6-20 11:47

本文翻译了 Getting Started 和 Installation Details 和 CIFAR-10 Tutorial 三个教程，可以让新手安装和简单使用上 DeepSpeed 来做模型训练。...

0

9979次阅读

0条评论
DeepSpeed结合Megatron-LM训练GPT2模型笔记
2023-6-19 14:45

本文基于DeepSpeedExamples仓库中给出的Megatron相关例子探索一下训练GPT2模型的流程。主要包含3个部分，第一个部分是基于原始的Megatron如何训练GPT2模型，第二个部分是如何结合DeepSp...

0

3471次阅读

0条评论
DeepMind新作AlphaDev----强化学习探索更优排序算法
2023-6-19 10:49

AlphaDev 系统直接从 CPU 汇编指令的层面入手去探索更优的排序算法，因为相对于高级编程语言来说，在汇编指令层级对存储和寄存器的操作可以更加的灵活，所以能发现更多潜在的调优策略。...

0

524次阅读

0条评论
利用强化学习来探索更优排序算法的AI系统
2023-6-19 10:49

前言 DeepMind 最近在 Nature 发表了一篇论文 AlphaDev[2, 3]，一个利用强化学习来探索更优排序算法的AI系统。 AlphaDev 系统直接从 CPU 汇编指令的层面入手去探索更优的排序算法，因...

0

655次阅读

0条评论
基于文本到图像模型的可控文本到视频生成
2023-6-14 10:39

1. 论文信息 2. 引言大规模扩散模型在文本到图像合成方面取得了巨大的突破，并在创意应用方面取得了成功。一些工作试图在视频领域复制这个成功，即在野外世界建模高维复杂视频分布。然而，训练这样的文本到视频模型需要大量...

0

947次阅读

0条评论
大语言模型中的常用评估指标
2023-6-12 17:00

EM 是 exact match 的简称，所以就很好理解，em 表示预测值和答案是否完全一样。...

0

2836次阅读

0条评论
DeepSpeed里面和Zero相关技术教程
2023-6-12 10:25

使用原始的 Megatron-LM 训练 GPT2 设置训练数据运行未修改的Megatron-LM GPT2模型开启DeepSpeed DeepSpeed 使用 GPT-2 进行评估 Zero概述训练环境开启Ze...

0

3687次阅读

0条评论