jf_pmFSk4VX的专栏_电子工程师 - 电子技术论坛

jf_pmFSk4VX

经验：积分：10

查看完整档案 >>

+关注发私信

在AMD GPU上如何安装和配置triton？
2024-2-22 17:04

最近在整理python-based的benchmark代码，反过来在NV的GPU上又把Triton装了一遍，发现Triton的github repo已经给出了对应的llvm的commit id以及对应的编译细节，然后跟着...

0

2352次阅读

0条评论
如何在TorchServe上提供LLMs的分布式推理
2024-1-31 13:59

你可以看到我们在这里使用了张量并行和并行预填充。它实际上帮助大大加快了推理速度。与等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我们获得了3倍更便宜的性能点。...

0

789次阅读

0条评论
深入解析SAMPro3D的三维场景零样本分割技术
2024-1-26 14:31

SAMPro3D首先初始化3D提示，使用SAM在各个帧中生成相应的2D掩膜。然后，它根据所有帧中相应掩膜的质量过滤3D提示，优先选择在所有视图中都能产生高质量结果的提示。...

0

888次阅读

0条评论
【BBuf的CUDA笔记】OpenAI Triton入门笔记一
2024-1-23 10:00

这里来看官方的介绍：https://openai.com/research/triton ，从官方的介绍中我们可以看到OpenAI Triton的产生动机以及它的目标是什么，还可以看到一些经典算法的实现例子展示。...

0

2558次阅读

0条评论
基于Discrete Diffusion的模型不可知分割细化
2024-1-19 15:14

SegRefiner 提出一种新的的任务解释，将分割细化视为一个数据生成过程。因此，细化可以通过一系列去噪扩散步骤来实现，其中 Coarse Mask 是 Ground Truth 的噪声版本。此外，为了处理二值掩模，进...

0

729次阅读

0条评论
让pytorch模型更快速投入生产的方法
2024-1-19 10:38

大家好，非常感谢大家的加入。我是马克，在推理和PyTorch方面有着丰富的经验。今天我想和大家谈谈一种让你的模型快速投入生产的方法。训练模型的过程非常艰难，你需要花费大量时间和计算资源。但是推理问题似乎相对简单一些。基本...

0

512次阅读

0条评论
动态环境中基于神经隐式表示的RGB-D SLAM
2024-1-17 10:39

神经隐式表示已经被探索用于增强视觉SLAM掩码算法，特别是在提供高保真的密集地图方面。...

0

897次阅读

0条评论
LayerNorm/RMSNorm的重计算实现
2024-1-16 09:55

我去实测了一下，单机8卡A100训练LLama7B，纯数据并行的情况下打开memory_efficient开关相比于不打开节省了大约2个G的显存，如果模型继续scale up，那么省掉的显存也会更多。...

0

3316次阅读

0条评论
图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读
2024-1-14 11:19

回想一下我们对NLP任务做强化学习（RLHF）的目的：我们希望给模型一个prompt，让模型能生成符合人类喜好的response。再回想一下gpt模型做推理的过程：每个时刻只产生一个token，即token是一个一个蹦出...

0

2590次阅读

0条评论
15-PyTorch-Edge-在边缘设备上部署AI模型的开发者之旅
2024-1-12 10:29

对于开发者而言，我们将整个ExecuTorch技术栈分为两个阶段。首先，我们从一个PyTorch模型开始，这在大多数情况下是一个torch.in.module。然后我们从中捕获图形，并将其lowering并序列化为额外的...

0

756次阅读

0条评论
通过新的ONNX导出器简化模型导出流程
2024-1-10 09:45

大家好。我叫Manav Dalal，今天我将讲解如何通过新的ONNX导出器简化模型导出流程。如果你还没有听说过ONNX，它是一种用于表示机器学习模型的开放格式。它定义了一套通用的运算符，机器学习和深度学习模型的基本原理，...

0

934次阅读

0条评论
Torch TensorRT是一个优化PyTorch模型推理性能的工具
2024-1-9 16:41

那么，什么是Torch TensorRT呢？Torch是我们大家聚在一起的原因，它是一个端到端的机器学习框架。而TensorRT则是NVIDIA的高性能深度学习推理软件工具包。Torch TensorRT就是这两者的结合...

0

1716次阅读

0条评论
从单张图像中揭示全局几何信息：实现高效视觉定位的新途径
2024-1-8 14:58

我们提出了一种新颖的方法，它可以从单个 RGB 图像进行全局 6 自由度姿态估计。我们的方法与大多数现有的姿态回归方法有相同的约束条件，即：从一组图像姿态对进行训练，从单个图像估计姿态，仅保存网络权重，并在实时内输出姿态...

0

713次阅读

0条评论
OneFlow Softmax算子源码解读之BlockSoftmax
2024-1-8 09:26

写在前面：笔者这段时间工作太忙，身心俱疲，博客停更了一段时间，现在重新捡起来。本文主要解读 OneFlow 框架的第二种 Softmax 源码实现细节，即 block 级别的 Softmax。...

0

703次阅读

0条评论
OneFlow Softmax算子源码解读之WarpSoftmax
2024-1-8 09:24

写在前面：近来笔者偶然间接触了一个深度学习框架 OneFlow，所以这段时间主要在阅读 OneFlow 框架的 cuda 源码。官方源码基于不同场景分三种方式实现 Softmax，本文主要介绍其中一种的实现过程，即 Wa...

0

839次阅读

0条评论