jf_pmFSk4VX的文章_电子工程师 - 电子技术论坛

jf_pmFSk4VX

经验：积分：10

查看完整档案 >>

+关注发私信

他的文章发文章

OpenAI视频模型Sora的架构及应用场景
2024-2-20 15:13

LDM 就是 Stable Diffusion 使用的模型架构。扩散模型的一大问题是计算需求大，难以拟合高分辨率图像。为了解决这一问题，实现 LDM时，会先训练一个几乎能无损压缩图像的自编码器，能把 512x512 的真...

0

641次阅读

0条评论
探索Transformer Block精简的方式
2023-12-6 09:58

作者对Transformer Block移除了各种参数，减少了15%参数量，提高了15%的训练速度，各个环节都有做充分的实验，但一些经验性得到的结论也并没有直接回答一些问题（如LN为什么影响收敛速度）。...

0

589次阅读

0条评论
解析应用实时激光雷达全景分割的中心聚焦网络
2023-11-30 10:30

本文提出了一种新的中心对焦网络(CFNet)。具体来说，本文提出了一种中心对焦特征编码(CFFE)模块，它通过移动激光雷达点并填充中心点，显式地建模了原始激光雷达点与虚拟实例中心之间的关系。...

0

506次阅读

0条评论
mlc-llm对大模型推理的流程及优化方案
2023-9-26 12:25

在 MLC-LLM 部署RWKV World系列模型实战（3B模型Mac M2解码可达26tokens/s）中提到要使用mlc-llm部署模型首先需要一个编译过程，将原始的基于Realx搭建的模型比如RWKV和给定的d...

0

891次阅读

0条评论
RetNet架构和Transformer架构对比分析
2023-7-26 10:44

微软研究院最近提出了一个新的 LLM 自回归基础架构 Retentive Networks （RetNet）[1,4]，该架构相对于 Transformer 架构的优势是同时具备:训练可并行、推理成本低和良好的性能，不可...

0

1213次阅读

0条评论
浅谈LLaMA 中的旋转式位置编码
2023-7-10 10:12

对于位置编码，常规的做法是在计算 query, key 和 value 向量之前，会计算一个位置编码向量 pi 加到词嵌入 xi 上，位置编码向量 pi 同样也是 d 维向量，然后再乘以对应的变换矩阵 W{q,k,v}：...

0

2424次阅读

0条评论
AI编译器：ChatGpt和Claude有何区别
2023-4-19 10:23

整体来说，在阅读MLIR代码方面，Claude已经相当智能，全面领先Newbing（Chatgpt），感觉以后可以日常用Claude来辅助Review IR相关代码。...

0

1806次阅读

0条评论
跨解剖域自适应对比半监督学习方法解析
2023-4-14 14:37

在半监督学习中，一个典型的例子是 Mean-Teacher。与对抗网络类似，其整体架构包含了两个网络：teacher 网络和 student 网络。...

0

1299次阅读

0条评论
YOLOv5解析之downloads.py 代码示例
2022-12-30 10:43

会调用上面的 safe_download 函数。会用在 experimental.py 中的 attempt_load 函数和 train.py 中，都是用来下载预训练权重。...

0

762次阅读

0条评论
3D检测算法的smoke PyTorch 实现
2022-12-19 11:10

在下图中将小车沿着y轴顺时针旋转，待小车和camera连线与相机坐标系的z轴重合时停止，那么紫色的角是没有发生变化的。...

0

737次阅读

0条评论
计算机视觉：DIoU 和 IoU/GIoU 损失比较
2022-11-11 12:24

重叠面积（overlap area）、中心点距离（central pointdistance）和高宽比（aspect ratio），在此基础上提出了完全损失，从而促进了更快的收敛和更优的性能。...

0

2275次阅读

0条评论
简单介绍一下计算机是怎么实现加法和乘法的
2022-10-17 10:16

当然具体到硬件实现其实是包含了异或运算和与运算，具体细节可以阅读文末参考的资料。...

0

9458次阅读

0条评论