X1OI_tyutcsplab的个人主页_电子工程师 - 电子技术论坛

X1OI_tyutcsplab

经验：积分：4

查看完整档案 >>

+关注发私信

他的动态

发布了文章 5 天前

准确性超Moshi和GLM-4-Voice,端到端语音双工模型Freeze-Omni

GPT-4o 提供的全双工语音对话带来了一股研究热潮，目前诸多工作开始研究如何利用 LLM 来实现端到端的语音到语音（Speech-to-Speech）对话能力，但是目前大部分开源方案存在以下两个问题： LLM 灾难性遗忘：由于现有方案...

0

110次阅读

0条评论
发布了文章 2024-12-6 11:31

CNN, RNN, GNN和Transformer模型的统一表示和泛化误差理论分析

背景介绍本文是基于我们之前的 RPN（Reconciled Polynomial Network）研究的后续工作。在此前的研究中，我们提出了 RPN 这一通用模型架构，其包含三个组件函数：数据扩展函数、参数调和函数和剩余函数。我们先前的...

0

146次阅读

0条评论
发布了文章 2024-12-6 11:24

复旦提出大模型推理新思路：Two-Player架构打破自我反思瓶颈

在 AI 领域，近期的新闻焦点无疑是关于「Scaling Law 是否撞墙？」的辩论。这一曾经被视作大模型发展的第一性原理，如今却遭遇了挑战。在这样的背景下，研究人员开始意识到，与其单纯堆砌更多的训练算力和数据资源，不如让模型「花更多...

0

150次阅读

0条评论
发布了文章 2024-11-27 09:21

浙大、微信提出精确反演采样器新范式，彻底解决扩散模型反演问题

随着扩散生成模型的发展，人工智能步入了属于 AIGC 的新纪元。扩散生成模型可以对初始高斯噪声进行逐步去噪而得到高质量的采样。当前，许多应用都涉及扩散模型的反演，即找到一个生成样本对应的初始噪声。当前的采样器不能兼顾反演的准确性和采样的质量...

0

160次阅读

0条评论
发布了文章 2024-11-27 09:16

经典图神经网络(GNNs)的基准分析研究

本文简要介绍了经典图神经网络（GNNs）的基准分析研究，发表在 NeurIPS 2024。文章回顾了经典 GNNs 模型在节点分类任务上的表现，结果发现过去 SOTA 图学习模型报告的性能优越性可能是由于经典 GNNs 的超参数配置不佳。...

0

168次阅读

0条评论
发布了文章 2024-11-19 17:16

一种信息引导的量化后LLM微调新算法IR-QLoRA

大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。问题是，大语言模型（LLM）卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。以对大模型进行量化+LoRA的路线为例，有研究表明，现...

0

276次阅读

0条评论
发布了文章 2024-3-4 09:50

适配器微调在推荐任务中的几个关键因素

可迁移的推荐系统 (TransRec) 通常包含一个用户编码器和一个或多个基于模态的物品编码器，其中基于模态的物品编码器通常是经过预训练的 ViT, BERT, RoBERTA, 与 GPT 等模型，他们往往包含很大的参数量。...

0

590次阅读

0条评论
发布了文章 2023-10-2 10:45

NeurIPS 2023 | 扩散模型解决多任务强化学习问题

扩散模型（diffusion model）在 CV 领域甚至 NLP 领域都已经有了令人印象深刻的表现。最近的一些工作开始将 diffusion model 用于强化学习（RL）中来解决序列决策问题，它们主要利用 diffusion mod...

0

834次阅读

0条评论
发布了文章 2023-10-2 10:40

让人恐惧的是，机器狗已经能做这种事了

只用一个神经网络实现操纵，四足机器人的重大技术突破。跑酷是一项极限运动，需要参与者以高度动态的方式跨越障碍，对于大多数时候「笨手笨脚」的机器人来说，这似乎是件遥不可及的事，不过最近在机器人控制领域里出现了一些技术突破的趋势。几周前，机器之...

0

329次阅读

0条评论
发布了文章 2023-9-24 20:45

Transformer的上下文学习能力是哪来的？

有理论基础，我们就可以进行深度优化了。为什么 transformer 性能这么好？它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来？在人工智能领域里，transformer 已成为深度学习中的...

0

1358次阅读

0条评论
发布了文章 2023-9-19 10:00

CCV 2023 | SparseBEV：高性能、全稀疏的纯视觉3D目标检测器

本文介绍在3D 目标检测领域的新工作：SparseBEV。我们所处的 3D 世界是稀疏的，因此稀疏 3D 目标检测是一个重要的发展方向。然而，现有的稀疏 3D 目标检测模型（如 DETR3D[1]，PETR[2] 等）和稠密 3D 检测模型...

0

993次阅读

0条评论
发布了文章 2023-9-10 22:30

谷歌证实大模型能顿悟，特殊方法能让模型快速泛化，或将打破大模型黑箱

在特定情况下，人工智能模型会超越训练数据进行泛化。在人工智能研究中，这种现象被称为「顿悟」，而谷歌现在正在提供对最近发现的深入了解。在训练过程中，人工智能模型有时似乎会突然「理解」一个问题，尽管它们只是记住了训练数据。在人工智能研究中，这...

0

453次阅读

0条评论
发布了文章 2023-8-23 19:05

2023年人社部“数智化关键技术的发展与应用”高级研修班暨大数据融合分析与应用山西省重点实验室2023年第二次学术会议圆满结束

由山西省人力资源和社会保障厅指导、太原理工大学主办、大数据融合分析与应用山西省重点实验室承办的2023年人社部 “数智化关键技术的发展与应用”国家级高级研修班、第二届智能感知与大数据技术研讨会议暨大数据融合分析与应用山西省重点实验室202...

0

1150次阅读

0条评论
发布了文章 2023-8-19 08:45

2023年人社部“数智化关键技术的发展与应用”高级研修班暨大数据融合分析与应用山西省重点实验室2023年第二次学术会议（六）

指导单位：山西省人力资源和社会保障厅主办单位：太原理工大学承办单位：大数据融合分析与应用山西省重点实验室原文标题：2023年人社部“数智化关键技术的发展与应用”高级研修班暨大数据融合分析与应用山西省重点实验室2023年第二次学术会议（...

0

413次阅读

0条评论
发布了文章 2023-8-18 08:25

2023年人社部“数智化关键技术的发展与应用”高级研修班暨大数据融合分析与应用山西省重点实验室2023年第二次学术会议（五）

指导单位：山西省人力资源和社会保障厅主办单位：太原理工大学承办单位：大数据融合分析与应用山西省重点实验室原文标题：2023年人社部“数智化关键技术的发展与应用”高级研修班暨大数据融合分析与应用山西省重点实验室2023年第二次学术会议（...

0

377次阅读

0条评论