【「大模型时代的基础架构」阅读体验】+ 第一、二章学习感受

jf_02192444

2024-10-10 10:36:04 761 大数据中心

0 今天阅读了《大模型时代的基础架构》前两章，还是比较轻松舒适的；再就是本书知识和我的工作领域没有任何关联，一切都是新鲜的，似乎每读一页都会有所收获，这种快乐的学习过程感觉也挺不错的。第一章开始介绍了常用的机器学习算法，重点剖析了一元线性回归算法，由此引出机器学习算法的运算特征，此后分别描述了使用CPU、GPU、TPU和NPU运行机器学习算法的特点，比如CPU的SIMD指令可以对向量卷积运算及其他向量运算进行一定的加速，但受到CPU实现的限制，其加速比难以超过16，因此后面提出使用GPU进行运算。 CPU负责处理计算机的指令和数据。它由数量相对较少的核心组成，这些核心能够同时处理多个任务，但每个核心在某一时刻只能执行一个线程。CPU的设计注重的是低延迟，即快速响应和处理单个任务。而GPU则不同，它拥有成百上千个更小、更专一的处理单元，这些单元可以同时处理大量的简单任务。GPU的这种并行计算能力使其在处理图形渲染、科学计算等需要大规模并行处理的任务时表现出色。本章还提到GPU这个名词是1994年由SONY提出的，最早用于PlayStation游戏机中，又看到任天堂FC游戏机，多年不见，回忆感瞬间拉满，魂斗罗、赤色要塞、绿色兵团……，还有儿时玩游戏都能“起飞”的小伙伴！第一章最后介绍了算法的新一代引擎Google TPU，它在计算流程方面，也与CPU、GPU有较大的差异，其对比如下图所示。无论是CPU还是GPU，所有运算过程的中间结果都需要被保存到内存中，而TPU根本没有将中间结果保存到内存中，而是在执行完毕后直接将中间结果传递给下一步骤，因此TPU是一种加速大规模矩阵运算的专用加速器。第二章主要介绍了如何通过软件控制GPU的计算单元高效的实现并行计算，其中提到CUDA这个并行计算开发框架，使用该框架可以很容易的调用GPU中的海量计算单元进行并行计算，CUDA的工作流程分为下图中的四步：此后引入机器学习开发框架TensorFlow，该框架下集成了多种“轮子”，但要避免“重复造轮子”。下一小节是分布式AI训练，从中知道了训练测略分为模型并行策略和数据并行策略，第二章很短，就此完成，感觉良好。 0
2024-10-10 10:36:04　　评论淘帖0 举报相关推荐 • 【「大模型时代的基础架构」阅读体验】+ 未知领域的感受 1029 • 【「基于大模型的RAG应用开发与优化」阅读体验】+第一章初体验 1843 • 【「嵌入式Hypervisor：架构、原理与应用」阅读体验】+第一二章读后感 646 • 【「大模型启示录」阅读体验】+开启智能时代的新钥匙 937 • 第一章电路模型和电路定律 0 • 【《大语言模型应用指南》阅读体验】+ 基础知识学习 3228 • 【「嵌入式Hypervisor：架构、原理与应用」阅读体验】+第7-8章学习心得 493 • 【RISC-V开放架构设计之道\|阅读体验】一本别出心裁的RISC-V架构之书(第一章) 970 • 第一、二章EDA课件-EDA技术实用教程 2 • LabVIEW实践之路第一、二章(序、正文32页) 0