本章是某个人对机器学习（ML）和人工智能（AI）工程现状的看法，可能并不适用于所有人。其目的是帮助您开始提出正确的问题并满足您的机器学习工程需求。
训练：
- 如何快速地训练出更好的模型（抢占市场的先机）
- 花费了多少钱（在培训上是否还有足够的资金来支付人才的工资）
推理：
- 快速的延迟（用户习惯于毫秒级的响应时间，如果需要几秒钟他们会离开）
- 高的吞吐量（能够同时处理多少个查询）
- 为每个用户花费的钱（我们是否能租用更多的图形处理器单元（GPU）来获取更多用户或改善（1）和（2））
- 快的计算能力，主要被矩阵乘法主导
- 足够快的存储、输入输出（IO）、网络和中央处理器（CPU）以喂饱计算资源
推论：如果您购买或租赁硬件时只投资最快的加速器，但忽略了其他组件，那么您可能会浪费金钱，并且可能在比赛中不会获胜，因为训练会花更长时间。
- 一个加速器或者处理单元承担了大部分的工作。
- 由于机器学习进行了大量的并行处理（单指令多数据流 SIMD），最初使用图形处理器（GPU）进行训练，但现在您还拥有张量处理器（TPU）、智能处理器（IPU）、现场可编程门阵列（FPGA）、高性能处理器（HPU）、量子处理器（QPU）、远程直接存取存储器接口（RDU）等。最近的中央处理器（CPU）也被用作加速器，特别是在推理过程中。
更多信息。
- AI公司 —— 他们训练自己的模型或基于他人模型的产品，并进行内部研究。
- 学术界 —— 进行大量研究和撰写论文。许多新的想法由此产生。
- AI爱好者 —— 很多人愿意贡献力量，一些人聚集资源共同训练开放访问的模型，利用高性能计算机中心捐赠的计算资源和偶尔的云服务或大学集群。
- 企业家 —— 从低垂果实中挑选了很多机会 —— 将服务重新打包出售、开发AI驱动的应用程序以及通过各种创造性的资源组合来创建惊人的结果。
- 几乎所有参与AI领域的人都令人惊讶地分享了许多发现与社区。
- 当然，公司不会披露所有的知识产权，但是很多确实以知识或模型权重的形式与社区分享了大量内容。
- 发布大量IP和模型的公司往往能吸引更高水平的人才。
- Twitter似乎是关注AI最新动态的中心平台。
- 互联网泡沫发生在1995年至2000年之间。现在AI领域正在发生非常类似的情况。
- 有大量的资金可用于创建新创业公司或提升现有公司的价值。筹集数百万美元相对容易。
- 由于AI行业仍处于西部狂野阶段，很难预测未来，因此几乎任何看起来合理的创业点子都能获得支持。
- 与互联网泡沫相比，AI泡沫的一个显著区别在于，当时成立一家互联网公司实际上不需要太多资金——大多数募集的资金用于营销和其他费用，很少用于计算。而AI公司需要数百万美元，因为训练大型语言模型（LLM）需要极其昂贵的计算资源。例如，单个英伟达H100芯片的成本约为3万美元，一家公司可能需要多达512个这样的芯片，总成本为1500万美元（不包括其他硬件组件和相关费用）！