按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 10 篇文章。
本文回顾了 Arm 最新的 SME2 矩阵扩展指令集在端侧 AI 推理中的应用，解析了其相较于传统 SIMD 的性能优势，并通过 Compute Library 示例展示了卷积、GEMM 与 Transformer 加速效果。文章提供了编译选项、数据布局和混合精度调优技巧，以及在智能摄像头、语音识别等场景的落地案例，帮助开发者快速在 Cortex‑A78A…
4 月 4 日 AI 领域出现多项技术动态：Z.ai 推出面向 GUI 代理的多模态编码模型 GLM-5V‑Turbo；Anthropic Claude 代码意外泄露，引发安全与开源伦理争议；OpenAI 发布统一的 TRL v1.0 框架，提升后训练效率；同时出现边缘部署工具进展和 Discord 短暂宕机等行业信息。
微软与Armada合作在Galleon模块化数据中心部署Azure Local，打造支持断连环境的自主AI解决方案。该平台结合本地化云服务与硬件基础设施，满足国防、能源等行业的数据主权和实时分析需求，提供超融合存储、多网络技术及合规性保障，为边缘AI部署提供参考架构。
TinyLoRA是基于Transformer的轻量化模型架构，仅需13个参数即可实现高效推理。通过结构优化降低计算和存储需求，保持高性能，适用于嵌入式设备等资源受限场景。该技术突破传统参数微调范式，为边缘计算提供新思路，具有实际部署价值。
Cloudflare在Workers AI上上线Kimi K2.5大模型，支持256k上下文与多模态输入，专为智能代理优化。通过定制推理栈、前缀缓存与会话亲和性等技术，实现边缘高效推理。实际应用中，代码审查成本降低77%，Agents SDK已默认集成，推动AI代理在边缘端规模化落地。
本文介绍在AI Gateway平台部署GPT-5.4 Mini和Nano轻量模型的全流程，适用于资源受限环境。模型通过量化压缩，在低显存下保持接近完整版的NLP性能，支持文本生成与问答任务。核心亮点是实测性能数据与平台集成方案，为边缘AI部署提供可落地参考。
高通在 MWC 推出骁龙可穿戴平台至尊版，采用 3 nm 双核 NPU 架构，提供 10 TOPS 算力，可在手表、眼镜等微型设备本地运行 20 亿参数大模型，实现低功耗本地推理，推动个人 AI 全场景落地。
本文提供在 NVIDIA Jetson 边缘计算设备上部署开源视觉语言模型（VLM）的全面指南。内容涵盖模型选择、针对 Jetson 平台的模型优化（如量化、剪枝）、代码适配以及实际应用中的测试与调优。旨在帮助开发者高效集成 VLM，赋能智能视觉系统，扩展边缘设备的智能能力。
AMD与Nexa AI合作，成功将SDXL-Turbo图像生成模型部署至AMD NPU。通过Nexa AI的模型优化技术，SDXL-Turbo在AMD NPU上实现了高效推理，为开发者在边缘设备上构建强大的AI应用（如图像生成）提供了可能。此次合作标志着AI模型在终端设备上部署能力的显著提升，有望加速AI技术的普及和应用落地。
一位用户分享了其基于Jetson Orin Nano Super构建的专用AI代理盒设置。该设备功耗仅20W，提供67 TOPS算力，全天候运行OpenClaw，主要作为AI网关处理消息、浏览器自动化、监控及工具执行等任务，而非本地LLM推理（依赖云API）。尽管8GB内存不足以进行本地大模型推理，但其低功耗和GPU加速使其成为高效、经济的AI代理解决方案…