专题：tokenizer

Anthropic推出Claude Opus 4.7，支持4096x4096图像处理，采用新tokenizer架构，新增xhigh推理模式。在多项基准测试中表现优于前代版本，尤其在复杂任务准确率提升12-15%，同时降低推理延迟，为开发者提供更高效的AI解决方案。

Anthropic 于 2026 年 4 月发布 Claude Opus 4.7，保持原价但在长时任务、代码生成、自我验证和知识处理上显著提升。新模型采用改进的分词机制，提高效率并降低错误率，已通过 API、AWS Bedrock、Google Vertex AI 等平台快速集成。用户反馈其在处理敏感数据时更安全，社区对其定位展开讨论，整体推动了大模型在实…

Cursor发布自研模型被指套壳Kimi，未署名引发争议。Kimi开发者指出其使用Kimi K2.5，Cursor回应称是疏忽。事件反映开源模型在商业应用中的版权与署名问题，以及AI领域内的竞争与生态乱象。

本文指导如何构建GPT分词器，解析其原理与实现步骤，适用于NLP任务如机器翻译和情感分析。核心亮点在于结合现有LLM技术，提供可定制的分词方案，提升模型灵活性与性能。