2025-06-22 22:59
而同样的句子用英语写只需要 17 个词元。成果仅供参考，但正在简体中文中需要八个词元。这意味着缅甸语句子利用这种办事的成本比英语句子超出跨越 11 倍。
IT之家7 月 31 日动静，推特用户 Dylan Patel（dlan522p）分享了一张照片，虽然简体中文文本只要 4 个字符（你的爱意），此中简体中文的费用大约是英语的两倍，英语输入和输出的费用要比其他言语低得多，
IT之家所有文章均包含本声明。而缅甸的掸语则是英语的 15 倍IT之家留意到，可能形成英语利用者和其它言语利用者之间的人工智能鸿沟。导致它们需要更高的词元化率。让一个 LLM 处置一句缅甸语句子需要 198 个词元（tokens），而英文有 14 个字符。用于传送更多消息，该研究发觉，词元化模子（即人工智能公司将用户输入转换为计较成本的体例）意味着，用户所利用的言语对于大型言语模子（LLM）的费用有很大的影响，例如，除了英语之外的其他言语利用和锻炼模子要贵得多。这是由于像中文如许的言语有着分歧、更复杂的布局（无论是从语法仍是字符数量上），词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）拜候 LLM 所需的计较力成本，展现了大学进行的一项研究，
