央視網消息

（焦點訪談）：最近有個新詞兒很火，Token，也就是詞元。詞元是大模型處理信息的最小單元，簡單來說，就像我們說話時的詞語、標點，是AI理解和生成語言的基本“積木”，一句話、一段文字都會被拆成若幹個詞元來計算。和我們通過用電量來衡量工業活力一樣，詞元調用量也是衡量人工智能發展的全新時代標尺。今年3月，我國日均詞元調用量突破140萬億，兩年增長超千倍。那麼，為什麼會出現如此巨量的增長？詞元用到了哪些地方？這場詞元大爆炸又意味著什麼？

最近，Token這個詞特別火，Token中文名叫詞元。今年3月，國家數據局宣布，我國詞元的日均調用量突破140萬億，相比2024年初的1000億，增長了千倍。同月，中國AI大模型周詞元調用量連續三周超越美國。中國已成為全球AI應用活躍度最高的國家之一。就像刷手機要消耗流量一樣，越來越多的人每天也在消耗大量詞元。

詞元調用量大爆炸清晰地表明，人工智能時代已經到來。那麼，這對於我們普通人、對於社會發展意味著什麼？要搞懂這一切，首先我們要弄明白什麼是詞元？

中國信通院信息化與工業化融合研究所副所長黃偉：“它實際上是人工智能理解自然語言最小的基本單元。”

比如，我們問大模型“今天北京天氣怎麼樣？”那麼，大模型會把這句話拆分成“今天/北京/天氣/怎麼樣/？/”5個詞元，一個詞元約等於1.5到2個字。從日常對話、文案創作、視覺生成，再到智能體自主執行複雜任務，AI的應用場景不斷拓寬。

過去，我們很難為智力服務找到統一的計量單位，但是詞元的出現解決了這一難題。AI從此可計量、可定價、可交易。