咨询服务热线:021-26883548
电话:0755-86673560
邮箱:kaiyuncom@mjchuchen.com
总部:湖北省武汉市东湖新技术开发区高新大道637号
北京科技有限公司:北京市丰台区和义街道和义科创产业园内
上海科技有限公司:上海市静安区新闸路1403号2幢
官方网站-首页
大模型迭代提速、智能体应用遍地开花,人工智能产业正从“拼算力、拼硬件”迈入“拼产能、拼供给”的全新阶段。作为AI世界可量化、可交易、可消耗的最小基础单元,词元已然成为支撑人工智能运转的全新数字硬通货。近日,记者走进北京首家投产运行的北京壹号词元工厂,近距离探秘这座特殊的AI“超级产能工厂”。
词元工厂的机房。记者和冠欣摄伴随工作人员扫描工牌推开机房大门,记者看到,机房内部竟然处于“黑灯”运行状态。软通智算技术专家刘立笑着告诉记者,词元工厂是典型的智能化无人生产载体,日常仅需极少数人员值守,整套生产系统可实现7×24小时自主运转,机房调度、设备状态监控、任务智能调配等全部流程,均可通过远程系统完成。
打开机房的照明灯,一排排一人多高的算力机柜映入眼帘。记者跟着刘立走进机柜内部,风冷系统从底部源源不断输送冷风,将高速运转设备的环境温度稳定维持在20至24摄氏度。密集排布的图形处理器和智算加速卡并行开展海量推理计算,一条条彩色光纤线缆交错排布,源源不断传输数据,词元就在这里批量诞生。

走进机柜内部,可以看到密集排布的GPU与连接的光纤线缆。
究竟何为词元?刘立打了一个通俗比方:“就像电力用度作为计量计费单位,词元就是人工智能处理信息的最小单位。”过去,词元的生产、供给、使用大多由各大模型企业内部闭环完成。而随着智能体经济蓬勃兴起,市场对词元的需求呈指数级上涨,独立第三方词元工厂应运而生,深度参与全流程经营运维,通过优化推理架构、智能调度算力、适配模型迭代,主动生产、打磨、输出标准化的优质词元产品,对外提供人工智能词元服务。
刘立解释,词元的质量取决于合作大模型的能力,而产出效率考验词元工厂的技术功底。好比矿石开采,优质模型产出高品质“矿石”,工厂持续迭代推理架构、优化软件配套,则决定开采效率。目前工厂已经对接智谱、Kimi、Deepseek等国内头部大模型企业,针对模型快速迭代的行业特点,做到基本当日跟进适配更新。
很多人会产生疑问,词元能否像普通数据一样缓存复用?刘立给出答案:“不能,因为词元自带强烈时间属性和空间(场景)属性。”例如,向大模型提问“今天天气如何”,切分出的“今天”这个词元只对应提问当日,时间发生变化,该词元含义随即失效。每一次人工智能推理,都要结合当下环境重新生成词元,这也决定词元属于持续消耗品,无法简单重复调用旧有结果。
作为北京落地的首家词元工厂,这座特殊的工厂自今年6月启动运行,已经跑出可观产能:当前每日可生产3000亿至5000亿词元,半数任务可在6秒内完成交付,九成任务响应时间控制在10秒以内,整体性能稳定性波动控制在2%以内。按照规划,到今年年底,工厂日产能将攀升至1.4万亿词元。
来源:北京日报客户端
公众号

电话
需求反馈