“降价的基本逻辑是，咱们有决定信念用技能手腕降低成本，市场也需要更低价的年夜模子。”5月15日，字节跳动豆包年夜模子于火山引擎原动力年夜会上发布，火山引擎总裁谭待于宣布豆包年夜模子订价时如是说。
豆包年夜模子的超低价格引起业内存眷。据悉，豆包主力模子的推理输入价格只有0.0008元/千Tokens（数据中的基本单位），比行业价格自制99.3%。对于此，谭待坦言：“降价是用技能优化成原来实现的。假如只是补助，用吃亏换收入是不成连续的，咱们不会走这条路。”
对于年夜模子推理成本的优化，可经由过程许多技能手腕实现。起首是模子自己，模子布局、练习要领均可以连续改良，包括业界很存眷的MoE（混淆专家模子），就是优化推理成本很好的解决方案。其次是工程上的优化。年夜模子的挪用量越年夜，优化推理成本的空间也越年夜。之前的模子都是单机推理，年夜模子用的是漫衍式推理。以是假如能把各类各样的底层算力用患上更好，推理成本就会年夜年夜降低。
谭待暗示，豆包年夜模子平均天天处置惩罚1200亿Tokens文本、天生3000万张图片，差别使命有差别的负载，可以把它们混淆于一路，经由过程智能调理提高它们的使用率，就能极年夜地晋升资源使用率，实现总体成本的优化。
“年夜的利用量，才能打磨出好模子，年夜幅降低模子推理的单元成本。”谭待拿字节跳动内部营业举例，飞书的重要流量岑岭于事情时间，抖音于放工后休闲时间的流量更高，这些差别营业的年夜模子推理，也能按照营业特色错峰利用，降低成本。
豆包年夜模子原名“云雀”，是海内首批经由过程算法存案的年夜模子之一。字节跳动基在豆包年夜模子打造了AI对于话助手“豆包”、AI运用开发平台“扣子”、互动文娱运用“猫箱”，以和星绘、即梦等AI创作东西，并把年夜模子接入抖音、番茄小说、飞书、巨量引擎等50余个营业，用以晋升效率及优化产物体验。
年夜模子从以分计价到以厘计价，将助力企业以更低成本加快营业立异。“好比一小我私家此刻要创业，假如要花1万元钱挪用年夜模子，可能会感觉有点贵。咱们把价格降到1%都不到，相称在花100元钱，就能把年夜模子用起来，相干设法也就更易获得测验考试。”谭待暗示，企业的AI转型布满不确定性，试错成本要只管即便低，才能更快更多地实现年夜模子的运用落地，从而让整个行业受益。（记者 杨雪）
-凯发集团