（来源：上观新闻）
一方面，🛬📬每生成一个🕦👢token🎬，GPU都需要👨❤️💋👨从内存中读取历史🗿🔤KV缓存和模🌯💀型权重，并写回新🙌的状态；另🐓🦴一方面，KV缓🥎存会随着上🎌☘下文长度🧬🍈线性增长，并🚻在多用户场景↖下成倍叠🌑加👩🎓🇻🇮。
双方的紧密🍤国产精品9999999程度，从小😑细节也可看🚷出🛍。英伟达Black🇦🇸❔well 🇸🇪👃Ultra：🍛GB300 NV🔙L72📔🇧🇯的最大单GPU🔘吞吐量达到🐏226.👩⚕️2 To🏜🦜ken/秒，☔比上一代GB👨🎤👩👩👧👧200有显著提🇦🇴升🤙🕵。
在早期阶🥬🇯🇪段，在单颗已经具🐟备百层结构的NA🚎🍋ND裸🧫片（die）Ⓜ之上，继⛅🇼🇸续进行芯片级堆🥭叠，将🦹♀️😀多个di🚵♀️e叠加至🇩🇲十余层，🏴从而把存储密👩❤️💋👩💎度从“百层”放📥❗大到“数千层🤽♂️🔦”；长远来看，控🏑⛽制与外围电路被整🇫🇮🏡国产精品9999999体迁移至基础🌞🔜国产精品9999999裸片（b🇻🇨🏊♀️ase 🎲die）🍮🥚，上层只保留⏲🌐纯粹的存储单元，⬇使堆叠从“堆芯🖌😀片”演进为“🔣🦘堆单元”，层数🌡🇭🇺国产精品9999999由此迈向“1️⃣🌽万级”⚖🚬。
