Habari za Kiswahili
Karibuni
Waziri wa zamani Rajitha Senaratne aonya Sri Lanka inaelekea kufilisika tenaRais wa zamani anafadhili nyumba kwa familia inayohitaji huko ThambuttegamaMashine za kutibu saratani zenye thamani ya mabilioni ya rupia hazitumiki huku wagonjwa wakisubiri zaidiSuriya atarajia rekodi ya filamu tatu zenye mapato ya rupia za India bilioni 2 kila moja kwa mwaka mmojaUkuta wa kuzuia udongo waripotiwa kuporomoka kwenye mradi wa umeme wa Tarbela nchini PakistanWaziri anasema watangazaji wa kimataifa wanatoa msaada kwa utalii wa Sri LankaPolisi wanamkamata mtu kwa madai ya msaada katika mauaji ya NochchiyagamaRaia wanne wa Uchina wawekwa rumande kwa tuhuma za kukusanya wanyamapori huko Sinharaja
AI na Teknolojia

PagedAttention, speculative decoding, MoE na Blackwell

Picha ya mfano ya nyuzi za macho (optical fibres) zinazong'aa, si mfumo mahususi wa GPU.
Picha ya mfano ya nyuzi za macho (optical fibres) zinazong'aa, si mfumo mahususi wa GPU.

Utekelezaji wa kisasa wa AI unategemea injini za kutumikia zenye kumbukumbu iliyofanywa virtual, routing ya wataalamu wachache (sparse expert routing), na usahihi wa vifaa wa chini ya byte ili kutumikia miundo mikubwa kwa kasi kubwa na gharama ndogo. Teknolojia hizi tatu zinawakilisha mstari wa mbele wa miundombinu ya uzalishaji wa LLM.

1. Uboreshaji wa Kutumikia Inference ya LLM: PagedAttention & Speculative Decoding

Wakati wa kuzalisha maandishi, LLM huhifadhi tensor za Key (K) na Value (V) za kila token iliyopita kwenye VRAM ili isilazimike kuzihesabu upya katika kila hatua. Kusimamia KV Cache hii na kushinda kizibwaji cha mfululizo cha kuzalisha token moja moja ndiyo changamoto mbili kubwa zaidi katika kutumikia inference.

  • PagedAttention (vLLM) – Kumbukumbu Virtual ya KV Cache.
  • Tatizo la Fragmentation. Kihistoria, injini za inference zilitenga awali kipande kilichoungana cha VRAM kwa kila ombi kulingana na urefu wa juu unaowezekana wa mlolongo wa modeli (k.m., token 32,768). Ikiwa mtumiaji alizalisha token 200 tu, zaidi ya 99% ya VRAM hiyo iliyohifadhiwa ilikaa tupu, ikihujumu 60% hadi 80% ya kumbukumbu ya GPU kupitia fragmentation ya ndani na ya nje.
  • Paging ya Mtindo wa OS. Ikichochewa na kumbukumbu virtual ya operating system, PagedAttention hugawanya KV cache ya kila mlolongo kuwa vitalu vidogo vya ukubwa thabiti (k.m., token 16 kwa kila kitalu) ambavyo vinaweza kukaa bila kuungana popote katika VRAM halisi. Jedwali nyepesi la vitalu hupanga vitalu vya token vya kimantiki kwenye anwani halisi za kumbukumbu ya GPU papo hapo ndani ya kernel ya attention.
  • Kushiriki Kumbukumbu (Copy-on-Write). Kwa sababu vitalu vimetenganishwa, maombi mengi yanayoshiriki system prompt moja au kuzalisha majibu sambamba (kama beam search) huelekeza kwenye vitalu vile vile halisi vya KV katika VRAM, kupunguza sana matumizi ya kumbukumbu na kuwezesha batch kubwa zaidi.
  • Speculative Decoding – Kuvunja Kizibwaji cha Mfululizo.
  • Kwa Nini Kuzalisha kwa Autoregressive Ni Polepole. Kuzalisha token 100 kunahitaji forward passes 100 za mfululizo. Kwa sababu kila pass huchakata token moja mpya tu, GPU hutumia muda wake mwingi ikisoma uzani wa modeli kutoka VRAM huku Tensor Cores zake zikikaa karibu bila kazi.
  • Pipeline ya Rasimu-na-Uthibitishaji (Draft-and-Verify). Speculative decoding huunganisha Modeli Lengo kubwa (k.m., vigezo 70B) na Modeli Rasimu ndogo ya kasi kubwa mno (k.m., vigezo 1B–3B, au vichwa nyepesi vya utabiri kama Medusa / EAGLE).
  • Uthibitishaji Sambamba. Modeli rasimu ndogo hukisia haraka token K zinazofuata (k.m., token 5) kwa mfululizo. Modeli lengo kubwa kisha huchakata token zote 5 zilizokisiwa kwa wakati mmoja katika forward pass moja sambamba, ikikagua probabilities zake. Kwa sababu kuthibitisha token 5 sambamba huchukua karibu muda ule ule wa kuzalisha token 1, mfumo hukubali token zote zinazolingana mara moja—ukitoa uzalishaji wa kasi mara 2 hadi mara 3 kwa ubora wa matokeo unaofanana kihisabati.

2. Mixture-of-Experts (MoE) & Expert Parallelism

Miundo dense huamsha 100% ya vigezo vyake kwa kila token, jambo linalofanya miundo mikubwa kuwa ya gharama kubwa mno kuendesha. Miundo ya Mixture-of-Experts (MoE) hutenganisha maarifa ya jumla ya modeli na gharama ya kompyuta kwa kila token.

  • Jinsi Tabaka za MoE Zinavyofanya Kazi (Mixtral & DeepSeek).
  • Katika kitalu cha MoE Transformer, Feed-Forward Network (FFN) moja dense hubadilishwa na bwawa la FFN ndogo huru zinazoitwa Wataalamu (Experts) (k.m., wataalamu 8 katika Mixtral 8x7B, au wataalamu 256 wenye unyeti mkubwa katika DeepSeek-V3).
  • Router nyepesi iliyojifunza (Gating Network) hukagua kila token inayoingia na kuisogeza kwa wataalamu top-K wanaofaa zaidi tu (kawaida wataalamu 2 hadi 8). Modeli inaweza kubeba vigezo zaidi ya 600B kwenye kumbukumbu, lakini huamsha vigezo 37B tu kwa kila token, ikifikia akili kubwa ya modeli kwa sehemu ndogo ya gharama ya kompyuta.
  • Wataalamu wa Pamoja & Usawazaji Bila Auxiliary Loss. Miundo ya kisasa ya MoE kama DeepSeek hutenga Wataalamu wachache wa Pamoja wanaochakata kila token ili kunasa maarifa ya msingi ya kawaida, huku wataalamu wa routing wakiwa wamebobea katika nyanja mahususi. Marekebisho ya dynamic bias huzuia "routing collapse" (ambapo router hupakia kupita kiasi wataalamu wachache maarufu na kuwapuuza wengine).
  • Expert Parallelism (EP) Kati ya GPU.
  • Kwa sababu modeli ya MoE ina mamia ya wataalamu, hawawezi kutoshea kwenye GPU moja. Expert Parallelism husambaza wataalamu tofauti kati ya GPU tofauti (k.m., Wataalamu 1–4 kwenye GPU 0, Wataalamu 5–8 kwenye GPU 1).
  • Mawasiliano ya All-to-All. Wakati GPU 0 inachakata batch ya token, router yake inaweza kugawa baadhi ya token kwa Wataalamu walioko kwenye GPU 3. Kila tabaka la MoE kwa hivyo hutekeleza dispatch ya All-to-All, likituma hidden states za token kupitia miunganisho ya kasi kubwa ya NVLink/InfiniBand hadi GPU inayoshikilia mtaalamu aliyekabidhiwa, kukokotoa FFN ya mtaalamu, na kutekeleza hatua ya pili ya All-to-All combine kurudisha matokeo.

3. NVIDIA Blackwell (B200) & Transformer Engine ya Kizazi cha Pili (FP4)

Ilitambulishwa ili kupanua miundo ya reasoning na MoE ya vigezo trilioni, usanifu wa NVIDIA Blackwell (B200) ulibuni upya uwekaji wa dies nyingi na usahihi wa namba wa chini ya byte.

  • Usanifu Uliounganishwa wa Dies Mbili.
  • GPU moja ya B200 hubeba transistor bilioni 208 katika dies mbili zilizopunguzwa na reticle zilizounganishwa pamoja na NV-HBI (High-Bandwidth Interface) ya 10 TB/s. Kwa kernels za CUDA na mifumo ya programu, dies zote mbili hufanya kazi kama GPU moja iliyounganishwa bila adhabu za cache coherency.
  • Memory Bandwidth ya HBM3e. Ikijilimbikizia VRAM ya HBM3e ya 192 GB inayotoa memory bandwidth ya 8 TB/s (zaidi ya mara mbili ya 3.35 TB/s ya H100), Blackwell inalenga moja kwa moja vikwazo vya memory bandwidth vya KV caches na kupakia uzani wa MoE.
  • Transformer Engine ya Kizazi cha Pili & NVFP4.
  • Wakati Hopper ilitambulisha floating-point ya biti 8 (FP8), Transformer Engine ya kizazi cha pili ya Blackwell inasukuma kompyuta ya Tensor Core hadi floating-point ya biti 4 (FP4), ikiongeza tena mara mbili throughput halisi ya kompyuta (hadi 20 petaFLOPS za kompyuta dense ya FP4 kwa kila GPU) na kupunguza nusu ukubwa wa kumbukumbu ikilinganishwa na FP8.
  • Kutatua Dynamic Range ya FP4 kwa Micro-Tensor Scaling (NVFP4). Namba za kawaida za biti 4 zina thamani 16 tu zinazowezekana, jambo ambalo kawaida huharibu usahihi wakati namba za kupindukia zinapotokea katika activations za neural. Blackwell hutatua hili kwa vifaa kwa kutumia micro-scaling ya ngazi mbili: badala ya kutumia kipimo kimoja cha scaling kwenye matrici kubwa, Blackwell hupanga uzani na activations katika vitalu vidogo vya vipengee 16, ikikabidhi kila kitalu kidogo kipimo chake chenyewe cha scaling cha usahihi wa juu cha FP8 pamoja na kipimo cha tensor cha FP32 cha jumla.
  • Quantization Ilioharakishwa na Vifaa. Transformer Engine hukagua kwa nguvu mipangilio ya tensor tabaka kwa tabaka na kubadilisha thamani kati ya FP16/BF16, FP8, na NVFP4 moja kwa moja ndani ya pipeline ya Tensor Core bila safari za ziada za kumbukumbu.

Habari zaidi: AI na Teknolojia