Habari za Kiswahili
Karibuni

AI

Kizuizi cha kumbukumbu cha kidhibiti-kidogo kwa kielelezo, si GPU inayojadiliwa katika makala.

Umakini wa kujitegemea, kerneli za CUDA na FlashAttention

Transformer za kisasa hutegemea hesabu za matriki za Umakini wa Kujitegemea, vikompaila vya GPU vya kiwango cha juu kama Triton, na kerneli za CUDA zinazozingatia kumbukumbu kama FlashAttention kuchakata mifuatano mikubw

Rafu za kielelezo za kituo cha data huko Fermilab, si mfumo maalum wa mafunzo ya AI.

Jinsi CUDA inavyowezesha ujifunzaji wa kina

CUDA (Compute Unified Device Architecture) ni jukwaa la ukokotoaji sambamba na modeli ya uandishi wa programu ya NVIDIA, inayowezesha mifumo ya ujifunzaji wa kina kuendesha hesabu nzito za kihisabati kwenye GPU. Kwa kusa

Picha ya kielelezo ya undani wa chip ya kichakataji, si GPU ya NVIDIA inayojadiliwa katika makala.

AlexNet: uhandisi wa CUDA nyuma ya mafanikio ya 2012

Mwaka 2012, mafanikio ya AlexNet yalithibitisha kuwa mitandao ya neva ya kina iliyooanishwa na GPU zinazowezeshwa na CUDA inaweza kuzidi miongo ya uhandisi wa jadi wa maono ya kompyuta. Katika ImageNet Large Scale Visual