Habari za Kiswahili
Karibuni
AI na Teknolojia

Kupitishwa kwa CUDA: kutoka majaribio ya awali ya GPU hadi mafanikio ya AlexNet

Picha ya kielelezo ya undani wa chip ya kichakataji, si GPU ya NVIDIA inayojadiliwa katika makala.
Picha ya kielelezo ya undani wa chip ya kichakataji, si GPU ya NVIDIA inayojadiliwa katika makala.

Watafiti wa AI walianza kutambua faida kubwa ya utendaji ya CUDA kwa mitandao ya neva kati ya 2006 na 2009, huku mafanikio makuu ya uhakika yakitokea mwaka 2012. Kabla ya mabadiliko haya, mitandao ya neva ilikuwa ikidharauliwa sana kuwa polepole mno na ghali kikokotozi kiasi cha kutowezekana kutumika.

Hatua kuu katika kupitishwa kwa CUDA

  • 2006 (CUDA yatolewa): NVIDIA ilizindua CUDA, ikiwawezesha watafiti kuprogramu GPU kwa kutumia C/C++ ya kawaida badala ya graphics shaders tata (kama OpenGL).
  • 2007–2008 (majaribio ya awali ya mitandao ya neva): Wapitishaji wa mapema walianza kuhamishia algoriti za mitandao ya neva kwenye CUDA. Mwaka 2008, mtafiti Rajat Raina na timu ya Andrew Ng huko Stanford walionyesha kuwa GPU zinazoendesha CUDA zinaweza kufunza deep belief networks hadi mara 70 kwa kasi zaidi kuliko CPU zenye kori nyingi.
  • 2009–2010 (vipimo vilivyovunja rekodi): Maabara ya Jürgen Schmidhuber (ikiwemo Dan Cireșan) ilitumia GPU zilizoharakishwa kwa CUDA kufunza mitandao ya neva ya kina iliyovunja rekodi za utambuzi wa maandishi ya mkono (MNIST), ikithibitisha kuwa mitandao ya kina zaidi inaweza kufunzwa bila kompyuta kuu maalum.
  • 2012 (Kiini cha mabadiliko: AlexNet): Wakati wa maamuzi ulitokea katika shindano la ImageNet. Alex Krizhevsky, Ilya Sutskever, na Geoffrey Hinton walitumia kernels maalum za CUDA kwenye GPU mbili za NVIDIA GTX 580 kufunza AlexNet, wakipunguza viwango vya makosa ya uainishaji wa picha karibu nusu ikilinganishwa na mbinu za jadi. Ushindi huu ulizua mapinduzi ya kisasa ya ujifunzaji wa kina.
  • 2014 (cuDNN yazinduliwa): Kufuatia ufanisi mkubwa wa AlexNet, NVIDIA ilitoa cuDNN (CUDA Deep Neural Network library), ikimpa kila mtafiti wa AI viambajengo vya GPU vilivyoboreshwa, tayari kutumika (plug-and-play) kwa mifumo kama Caffe, Theano, TensorFlow, na PyTorch.

Kwa nini ilibadilisha kila kitu

Kabla ya CUDA, kufunza mtandao wa neva wa ukubwa wa wastani kwenye CPU kulichukua wiki au miezi, na kufanya utafiti wa majaribio na makosa kuwa karibu usiowezekana. CUDA ilipunguza muda huo wa mafunzo hadi siku au saa, ikiwaruhusu watafiti kupanua seti za data, kupanga tabaka zaidi, na kubuni miundo ya kisasa kama Transformers na modeli kubwa za lugha.

Habari zaidi: AI na Teknolojia