AI-ийн дараагийн том давалгаа CXL мөн
Сүүлд memory chip-ний ханш өсөлттэй холбоотой энэ Compute Express Link гэх анх Intel санаачилсан одоо бол 200 гаран компанийн хамтарч хөгжүүлж, нэвтрүүлж байгаа технологи юм.
Технологийн техник тайлбар
Compute Express Link (CXL) нь орчин үеийн дата төвүүдэд тулгарч буй "Санах ойн хана" (Memory Wall) болон нөөцийн үр ашиггүй байдал зэрэг нэн чухал бэрхшээлүүдийг шийдвэрлэхэд зориулагдсан нээлттэй, үйлдвэрлэлийн стандарт бүхий холболтын технологи юм. Энэ нь Төв процессор (CPU) болон хурдасгуур (accelerator), санах ойн буфер зэрэг төхөөрөмжүүдийн хооронд өндөр хурдтай, бага хоцрогдолтой (low-latency) харилцааг бий болгодог.
Олон resource-үүдийг ашиглаад AI-аар зуруулсан доорх инфографик бараг сайхан тайлбарлаад өгнө дөө.
Гол санаа нь юу вэ гэхээр Dram-наас удаан гэхдээ SSD-ээс хурдан шийдэл бөгөөд тооцооллын хурд санах ойн чадамжаас илүү хурдтай өссөн цаг үед тулгарч буй Memory wall гэгдэх асуудлыг шийдвэрлэхэд хэрэг болох технологи юм байна.
Datacenter-д хэрэглэгдэж байгаа хамгийн чухал memory шийдэл энэхүү HBM - High Bandwidth Memory юм. Миний ойлгосноор bandwidth буюу дата шилжүүлэх хурдыг нь хамгийн их байлгахын тулд хурдасгууртайгаа ойрхон дээр нь давхарлах байдлаар хийсэн memory юм байна.
Шинэ хувилбарын тоолонгоор мэдээж дээрх үзүүлэлт сайжраад явж байгаа.
HBM хамгийн хурдан ч гэсэн багтаамжийн хувьд огцом нэмэгдүүлэхэд хэцүү аж. Энд CXL-ийн хэрэглээ багтаамж нэмэгдүүлэхэд орж ирж байгаа юм.
Хиймэл оюун ухааны хурдыг нэмэгдүүлэхэд ганцхан тооцоолол хурдан байх хангалтгүй хурдан тооцоолол хийхийн тулд өмнөх тооцооллуудаа хадгалаад хадгалсан мэдээлэл дээрээ үндэслэн шинэ тооцоолол хийх нь хавьгүй хурдан байдаг байна. Энэ сэдвээр илүү судалмаар байвал KV cache-ийн талаар олж уншаарай.
CXL технологийн хувьд миний анхаарал хандуулж байгаа 2 том тоглогч ALAB 0.00%↑ MRVL 0.00%↑ хоёр байгаа. Marvell-ийн хувьд silicon photonics, DSP switch, custom chip гээд олон талбар дээр зэрэг тоглолт хийж байгаа бүгдийг нь нэгтгээд цогц шийдэл гаргах гэж зорьж байгаа ханшийн хувьд сүртэй өсөөгүй зэргээс үүдээд илүү өсөх боломжтой гэж одоогоор бодож байна.
