[China, Shenzhen, 14 Julie 2023] Huawei het vandag sy nuwe KI-bergingsoplossing vir die era van grootskaalse modelle onthul, wat optimale bergingsoplossings bied vir basiese modelopleiding, industriespesifieke modelopleiding en afleiding in gesegmenteerde scenario's, dus nuwe KI-vermoëns ontketen.
In die ontwikkeling en implementering van grootskaalse modeltoepassings staar ondernemings vier groot uitdagings in die gesig:
Eerstens is die tyd wat nodig is vir datavoorbereiding lank, databronne is verstrooi en samevoeging is stadig, wat ongeveer 10 dae neem om honderde teragrepe data vooraf te verwerk. Tweedens, vir multi-modale groot modelle met massiewe teks- en beelddatastelle, is die huidige laaispoed vir massiewe klein lêers minder as 100 MB/s, wat lei tot lae doeltreffendheid vir die laai van opleidingstel. Derdens veroorsaak gereelde parameteraanpassings vir groot modelle, tesame met onstabiele opleidingsplatforms, opleidingsonderbrekings ongeveer elke 2 dae, wat die Checkpoint-meganisme noodsaak om opleiding te hervat, met herstel wat meer as 'n dag neem. Laastens, hoë implementeringsdrempels vir groot modelle, komplekse stelselopstelling, hulpbronskeduleringsuitdagings en GPU-hulpbronbenutting dikwels onder 40%.
Huawei pas by die neiging van KI-ontwikkeling in die era van grootskaalse modelle, en bied oplossings wat aangepas is vir verskillende nywerhede en scenario's. Dit stel die OceanStor A310 Deep Learning Data Lake Storage en die FusionCube A3000 Training/Inference Super-Converged Appliance bekend. OceanStor A310 Deep Learning Data Lake Storage teiken beide basiese en bedryfsvlak groot model datameer scenario's, wat omvattende KI databestuur van data-aggregasie, voorafverwerking tot modelopleiding en afleidingstoepassings bereik. Die OceanStor A310, in 'n enkele 5U-rek, ondersteun toonaangewende 400GB/s-bandwydte en tot 12 miljoen IOPS, met lineêre skaalbaarheid tot 4096 nodusse, wat naatlose kruisprotokolkommunikasie moontlik maak. Die Global File System (GFS) fasiliteer intelligente data-weef oor streke, wat data-aggregasieprosesse vaartbelyn maak. Naby-berging rekenaars realiseer naby-data voorverwerking, die vermindering van data beweging, en die verbetering van voorverwerking doeltreffendheid met 30%.
Die FusionCube A3000 Training/Inference Super-Converged Appliance, ontwerp vir industrie-vlak groot model opleiding/afleiding scenario's, maak voorsiening vir toepassings wat modelle met biljoene parameters behels. Dit integreer OceanStor A300 hoëprestasie bergingsnodusse, opleiding/afleidingsnodusse, skakeltoerusting, KI-platformsagteware en bestuur- en bedryfsagteware, wat groot modelvennote voorsien van 'n plug-en-speel-ontplooiingservaring vir 'n eenstop-aflewering. Gereed om te gebruik, dit kan binne 2 uur ontplooi word. Beide opleiding/afleiding en bergingsnodusse kan onafhanklik en horisontaal uitgebrei word om aan te pas by verskeie modelskaalvereistes. Intussen gebruik FusionCube A3000 hoëprestasiehouers om veelvuldige modelopleiding en afleidingstake moontlik te maak om GPU's te deel, wat hulpbronbenutting van 40% tot meer as 70% verhoog. FusionCube A3000 ondersteun twee buigsame sakemodelle: Huawei Ascend One-Stop Solution en die derdeparty-vennoot eenstop-oplossing met oop rekenaar-, netwerk- en KI-platformsagteware.
Huawei se president van die databergingsproduklyn, Zhou Yuefeng, het gesê: “In die era van grootskaalse modelle bepaal data die hoogte van KI-intelligensie. As die draer van data, word databerging die belangrikste grondliggende infrastruktuur vir KI grootskaalse modelle. Huawei Data Storage sal voortgaan om te innoveer en gediversifiseerde oplossings en produkte te verskaf vir die era van KI groot modelle, saam met vennote om KI-bemagtiging oor 'n wye reeks nywerhede te dryf.
Postyd: Aug-01-2023
