[Кітай, Шэньчжэнь, 14 ліпеня 2023 г.] Сёння Huawei прадставіла сваё новае рашэнне для захоўвання дадзеных AI для эпохі буйнамаштабных мадэляў, забяспечваючы аптымальныя рашэнні для захоўвання дадзеных для базавага навучання мадэлям, спецыяльнага навучання мадэлям для галіны і высновы ў сегментаваных сцэнарыях, такім чынам раскрываючы новыя магчымасці штучнага інтэлекту.
Пры распрацоўцы і ўкараненні буйнамаштабных мадэльных прыкладанняў прадпрыемствы сутыкаюцца з чатырма асноўнымі праблемамі:
Па-першае, час, неабходны для падрыхтоўкі даных, вялікі, крыніцы даных раскіданыя, а агрэгацыя адбываецца павольна, займаючы каля 10 дзён для папярэдняй апрацоўкі сотняў тэрабайт даных. Па-другое, для мультымадальных вялікіх мадэляў з масіўнымі тэкставымі наборамі даных і малюнкаў бягучая хуткасць загрузкі для масіўных невялікіх файлаў складае менш за 100 МБ/с, што прыводзіць да нізкай эфектыўнасці загрузкі навучальнага набору. Па-трэцяе, частыя карэкціроўкі параметраў для вялікіх мадэляў, а таксама нестабільныя навучальныя платформы выклікаюць перапынкі ў навучанні прыкладна кожныя 2 дні, што прымушае механізм Checkpoint аднаўляць навучанне, а аднаўленне займае больш за дзень. Нарэшце, высокія парогі рэалізацыі для вялікіх мадэляў, складаная налада сістэмы, праблемы планавання рэсурсаў і выкарыстанне рэсурсаў GPU часта ніжэй за 40%.
Huawei прытрымліваецца тэндэнцыі развіцця штучнага інтэлекту ў эпоху буйнамаштабных мадэляў, прапаноўваючы рашэнні, адаптаваныя для розных галін і сцэнарыяў. Ён прадстаўляе OceanStor A310 Deep Learning Data Lake Storage і FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage прызначана як для базавых, так і для галіновых сцэнарыяў вялікіх мадэльных азёр даных, забяспечваючы ўсебаковае кіраванне дадзенымі штучнага інтэлекту ад агрэгавання даных, папярэдняй апрацоўкі да навучання мадэляў і прыкладанняў для вываду. OceanStor A310 у адной стойцы вышынёй 5U падтрымлівае лепшую ў галіны прапускную здольнасць 400 ГБ/с і да 12 мільёнаў IOPS з лінейнай маштабаванасцю да 4096 вузлоў, што забяспечвае бясшвоўную міжпратакольную сувязь. Глабальная файлавая сістэма (GFS) спрыяе інтэлектуальнаму перапляценню даных па рэгіёнах, упарадкоўваючы працэсы агрэгацыі даных. Вылічэнні, блізкія да сховішчаў, рэалізуюць папярэднюю апрацоўку дадзеных, памяншаючы перамяшчэнне даных і павышаючы эфектыўнасць папярэдняй апрацоўкі на 30%.
Суперканвергентная прылада для навучання/вываду FusionCube A3000, распрацаваная для сцэнарыяў навучання/вываду буйных мадэляў галіновага ўзроўню, абслугоўвае прыкладанні, якія ўключаюць мадэлі з мільярдамі параметраў. Ён аб'ядноўвае высокапрадукцыйныя вузлы захоўвання дадзеных OceanStor A300, вузлы навучання/вываду, камутацыйнае абсталяванне, праграмнае забеспячэнне для платформы штучнага інтэлекту, а таксама праграмнае забеспячэнне для кіравання і эксплуатацыі, забяспечваючы партнёрам буйных мадэляў магчымасць разгортвання па прынцыпе «падключы і працуй» для пастаўкі ў адзінае месца. Гатовы да выкарыстання, яго можна разгарнуць на працягу 2 гадзін. Вузлы навучання/вываду і захоўвання могуць быць незалежна і гарызантальна пашыраны ў адпаведнасці з рознымі патрабаваннямі да маштабу мадэлі. У той жа час FusionCube A3000 выкарыстоўвае высокапрадукцыйныя кантэйнеры для выканання некалькіх задач навучання мадэляў і вываду для сумеснага выкарыстання графічных працэсараў, павялічваючы выкарыстанне рэсурсаў з 40% да больш чым 70%. FusionCube A3000 падтрымлівае дзве гнуткія бізнес-мадэлі: універсальнае рашэнне Huawei Ascend і універсальнае рашэнне старонніх партнёраў з адкрытым вылічэннем, сеткай і праграмным забеспячэннем платформы AI.
Прэзідэнт кампаніі Huawei па лініі прадуктаў для захоўвання дадзеных Чжоу Юйфэн заявіў: «У эпоху буйнамаштабных мадэляў дадзеныя вызначаюць вышыню інтэлекту AI. Як носьбіт даных, сховішча даных становіцца ключавой асноватворнай інфраструктурай для буйнамаштабных мадэляў штучнага інтэлекту. Huawei Data Storage будзе працягваць укараняць інавацыі, забяспечваючы дыверсіфікаваныя рашэнні і прадукты для эпохі вялікіх мадэляў штучнага інтэлекту, супрацоўнічаючы з партнёрамі для пашырэння магчымасцей штучнага інтэлекту ў шырокім дыяпазоне галін».
Час публікацыі: 1 жніўня 2023 г
