AI üçün obyekt yaddaşı: seçimlər, seçimlər, seçimlər

İnsanların çoxu “süni intellekt”i eşidəndə neyron şəbəkələri, dəbdəbəli alqoritmləri və ya bəlkə də bir qədər qəribə insanabənzər robotları təsəvvür edirlər. Nadir hallarda qabaqcadan xatırlanan budur: AI yaddaşı demək olar ki, hesabladığı qədər həvəslə yeyir . Həm də hər hansı saxlama obyektinin saxlanması arxa planda səssizcə oturaraq modellərə lazım olan məlumatları çatdırmaq kimi qeyri-adi, lakin tamamilə vacib işi yerinə yetirir.

Obyekt yaddaşını süni intellekt üçün bu qədər vacib edəni, onun yaddaş sistemlərinin “köhnə mühafizəsi”ndən nə ilə fərqləndiyini və nə üçün onun genişlənmə və performans üçün əsas rıçaqlardan biri olduğunu izah edək.

Bundan sonra oxumaq istədiyiniz məqalələr:

🔗 Biznes üçün geniş miqyaslı generativ süni intellektdən istifadə etmək üçün hansı texnologiyalar mövcud olmalıdır
Əsas texnologiyalar müəssisələri generativ AI-ni effektiv şəkildə genişləndirmək üçün lazımdır.

🔗 Baxmalı olduğunuz AI alətləri üçün məlumatların idarə edilməsi
AI performansını optimallaşdırmaq üçün məlumatların idarə edilməsi üçün ən yaxşı təcrübələr.

🔗 Süni intellektin biznes strategiyasına təsiri
AI biznes strategiyalarına və uzunmüddətli qərarların qəbuluna necə təsir edir.

Süni intellekt üçün Obyekt Saxlama işarəsini nə edir? 🌟

Böyük fikir: obyektin saxlanması qovluqlar və ya sərt blok planları ilə narahat olmur. O, məlumatları hər biri metadata ilə işarələnmiş "obyektlərə" bölür. Bu metadata sistem səviyyəli elementlər (ölçü, vaxt ştampları, yaddaş sinfi) və istifadəçi tərəfindən müəyyən edilmiş açar: dəyər teqləri ola bilər [1]. Bunu sizə tam olaraq nə olduğunu, necə yaradıldığını və boru kəmərinizə uyğun olduğunu söyləyən yapışqan qeydlər yığını daşıyan hər bir fayl kimi düşünün.

AI komandaları üçün bu çeviklik oyunu dəyişdirir:

• Migrensiz miqyas - Məlumat gölləri petabaytlara qədər uzanır və obyekt anbarları bunu asanlıqla idarə edir. Onlar demək olar ki, qeyri-məhdud böyümə və multi-AZ dayanıqlığı üçün nəzərdə tutulmuşdur (Amazon S3 “11 doqquz” və defolt olaraq zonalararası replikasiya ilə öyünür) [2].

• Metadata zənginliyi - Hər bir obyektlə birlikdə kontekst sürdüyü üçün daha sürətli axtarışlar, daha təmiz filtrlər və daha ağıllı boru kəmərləri [1].

• Bulud-doğma - Məlumat HTTP(S) üzərindən daxil olur, bu o deməkdir ki, siz çəkilişləri paralelləşdirə və paylanmış təlimin uğultusunu davam etdirə bilərsiniz.

• Dayanıqlılıq bişdi - Günlərlə məşq etdiyiniz zaman, 12-ci ilin zədələnmiş qırıqlarını öldürmə epoxunu riskə ata bilməzsiniz. Obyekt saxlama dizaynı ilə bunun qarşısını alır [2].

Bu, əsasən dibsiz bir kürək çantasıdır: içərisi dağınıq ola bilər, amma əlini uzatdıqda hər şey hələ də geri qaytarıla bilər.

AI obyektlərinin saxlanması üçün sürətli müqayisə cədvəli 🗂️

Həmişə ağlı başında olan qiymətləri real dünya istifadənizlə, xüsusən çıxış, sorğu həcmi və saxlama sinfi qarışığı ilə yoxlayın.

Niyə AI Təlimi obyektlərin saxlanmasını sevir?

Təlim “bir ovuc fayl” deyil. Paralel olaraq qırılan milyonlarla milyonlarla rekorddur. İyerarxik fayl sistemləri ağır paralellik altında bağlanır. düz ad məkanları və təmiz API-lərə malikdir Hər bir obyektin unikal açarı var; işçilər paralel olaraq havaya qalxır və gətirirlər. Parçalanmış verilənlər dəstləri + paralel I/O = GPU-lar gözləmək əvəzinə məşğul olurlar.

Xəndəklərdən məsləhət: hesablama klasterinin (eyni bölgə və ya zona) yaxınlığında qaynar parçaları saxlayın və SSD-də aqressiv şəkildə keş edin. Əgər sizə GPU-lara birbaşa qidalanmaya ehtiyacınız varsa, NVIDIA GPUDirect Storage-ə baxmağa dəyər - o, CPU-nun sıçrayış buferlərini kəsir, gecikməni azaldır və sürətləndiricilərə ötürmə qabiliyyətini artırır [4].

Metadata: Qiymətləndirilməmiş Super Güc 🪄

Burada obyekt yaddaşının daha az aydın şəkildə parladığı yerdir. Yükləyərkən, siz fərdi metadata (məsələn, S3 üçün x-amz-meta-… Məsələn, görmə məlumat dəsti şəkilləri işıqlandırma=aşağı və ya bulanıq=yüksək . , xam faylları yenidən skan etmədən boru kəmərlərinə filtrasiya etməyə, balanslaşdırmağa və ya təbəqələşdirməyə imkan verir [1].

versiya var . Bir çox obyekt anbarları təkrarlana bilən təcrübələr və ya geri çəkilməyə ehtiyacı olan idarəetmə siyasətləri üçün obyektin çoxsaylı versiyasını yan-yana saxlayır [5].

Obyekt vs Blok vs Fayl Saxlama ⚔️

• Blok Saxlama : Tranzaksiya verilənlər bazası üçün əladır - sürətli və dəqiq, lakin petabayt miqyaslı strukturlaşdırılmamış məlumatlar üçün çox bahadır.

• Fayl Saxlama : Tanış, POSIX dostu, lakin qovluqlar kütləvi paralel yüklər altında boğulur.

• Obyekt Yaddaşı : miqyas, paralellik və metadataya əsaslanan giriş üçün sıfırdan dizayn edilmişdir [1].

Əgər yöndəmsiz bir metafora istəyirsinizsə: blok saxlama sənədləşdirmə kabinetidir, fayl saxlama masa üstü qovluqdur və obyekt saxlama ... onu hər hansı bir şəkildə istifadəyə yararlı edən yapışqan qeydləri olan dibsiz bir çuxurdur.

Hibrid AI iş axınları 🔀

Həmişə yalnız buludlu deyil. Ümumi qarışıq belə görünür:

• Həssas və ya tənzimlənən məlumatlar üçün yerli obyekt saxlama

• Partlayış iş yükləri, təcrübələr və ya əməkdaşlıq üçün bulud obyekti yaddaşı

Bu balans xərcə, uyğunluğa və çevikliyə təsir edir. Mən komandaların müvəqqəti GPU klasterini işıqlandırmaq üçün bir gecədə terabaytları S3 vedrəsinə atdıqlarını görmüşəm, sonra sprint bitəndə hamısını nüvə silahına çeviriblər. Daha sıx büdcələr üçün Wasabinin sabit nisbətli/çıxışsız modeli [3] həyatı proqnozlaşdırmağı asanlaşdırır.

Heç kimin öyünmədiyi hissə 😅

Reallıq yoxlanışı: qüsursuz deyil.

• Gecikmə - Hesablama və yaddaşı bir-birindən çox uzaqlaşdırın və GPU-larınız sürünür. GDS kömək edir, lakin memarlıq hələ də vacibdir [4].

• Xərc sürprizləri - Çıxış və API sorğusu ödənişləri insanlara gizlicə girir. Bəzi provayderlər onlardan imtina edirlər (Vasabi edir, digərləri isə yox) [3].

• Metadata xaosu at miqyasda - Teqlərdə və versiyalarda “həqiqəti” kim müəyyənləşdirir? Sizə müqavilələr, siyasətlər və bəzi idarəetmə əzələləri lazımdır [5].

Obyekt saxlama infrastrukturu santexnikadır: mühüm, lakin məftunedici deyil.

Hara gedir 🚀

• SQL kimi sorğu təbəqələri vasitəsilə məlumatları avtomatik olaraq etiketləyən və ifşa edən daha ağıllı, AI-dən xəbərdar yaddaş

• Daha yaxın aparat inteqrasiyası (DMA yolları, NIC yüklənmələri) beləliklə, GPU-lar I/O-dan əziyyət çəkmir [4].

• Şəffaf, proqnozlaşdırıla bilən qiymətlər (sadələşdirilmiş modellər, azad edilmiş çıxış haqları) [3].

İnsanlar hesablamadan süni intellektin gələcəyi kimi danışırlar. Amma real olaraq? , büdcəni sarsıtmadan məlumatların modellərə sürətli ötürülməsi ilə bağlıdır . Buna görə də obyekt yaddaşının rolu yalnız artır.

Yekun 📝

Obyektin saxlanması parlaq deyil, lakin əsasdır. Ölçəklənən, metadatadan xəbərdar olan, dayanıqlı yaddaş olmadan böyük modelləri öyrətmək sandallarda marafon qaçmaq kimi hiss olunur.

Beləliklə, bəli - GPU-lar vacibdir, çərçivələr vacibdir. Ancaq süni intellektə ciddi yanaşırsınızsa, məlumatlarınızın harada yaşadığını laqeyd yanaşmayın . Çox güman ki, obyektin saxlanması bütün əməliyyatı sakitcə saxlayır.

İstinadlar

[1] AWS S3 – Obyekt metadata - sistem və fərdi metadata
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 – Yaddaş sinifləri - davamlılıq (“11 doqquz”) + dayanıqlıq
https://aws.amazon.com/s3/storage-classes/

[3] Wasabi İsti Bulud - Qiymətləndirmə - sabit tarif, çıxış/API haqqı yoxdur
https://wasabi.com/pricing

[4] NVIDIA GPUDirect Storage – Sənədlər – GPU-lara DMA yolları
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 – Versiyalaşdırma - idarəetmə/reproduktivlik üçün çoxsaylı versiyalar
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

Rəsmi AI köməkçisi mağazasında ən son AI-ni tapın

Haqqımızda