süni intellekt mühəndisləri nə edir

Süni intellekt mühəndisləri nə ilə məşğul olurlar?

Heç düşünmüsünüzmü ki, "Süni İntellekt Mühəndisi" sözünün arxasında nə gizlənir? Mən də düşünmüşəm. Kənardan parlaq səslənir, amma əslində bu, dizayn işinin bərabər hissələridir, qarışıq məlumatları qarışdırmaq, sistemləri bir-birinə birləşdirmək və işlərin lazımi şəkildə yerinə yetirilib-yetirilmədiyini diqqətlə yoxlamaqdır. Bir sətirlik versiyanı istəyirsinizsə: onlar bulanıq problemləri real istifadəçilər peyda olduqda çökməyən işləyən Süni İntellekt sistemlərinə çevirirlər. Daha uzun və bir az daha xaotik bir müddət - yaxşı, aşağıda. Kofein qəbul edin. ☕

Bundan sonra oxumaq istəyə biləcəyiniz məqalələr:

🔗 Mühəndislər üçün süni intellekt alətləri: Səmərəliliyin və innovasiyanın artırılması
Mühəndislik məhsuldarlığını və yaradıcılığını artıran güclü süni intellekt alətlərini kəşf edin.

🔗 Proqram mühəndislərini süni intellekt əvəz edəcəkmi?
Avtomatlaşdırma dövründə proqram təminatı mühəndisliyinin gələcəyini araşdırın.

🔗 Süni intellektin sənayeləri dəyişdirən mühəndislik tətbiqləri
Süni intellekt sənaye proseslərini necə yenidən formalaşdırdığını və innovasiyanı necə irəli apardığını öyrənin.

🔗 Süni intellekt mühəndisi necə olmaq olar
Süni intellekt mühəndisliyində karyeranıza başlamaq üçün addım-addım təlimat.

Qısaca məlumat: süni intellekt mühəndisinin əslində etdiyi 💡

Ən sadə səviyyədə, süni intellekt mühəndisi süni intellekt sistemlərini dizayn edir, qurur, göndərir və texniki xidmət göstərir. Gündəlik işlərə aşağıdakılar daxildir:

  • Qeyri-müəyyən məhsul və ya biznes ehtiyaclarını modellərin həqiqətən idarə edə biləcəyi bir şeyə çevirmək.

  • Məlumatların toplanması, etiketlənməsi, təmizlənməsi və - qaçılmaz olaraq - axmağa başladıqda yenidən yoxlanılması.

  • Modellərin seçilməsi və təlimləndirilməsi, düzgün ölçülərlə qiymətləndirilməsi və harada uğursuz olacaqlarını qeyd etmək.

  • Bütün prosesi MLOps boru kəmərlərinə bükərək sınaqdan keçirmək, yerləşdirmək və müşahidə etmək mümkündür.

  • Vəhşi təbiətdə onu izləmək: dəqiqlik, təhlükəsizlik, ədalət... və relsdən çıxmazdan əvvəl tənzimləmə.

Əgər "deməli, bu, proqram təminatı mühəndisliyi və məlumat elmi ilə yanaşı, məhsul düşüncəsinin də bir hissəsidir" deyə düşünürsünüzsə - bəli, bunun mahiyyəti budur.

Yaxşı süni intellekt mühəndislərini digərlərindən fərqləndirən nədir

2017-ci ildən bəri dərc olunan hər bir memarlıq məqaləsini bilə-bilə kövrək bir qarışıqlıq yarada bilərsiniz. Bu vəzifədə uğur qazanan insanlar adətən:

  • Sistemlərdə düşünün. Onlar bütün dövrü görürlər: daxil olan məlumatlar, çıxan qərarlar, izlənilə bilən hər şey.

  • Əvvəlcə sehrin arxasınca düşməyin. Mürəkkəbliyi üst-üstə qoymazdan əvvəl əsas məqamlar və sadə yoxlamalar.

  • Rəylərdə bişirin. Yenidən təlim və geri qayıtma əlavə deyil, onlar dizaynın bir hissəsidir.

  • Hər şeyi yazın. Güzəştlər, fərziyyələr, məhdudiyyətlər - darıxdırıcıdır, amma sonra qızıl olacaq.

  • Məsuliyyətli süni intellektlə ciddi davranın. Risklər nikbinliklə yox olmur, onlar qeydə alınır və idarə olunur.

Mini-hekayə: Bir dəstək qrupu axmaq qaydalar + axtarış bazası ilə başladı. Bu, onlara aydın qəbul testləri verdi, buna görə də sonradan böyük bir modeli dəyişdirdikdə təmiz müqayisələr apardılar və səhv hərəkət etdikdə asanlıqla geri çəkildilər.

Həyat dövrü: dağınıq reallıq və səliqəli diaqramlar 🔁

  1. Problemi çərçivəyə salın. Məqsədləri, tapşırıqları və "kifayət qədər yaxşı" anlayışının necə göründüyünü müəyyənləşdirin.

  2. Məlumatları işləyin. Təmizləyin, etiketləyin, bölün, versiyanı yoxlayın. Sxem dəyişikliyini aşkar etmək üçün sonsuza qədər yoxlayın.

  3. Model təcrübələri. Sadə sınaqları sınayın, əsas xətləri sınaqdan keçirin, təkrarlayın, sənədləşdirin.

  4. Göndərin. CI/CD/CT boru kəmərləri, təhlükəsiz yerləşdirmələr, kanareykalar, geri çəkilmələr.

  5. Diqqətli olun. Dəqiqliyi, gecikməni, sürüşməni, ədalətliliyi, istifadəçi nəticələrini izləyin. Sonra yenidən təlim keçin.

Slaydda bu, səliqəli bir dairəyə bənzəyir. Praktikada isə bu, daha çox spagetti ilə süpürgəni jonqlyorluq etməyə bənzəyir.

Rezin yola dəyəndə məsuliyyətli süni intellekt 🧭

Söhbət gözəl sürüşmə göyərtələrindən getmir. Mühəndislər riski reallaşdırmaq üçün çərçivələrə güvənirlər:

  • NIST AI RMF, dizayn və yerləşdirmə arasında riskləri aşkar etmək, ölçmək və idarə etmək üçün bir struktur təmin edir [1].

  • OECD Prinsipləri daha çox kompas kimi hərəkət edir - bir çox təşkilatın ümumi qaydalara uyğunlaşması [2].

Bir çox komanda həmçinin bu həyat dövrlərinə uyğunlaşdırılmış öz yoxlama siyahılarını (məxfilik icmalları, insan-döngə qapıları) yaradır.

İstəyə bağlı olmayan sənədlər: Model Kartları və Məlumat Cədvəlləri 📝

Daha sonra özünüzə təşəkkür edəcəyiniz iki sənəd:

  • Model Kartları → nəzərdə tutulan istifadəni, qiymətləndirmə kontekstlərini və xəbərdarlıqları aydın şəkildə izah edir. Məhsul/hüquqi şəxslərin də izləyə bilməsi üçün yazılıb [3].

  • Məlumat Dəstləri üçün Məlumat Vərəqləri → məlumatların niyə mövcud olduğunu, tərkibində nə olduğunu, mümkün qərəzlilikləri və təhlükəsiz və ya təhlükəli olmayan istifadələri izah edin [4].

Gələcəkdə siz (və gələcək komanda yoldaşlarınız) onları yazdığınız üçün səssizcə sizə "beş əl" atacaqsınız.

Dərin araşdırma: məlumat boru kəmərləri, müqavilələr və versiyalaşdırma 🧹📦

Məlumatlar nizamsız hala düşür. Ağıllı süni intellekt mühəndisləri müqavilələri tətbiq edir, çekləri doldurur və versiyaları koda bağlı saxlayırlar ki, sonradan geri çəkə biləsiniz.

  • Doğrulama → sxemi, diapazonları, təzəliyi kodlaşdırın; sənədləri avtomatik olaraq yaradın.

  • Versiyalaşdırma → Git commit-ləri ilə verilənlər dəstlərini və modelləri sıralayın, beləliklə etibar edə biləcəyiniz bir dəyişiklik jurnalınız var.

Kiçik bir nümunə: Bir pərakəndə satıcı, təchizatçıların nulllarla dolu lentlərini bloklamaq üçün sxem yoxlamalarını gizlətdi. Müştərilər bunu hiss etməzdən əvvəl həmin tək tripwire geri çağırış@k-də təkrarlanan azalmaların qarşısını aldı.

Dərin dalış: göndərmə və miqyaslama 🚢

Modelin prod-da işləməsi yalnız model.fit() funksiyası . Buradakı alətlər panelinə aşağıdakılar daxildir:

  • Ardıcıl qablaşdırma üçün Docker

  • Orkestrləşdirmə, miqyaslama və təhlükəsiz yayım üçün Kubernetes

  • MLOps çərçivələri , A/B bölünmələri, kənarlaşmaların aşkarlanması.

Pərdənin arxasında sağlamlıq yoxlamaları, izləmə, CPU və GPU cədvəli, fasiləsiz tənzimləmə var. Cazibədar deyil, mütləq vacibdir.

Dərin dalış: GenAI sistemləri və RAG 🧠📚

Generativ sistemlər başqa bir dönüş nöqtəsi gətirir - bərpa topraklaması.

  • Sürətlə oxşarlıq axtarışları üçün yerləşdirmələr + vektor axtarışı

  • Zəncirvari axtarış, alət istifadəsi, sonrakı emal üçün orkestr

Parçalama, yenidən sıralama, qiymətləndirmə seçimləri - bu kiçik zənglər yöndəmsiz bir chatbot və ya faydalı bir pilot əldə etməyinizə qərar verir.

Bacarıqlar və alətlər: yığında əslində nə var 🧰

Klassik ML və dərin öyrənmə avadanlıqlarının qarışığı:

  • Çərçivələr: PyTorch, TensorFlow, scikit-learn.

  • Boru kəmərləri: Planlaşdırılmış işlər üçün hava axını və s.

  • İstehsal: Docker, K8s, xidmət çərçivələri.

  • Müşahidə olunma: drift monitorları, gecikmə izləyiciləri, ədalət yoxlamaları.

hər şeydən istifadə etmir . Hiylə ondadır ki, həyat dövrü ərzində məntiqli şəkildə düşünmək üçün kifayət qədər məlumatlı olasınız.

Alətlər cədvəli: mühəndislərin əslində nəyə can atdıqları 🧪

Alət Tamaşaçı Qiymət Niyə əlverişlidir
PyTorch Tədqiqatçılar, mühəndislər Açıq mənbə Çevik, pitonik, böyük bir icma, xüsusi şəbəkələr.
TensorFlow Məhsula əsaslanan komandalar Açıq mənbə Ekosistem dərinliyi, TF Servis və yerləşdirmələr üçün Lite.
scikit-öyrənmək Klassik ML istifadəçiləri Açıq mənbə Əla əsas xətlər, səliqəli API, əvvəlcədən emal.
MLflow Çoxsaylı təcrübələri olan komandalar Açıq mənbə Qaçışları, modelləri və artefaktları mütəşəkkil saxlayır.
Hava axını Boru kəməri işçiləri Açıq mənbə DAG-lar, cədvəlləmə, müşahidə qabiliyyəti kifayət qədər yaxşıdır.
Docker Əsasən hər kəs Pulsuz nüvə Eyni mühit (əsasən). "Yalnız noutbukumda işləyir" davaları daha azdır.
Kubernetes İnfraqırmızı komandalar Açıq mənbə Avtomatik miqyaslama, tətbiqlər, müəssisə səviyyəli əzələ.
K8-lərdə xidmət edən model K8s model istifadəçiləri Açıq mənbə Standart porsiya, sürüşmə qarmaqları, miqyaslana bilər.
Vektor axtarış kitabxanaları RAG qurucuları Açıq mənbə Sürətli oxşarlıq, GPU dostu.
İdarə olunan vektor mağazaları Müəssisə RAG komandaları Ödənişli səviyyələr Serversiz indekslər, filtrləmə, miqyasda etibarlılıq.

Bəli, ifadələr qeyri-bərabər hiss olunur. Alət seçimləri adətən qeyri-bərabərdir.

Rəqəmlərdə boğulmadan uğuru ölçmək 📏

Əhəmiyyətli olan ölçülər kontekstdən asılıdır, lakin adətən aşağıdakıların qarışığı olur:

  • Proqnoz keyfiyyəti: dəqiqlik, xatırlama, F1, kalibrləmə.

  • Sistem + istifadəçi: gecikmə, p95/p99, konversiya artımı, tamamlama nisbətləri.

  • Ədalət göstəriciləri: bərabərlik, fərqli təsir - diqqətlə istifadə olunur [1][2].

Metriklər kompromisləri üzə çıxarmaq üçün mövcuddur. Əgər yoxdursa, onları dəyişdirin.

Əməkdaşlıq nümunələri: bu komanda idman növüdür 🧑🤝🧑

Süni intellekt mühəndisləri adətən aşağıdakılarla kəsişmədə otururlar:

  • Məhsul və domen işçiləri (uğuru təyin edin, maneələr).

  • Məlumat mühəndisləri (mənbələr, sxemlər, SLA-lar).

  • Təhlükəsizlik/hüquqi (məxfilik, uyğunluq).

  • Dizayn/tədqiqat (istifadəçi testi, xüsusən də GenAI üçün).

  • Əməliyyatlar/SRE (iş vaxtı və yanğın təlimləri).

Ağ lövhələrdə cızma-qara və ara sıra qızğın metrik müzakirələr gözlənilir - bu, sağlamlığa faydalıdır.

Tələlər: texniki borc bataqlığı 🧨

ML sistemləri gizli borcları cəlb edir: dolaşıq konfiqurasiyalar, kövrək asılılıqlar, unudulmuş yapışqan skriptlər. Mütəxəssislər bataqlıq böyüməzdən əvvəl qoruyucu barmaqlıqlar - məlumat testləri, tipli konfiqurasiyalar, geri qaytarmalar quraşdırırlar. [5]

Sağlamlığı qoruyanlar: kömək edən təcrübələr 📚

  • Kiçikdən başlayın. Modelləri mürəkkəbləşdirməzdən əvvəl boru kəmərinin işlədiyini sübut edin.

  • MLOps boru kəmərləri. Məlumatlar/modellər üçün CI, xidmətlər üçün CD, yenidən hazırlıq üçün CT.

  • Məsuliyyətli süni intellekt yoxlama siyahıları. Model Kartları və Məlumat Cədvəlləri [1][3][4] kimi sənədlərlə təşkilatınıza uyğunlaşdırılmışdır.

Tez-tez verilən sualların təkrarı: bir cümləlik cavab 🥡

Süni intellekt mühəndisləri faydalı, sınaqdan keçirilə bilən, yerləşdirilə bilən və qismən təhlükəsiz olan kompleks sistemlər qururlar və heç kimin xəbərsiz qalmaması üçün güzəştləri açıq şəkildə edirlər.

TL;DR 🎯

  • Onlar qeyri-səlis problemləri → etibarlı süni intellekt sistemlərini məlumat işi, modelləşdirmə, MLOps və monitorinq vasitəsilə götürürlər.

  • Ən yaxşıları əvvəlcə sadə saxlamalı, amansızcasına ölçməli və fərziyyələri sənədləşdirməlidirlər.

  • İstehsal süni intellekt = boru kəmərləri + prinsiplər (İ/İ/İ/İ, lazım olduqda ədalət, risk düşüncəsi).

  • Alətlər sadəcə alətdir. Qatar → dəmir yolu → xidmət → müşahidə etmək üçün sizə lazım olan minimumdan istifadə edin.

İstinad linkləri

  1. NIST AI RMF (1.0). Link

  2. OECD Süni İntellekt Prinsipləri. Link

  3. Model Kartlar (Mitchell və digərləri, 2019). Link

  4. Məlumat Dəstləri üçün Məlumat Vərəqləri (Gebru və digərləri, 2018/2021). Link

  5. Gizli Texniki Borc (Sculley və digərləri, 2015). Link

Ən son süni intellekt texnologiyalarını rəsmi süni intellekt köməkçisi mağazasında tapın

Haqqımızda

Bloqa qayıt