Süni intellekt məlumat mühəndislərini əvəz edəcəkmi?

Qısa cavab: Süni intellekt məlumat mühəndislərini tamamilə əvəz etməyəcək; o, SQL tərtibatı, boru kəməri iskalaları, testlər və sənədləşdirmə kimi təkrarlanan işləri avtomatlaşdıracaq. Əgər rolunuz əsasən az sahibkarlıq tələb edən, bilet əsaslı işdirsə, bu, daha çox açıqdır; əgər etibarlılığa, təriflərə, idarəetməyə və hadisələrə cavab verməyə sahibsinizsə, süni intellekt əsasən sizi daha sürətli edir.

Əsas nəticələr:

Mülkiyyət: Yalnız tez bir zamanda kod yaratmaq üçün deyil, nəticələr üçün məsuliyyətə üstünlük verin.

Keyfiyyət: Boru kəmərlərinin etibarlı qalması üçün sınaqlar, müşahidə qabiliyyəti və müqavilələr.

İdarəetmə: Məxfilik, giriş nəzarəti, saxlama və audit izlərini insanlara məxsus şəkildə saxlayın.

Sui-istifadəyə qarşı müqavimət: Süni intellekt çıxışlarını qaralama kimi qəbul edin; inamlı səhvlərin qarşısını almaq üçün onları nəzərdən keçirin.

Rol dəyişikliyi: Şablon yazmağa daha az vaxt sərf edin və davamlı sistemlərin dizaynına daha çox vaxt ayırın.

Əgər məlumat qrupları ilə beş dəqiqədən çox vaxt keçirmisinizsə, bəzən pıçıldanan, bəzən də süjet xətti kimi iclasda səslənən nəqarəti eşitmisiniz: Süni intellekt Məlumat Mühəndislərini əvəz edəcəkmi?

Və... başa düşürəm. Süni intellekt SQL yarada, boru kəmərləri qura, yığın izlərini izah edə, dbt modellərini tərtib edə, hətta anbar sxemlərini narahatedici bir inamla təklif edə bilər. SQL üçün GitHub Copilot dbt modelləri haqqında GitHub Copilot
Forkliftin jonqlyorluq etməyi öyrəndiyini izləmək kimi bir hissdir. Təsirli, bir az həyəcanverici və bunun sizin işiniz üçün nə demək olduğunu tam olaraq bilmirsiniz 😅

Amma həqiqət başlıqdan daha az səliqəlidir. Süni intellekt məlumat mühəndisliyini tamamilə dəyişdirir. Darıxdırıcı, təkrarlana bilən hissələri avtomatlaşdırır. "Nə istədiyimi bilirəm, amma sintaksisi xatırlaya bilmirəm" anlarını sürətləndirir. Həmçinin tamamilə yeni növ xaos yaradır.

Gəlin hər şeyi düzgün şəkildə, nikbinlik və ya panikaya qapılmadan izah edək.

Bundan sonra oxumaq istəyə biləcəyiniz məqalələr:

🔗 Süni intellekt radioloqları əvəz edəcəkmi?
Süni intellekt görüntüləmə iş axınını, dəqiqliyi və gələcək rolları necə dəyişir.

🔗 Süni intellekt mühasibləri əvəz edəcəkmi?
Süni intellekt hansı mühasibat tapşırıqlarını avtomatlaşdırdığına və hansılarının insan tərəfindən idarə olunduğuna baxın.

🔗 Süni intellekt investisiya bankirlərini əvəz edəcəkmi?
Süni intellektin sövdələşmələrə, tədqiqatlara və müştəri münasibətlərinə təsirini anlayın.

🔗 Süni intellekt sığorta agentlərini əvəz edəcəkmi?
Süni intellekt anderraytinqi, satışları və müştəri dəstəyini necə dəyişdirdiyini öyrənin.

---

Niyə "Süni intellekt Məlumat Mühəndislərini Əvəz Edir" sualı yenidən ortaya çıxır 😬

Qorxu çox spesifik bir yerdən gəlir: məlumat mühəndisliyinin təkrarlana bilən çoxlu işi var.

• SQL yazmaq və refaktorinq etmək

• Qəbul skriptlərinin qurulması

• Sahələrin bir sxemdən digərinə xəritələşdirilməsi

• Testlərin və əsas sənədlərin yaradılması

• ... bir növ proqnozlaşdırıla bilən boru kəməri nasazlıqlarının aradan qaldırılması

Süni intellekt təkrarlana bilən nümunələrdə qeyri-adi dərəcədə yaxşıdır. Məlumat mühəndisliyinin bir hissəsi də məhz budur - nümunələrin üzərinə yığılması. GitHub Copilot kod təklifləri

Həmçinin, alətlər ekosistemi artıq mürəkkəbliyi "gizlədir":

• İdarə olunan ELT konnektorları Fivetran sənədləri

• Serversiz hesablama AWS Lambda (serversiz hesablama)

• Bir kliklə anbar təminatı

• Avtomatik miqyaslama orkestrasiyası Apache Airflow sənədləri

• Deklarativ transformasiya çərçivələri dbt nədir?

Beləliklə, süni intellekt ortaya çıxdıqda, sonuncu hissə kimi hiss oluna bilər. Əgər yığın artıq abstraksiya olunubsa və süni intellekt yapışqan kodunu yaza bilirsə... nə qalır? 🤷

Amma insanların diqqət yetirmədiyi bir şey var: məlumat mühəndisliyi əsasən yazmaq deyil. Yazmaq asan hissədir. Çətin hissə isə qeyri-müəyyən, siyasi və dəyişkən biznes reallığını etibarlı bir sistem kimi aparmaqdır.

Və süni intellekt hələ də bu qaranlıqla mübarizə aparır. İnsanlar da çətinlik çəkirlər - sadəcə daha yaxşı improvizasiya edirlər.

---

Məlumat mühəndislərinin bütün günü əslində nə etdikləri (gözəgörünməz həqiqət) 🧱

Açıq danışaq - "Məlumat Mühəndisi" vəzifəsi sanki təmiz riyaziyyatdan raket mühərrikləri qurursunuz kimi səslənir. Praktikada isə etibar.

Tipik bir gün daha az "yeni alqoritmlər icad etmək" və daha çox şeydir:

• Məlumatların tərifləri ilə bağlı yuxarı qruplarla danışıqlar aparmaq (ağrılı, lakin zəruri)

• Bir metrikanın niyə dəyişdiyini (və gerçək olub olmadığını) araşdırmaq

• Sxem dəyişikliyi və "gecə yarısı kimsə sütun əlavə etdi" sürprizlərinin idarə edilməsi

• Boru kəmərlərinin idempotent, bərpa edilə bilən və müşahidə edilə bilən olmasının təmin edilməsi

• Aşağı axın analitiklərinin təsadüfən mənasız tablolar qurmaması üçün maneələr yaratmaq

• Anbarınızın pul tonqalına çevrilməməsi üçün xərclərin idarə olunması 🔥

• Girişin təmin edilməsi, audit, uyğunluq, saxlama siyasətləri GDPR prinsipləri (Avropa Komissiyası) Saxlama məhdudiyyəti (ICO)

• İnsanların sizə DM göndərmədən istifadə edə biləcəyi məlumat məhsullarının yaradılması 20 sual

İşin böyük bir hissəsi sosial və əməliyyat xarakterlidir:

• "Bu masanın sahibi kimdir?"

• "Bu tərif hələ də qüvvədədirmi?"

• "CRM niyə dublikatları ixrac edir?"

• “Bu metrikanı rəhbərliyə xəcalət çəkmədən göndərə bilərikmi?” 😭

Əlbəttə ki, süni intellekt bunun bəzi hissələrində kömək edə bilər. Amma onu tamamilə əvəz etmək... bir çətinlikdir.

---

Məlumat mühəndisliyi rolunun güclü versiyasını nə təşkil edir? ✅

Bu bölmə vacibdir, çünki əvəzetmə söhbəti adətən məlumat mühəndislərinin əsasən "boru kəməri inşaatçıları" olduğunu fərz edir. Bu, aşpazların əsasən "tərəvəz doğradığını" fərz etmək kimidir. Bu, işin bir hissəsidir, amma iş deyil.

Məlumat mühəndisinin güclü versiyası adətən bunların əksəriyyətini edə biləcəyi deməkdir:

• Dəyişiklik üçün dizayn
  Məlumatlar dəyişir. Komandalar dəyişir. Alətlər dəyişir. Yaxşı bir mühəndis reallıq hər dəfə asqırdıqda çökməyən sistemlər qurur 🤧

• Müqavilələri və gözləntiləri müəyyənləşdirin
  “Müştəri” nə deməkdir? “Aktiv” nə deməkdir? Sıra gec çatdıqda nə baş verir? Müqavilələr xaosun qarşısını bəzəkli kodlardan daha çox alır. Açıq Məlumat Müqaviləsi Standartı (ODCS) ODCS (GitHub)

• Hər şeyə müşahidə qabiliyyətini
  təkcə "işlədi" deyil, həm də "düzgün işlədi" anlayışını daxil edin. Təravət, həcm anomaliyaları, sıfır partlayışları, paylanma dəyişiklikləri. Məlumatların müşahidə qabiliyyəti (Dynatrace) Məlumatların müşahidə qabiliyyəti nədir?

• Yetkin kimi kompromislər edin.
  Sürət və düzgünlük, xərc və gecikmə, rahatlıq və sadəlik. Mükəmməl bir boru kəməri yoxdur, yalnız yaşaya biləcəyiniz boru kəmərləri var.

• Biznes ehtiyaclarını davamlı sistemlərə çevirin.
  İnsanlar metriklər istəyirlər, amma onlara lazım olan şey məlumat məhsuludur. Süni intellekt kodu hazırlaya bilər, amma biznes minalarını sehrli şəkildə bilə bilməz.

• Məlumatları gizli saxlayın
  Məlumat platforması üçün ən yüksək tərif, heç kimin bu barədə danışmamasıdır. Hadisəsiz məlumatlar yaxşı məlumatlardır. Santexnika kimi. Yalnız sıradan çıxdıqda fərq edirsiniz 🚽

Əgər siz bunları edirsinizsə, "Süni intellekt Məlumat Mühəndislərini əvəz edəcəkmi?" sualı bir az qəribə səslənməyə başlayır... Süni intellekt mülkiyyəti deyil, tapşırıqları əvəz edə bilər .

---

Süni intellekt artıq məlumat mühəndislərinə kömək edir (və bu, həqiqətən də əladır) 🤖✨

Süni intellekt sadəcə marketinq deyil. Yaxşı istifadə edildikdə, o, qanuni bir güc artırıcısıdır.

1) Daha sürətli SQL və transformasiya işləri

• Kompleks birləşmələrin çəkilməsi

• Düşünməmək istədiyiniz pəncərə funksiyalarını yazmaq

• Sadə dil məntiqini sorğu skeletlərinə çevirmək

• Çirkin sorğuların oxunaqlı CTE-lərə yenidən qurulması GitHub Copilot for SQL

Bu, çox böyük bir amildir, çünki "boş səhifə" effektini azaldır. Yenə də təsdiqləməlisiniz, amma 0% əvəzinə 70%-dən başlayırsınız.

2) Xətaların aradan qaldırılması və kök səbəblərinin aradan qaldırılması

Süni intellekt aşağıdakılarda yaxşıdır:

• Səhv mesajlarının izahı

• Hara baxmaq lazım olduğunu təklif edir

• “Sxemin uyğunsuzluğunu yoxlayın” tipli addımlar tövsiyə olunur GitHub Copilot
  Bu, heç vaxt yatmayan və bəzən inamla yalan danışan yorulmaz gənc mühəndisə sahib olmaq kimidir 😅

3) Sənədləşmə və məlumat kataloqunun zənginləşdirilməsi

Avtomatik yaradılan:

• Sütun təsvirləri

• Model xülasələri

• Nəsil izahları

• “Bu cədvəl nə üçün istifadə olunur?” dbt sənədlərinin

Mükəmməl deyil, amma sənədsiz boru kəmərlərinin lənətini aradan qaldırır.

4) İskelelərin sınaqdan keçirilməsi və yoxlanılması

Süni intellekt təklif edə bilər:

• Əsas sıfır testləri

• Unikallıq yoxlamaları

• Referans bütövlüyü ideyaları

• “Bu metrik heç vaxt azalmamalıdır” stilində dbt məlumat testləri Böyük Gözləmələr: Gözləmələr

Yenə də nəyin vacib olduğuna qərar verirsiniz, amma bu, adi hissələri sürətləndirir.

5) Boru kəmərinin "yapışqan" kodu

Konfiqurasiya şablonları, YAML iskeleləri, orkestrasiya DAG qaralamaları. Bu şeylər təkrarlanır və süni intellekt səhər yeməyində təkrarlanan yeməklər yeyir 🥣 Apache Airflow DAG-ları

---

Süni intellekt hələ də mübarizə aparır (və bu, onun əsasını təşkil edir) 🧠🧩

Ən vacib olan hissə budur, çünki əvəzetmə sualına əsl tekstura ilə cavab verir.

1) Qeyri-müəyyənlik və dəyişən təriflər

Biznes məntiqi nadir hallarda dəqiq olur. İnsanlar cümlənin ortasında fikirlərini dəyişirlər. “Aktiv istifadəçi” “aktiv ödənişli istifadəçi” olur və “bəzən ödənişlər istisna olmaqla, geri ödəmələr istisna olmaqla, aktiv ödənişli istifadəçi” olur... necə olduğunu bilirsiniz.

Süni intellekt bu qeyri-müəyyənliyə sahib çıxa bilməz. O, yalnız təxmin edə bilər.

2) Hesabatlılıq və risk

Boru kəməri qırıldıqda və icraçı idarəetmə paneli cəfəngiyat göstərdikdə, kimsə aşağıdakıları etməlidir:

• triaj

• təsirini çatdırmaq

• düzəlt

• təkrarlanmanın qarşısını almaq

• ölümdən sonrakı dövrü yazın

• biznesin ötən həftənin rəqəmlərinə hələ də etibar edib-etməyəcəyinə qərar verin

Süni intellekt kömək edə bilər, amma mənalı şəkildə hesabat verə bilməz. Təşkilatlar enerji ilə deyil, məsuliyyətlə fəaliyyət göstərirlər.

3) Sistemli düşüncə

Məlumat platformaları ekosistemlərdir: qəbul, saxlama, transformasiyalar, orkestrləşdirmə, idarəetmə, xərc nəzarəti, SLA-lar. Bir qatlı dalğalanmalarda dəyişiklik. Apache Airflow konsepsiyaları

Süni intellekt qlobal ağrı yaradan yerli optimallaşdırmalar təklif edə bilər. Bu, qapını çıxarmaqla cırıltılı bir qapını düzəltməyə bənzəyir 😬

4) Təhlükəsizlik, məxfilik, uyğunluq

Əvəzedici fantaziyaların öldüyü yer budur.

• Giriş nəzarətləri

• Sətir səviyyəli təhlükəsizlik Snowflake sətir giriş siyasətləri BigQuery sətir səviyyəli təhlükəsizlik

• PII NIST Məxfilik Çərçivəsi

• Saxlama qaydaları Saxlama məhdudiyyəti (ICO) Saxlama ilə bağlı AB təlimatı

• Audit yolları NIST SP 800-92 (qeydiyyatın idarə olunması) CIS Control 8 (Audit Qeydiyyatının İdarə Edilməsi)

• Məlumat rezidenturası məhdudiyyətləri

Süni intellekt siyasətlər hazırlaya bilər, lakin onların təhlükəsiz şəkildə həyata keçirilməsi əsl mühəndislikdir.

5) “Naməlum naməlumlar”

Məlumat hadisələri çox vaxt gözlənilməzdir:

• Satıcı API-si semantikanı səssizcə dəyişdirir

• Saat qurşağı fərziyyəsi dəyişir

• Arxa doldurma bölməni təkrarlayır

• Təkrar cəhd mexanizmi ikiqat yazmalara səbəb olur

• Yeni məhsul xüsusiyyəti yeni tədbir nümunələrini təqdim edir

Vəziyyət məlum bir model olmadığı zaman süni intellekt daha zəif olur.

---

Müqayisə Cədvəli: praktikada nəyi azaldır 🧾🤔

Aşağıda praktik bir baxış var. “İnsanları əvəz edən alətlər” deyil, müəyyən vəzifələri kiçildən alətlər və yanaşmalar.

Alət / yanaşma	Tamaşaçı	Qiymət abu-havası	Niyə işləyir
Süni intellekt kod kopilotları (SQL + Python köməkçiləri) GitHub Kopilot	Çoxlu kod yazan mühəndislər	Pulsuzdan pulluya qədər	İskele, refaktorlar, sintaksisdə əladır... bəzən çox spesifik şəkildə lovğalanır
İdarə olunan ELT konnektorları Fivetran	Komandalar udma qabiliyyətini artırmaqdan beziblər	Abunəlik-y	Xüsusi udma ağrısını aradan qaldırır, lakin əyləncəli yeni yollarla pozur
Məlumatların müşahidə platformaları Məlumatların müşahidəsi (Dynatrace)	SLA-lara sahib olan hər kəs	Orta müəssisəyə	Boru kəmərləri üçün tüstü siqnalizasiyaları kimi anomaliyaları erkən aşkarlayır 🔔
Transformasiya çərçivələri (deklarativ modelləşdirmə) dbt	Analitika + DE hibridləri	Adətən alət + hesablama	Məntiqi modulyar və sınaqdan keçirilə bilən, daha az spagetti edən edir
Məlumat kataloqları + semantik təbəqələr dbt Semantik təbəqə	Metrik qarışıqlığı olan orqanlar	Praktikada asılıdır	"Həqiqəti" bir dəfə təyin edir - sonsuz metrik mübahisələri azaldır
Şablonlarla orkestrləşdirmə Apache Airflow	Platformaya yönəlmiş komandalar	Açıq + əməliyyat dəyəri	İş axınlarını standartlaşdırır; daha az qar dənəciyi DAG-ları
Süni intellektlə dəstəklənən sənədləşmə dbt sənədlərinin yaradılması	Sənədlər yazmaqdan nifrət edən komandalar	Ucuzdan orta səviyyəyə	Biliklərin yox olmaması üçün "kifayət qədər yaxşı" sənəd hazırlayır
Avtomatlaşdırılmış idarəetmə siyasətləri NIST Məxfilik Çərçivəsi	Tənzimlənən mühitlər	Müəssisə-y	Qaydaların tətbiqinə kömək edir - lakin qaydaları tərtib etmək üçün yenə də insanlara ehtiyac duyur

Nəyin çatışmadığına diqqət yetirin: "məlumat mühəndislərini silmək üçün düyməni basın" yazısı olan bir sətir. Bəli... həmin sətir mövcud deyil 🙃

---

Beləliklə... süni intellekt Məlumat Mühəndislərini əvəz edəcək, yoxsa sadəcə rolu dəyişdirəcək? 🛠️

Budur, dramatik olmayan cavab: Süni intellekt peşəni deyil, iş axınının bəzi hissələrini əvəz edəcək.

Amma bu, edəcək . Və bunu görməməzlikdən gəlsəniz, sıxıntını hiss edəcəksiniz.

Nə dəyişir:

• Daha az vaxt yazmaq üçün şablon

• Sənədləri axtarmağa daha az vaxt

• Baxış, təsdiq və dizayn üçün daha çox vaxt

• Müqavilələri və keyfiyyət gözləntilərini müəyyənləşdirmək üçün daha çox vaxt Açıq Məlumat Müqaviləsi Standartı (ODCS)

• Məhsul, təhlükəsizlik və maliyyə ilə əməkdaşlıq etmək üçün daha çox vaxt

Bu, incə bir dəyişiklikdir: məlumat mühəndisliyi "boru kəmərlərinin qurulması"ndan daha az "etibarlı məlumat məhsulu sistemi"nin qurulmasına" çevrilir

Və sakit bir şəkildə, bu, daha dəyərlidir, az deyil.

Həmçinin - və bunu dramatik səslənsə belə deyəcəyəm - süni intellekt məlumat artefaktları yarada bilən insanların sayını artırırki, bu da hər şeyi sağlam saxlamaq üçün kiminsə ehtiyacını artırır. Daha çox məhsul daha çox potensial qarışıqlıq deməkdir. GitHub Copilot

Bu, sanki hər kəsə elektrikli qazma vermək kimidir. Əla! İndi kimsə "xahiş edirəm su borusuna qazma" qaydasını tətbiq etməlidir 🪠

---

Dəyərli qalan yeni bacarıq dəsti (hər yerdə süni intellekt olsa belə) 🧠⚙️

Əgər praktik "gələcəyə davamlı" yoxlama siyahısı istəyirsinizsə, bu belə görünür:

Sistem dizayn düşüncə tərzi

• Dəyişikliklərə tab gətirən məlumat modelləşdirməsi

• Toplu və yayım kompromisləri

• Gecikmə, xərc, etibarlılıq düşüncəsi

Məlumat keyfiyyəti mühəndisliyi

• Müqavilələr, təsdiqləmələr, anomaliya aşkarlanması Açıq Məlumat Müqaviləsi Standartı (ODCS) Məlumatların müşahidə oluna bilməsi (Dynatrace)

• SLA-lar, SLO-lar, insidentlərə cavab vermə vərdişləri

• Əsas səbəb təhlili intizamla (təsirli deyil)

İdarəetmə və etibar memarlığı

• Giriş nümunələri

• Audit qabiliyyəti NIST SP 800-92 (qeydiyyatın idarə edilməsi)

• Dizaynla Məxfilik NIST Məxfilik Çərçivəsi

• Məlumatların həyat dövrünün idarə edilməsi Saxlama üzrə AB rəhbərliyi

Platforma düşüncəsi

• Yenidən istifadə edilə bilən şablonlar, qızıl yollar

• Qəbul, transformasiya və sınaq üçün standartlaşdırılmış nümunələr Fivetran dbt məlumat testləri

• Əriməyən özünəxidmət alətləri

Ünsiyyət (bəli, həqiqətən)

• Aydın sənədlərin yazılması

• Təriflərin uyğunlaşdırılması

• Nəzakətlə, lakin qətiyyətlə "yox" demək

• Robot kimi səslənmədən güzəştləri izah etmək 🤖

Əgər bunları edə bilsəniz, “Süni intellekt Məlumat Mühəndislərini əvəz edəcəkmi?” sualı daha az təhlükəli hala gəlir. Süni intellekt sizin əvəzediciniz deyil, ekzoskeletiniz olur.

---

Bəzi məlumat mühəndisliyi rollarının kiçildiyi real ssenarilər 📉

Yaxşı, tez bir zamanda reallığı yoxlayın, çünki hamısı günəş işığı və emoji konfeti deyil 🎉

Bəzi rollar daha çox açıqdır:

• Hər şeyin standart konnektorlar olduğu təmiz qəbul rolları Fivetran konnektorları

• Komandalar, minimal domen nüansları ilə əsasən təkrarlanan hesabat boru kəmərləri ilə işləyirlər

• Məlumat mühəndisliyinin "SQL meymunları" kimi qəbul edildiyi təşkilatlar (sərt, lakin doğrudur)

• İşin sadəcə biletlər və kopyalama-yapışdırma olduğu aşağı sahibkarlıq rolları

Süni intellekt və idarə olunan alətlər bu ehtiyacları azalda bilər.

Amma hətta orada belə, əvəzetmə adətən belə görünür:

• Eyni təkrarlanan işi görən insanların sayı azalır

• Platforma mülkiyyətinə və etibarlılığına daha çox diqqət yetirilir

• "Bir nəfər daha çox boru kəmərini dəstəkləyə bilər" istiqamətində dəyişiklik

Bəli, işçi sayı dəyişə bilər. Rollar dəyişir. Titullarda dəyişiklik olur. Bu, reallıqdır.

Yenə də rolun yüksək mülkiyyətli və yüksək etibarlı versiyası qalmaqdadır.

---

Yekun xülasə 🧾✅

Süni intellekt Məlumat Mühəndislərini əvəz edəcəkmi? İnsanların təsəvvür etdiyi təmiz və tam şəkildə yox.

Süni intellekt:

• təkrarlanan tapşırıqları avtomatlaşdırmaq

• kodlaşdırmanı, ayıklamanı və sənədləşdirməni sürətləndirmək SQL dbt sənədləri üçün GitHub Copilot

• boru kəmərlərinin istehsalı xərclərini azaltmaq

Lakin məlumat mühəndisliyi əsasən aşağıdakılarla bağlıdır:

• məsuliyyət

• sistem dizaynı

• etibar, keyfiyyət və idarəetmə Açıq Məlumat Müqaviləsi Standartı (ODCS) NIST Məxfilik Çərçivəsi

• qeyri-müəyyən biznes reallığını etibarlı məlumat məhsullarına çevirmək

Süni intellekt buna kömək edə bilər... amma ona "sahib" deyil.

Əgər məlumat mühəndisisinizsə, bu addım çox sadədir (asan deyil, amma sadədir):
mülkiyyətə, keyfiyyətə, platforma düşüncəsinə və ünsiyyətə üstünlük verin. Əhəmiyyətli hissələri özünüz idarə edərkən süni intellekt əsas prinsipləri idarə etsin.

Bəli - bəzən bu, otaqdakı yetkin olmaq deməkdir. Cazibədar deyil. Amma səssizcə güclüdür 😄

Süni intellekt Məlumat Mühəndislərini əvəz edəcəkmi?
Bu, bəzi vəzifələri əvəz edəcək, karyera pilləkənlərini dəyişdirəcək və ən yaxşı məlumat mühəndislərini daha da dəyərli edəcək. Əsl hekayə budur.

Real dünya nümunəsi: Süni intellektlə dəstəklənən məlumat boru kəmərinin nəzərdən keçirilməsi iş axınının qurulması 🛠️

Ssenari

Bir məlumat mühəndisi, iki analitik və çox tanış bir problemi olan kiçik bir elektron ticarət şirkətini təsəvvür edin: ödəniş provayderi sahə adını dəyişdirdikdə maliyyə paneli daim sıradan çıxır.

Komanda süni intellektdən boru kəmərinə "sahib çıxmasını" istəmir. Bu, riskli olardı. Bunun əvəzinə, onlar süni intellektdən gündəlik, lakin vacib işlər üçün ilk layihə köməkçisi kimi istifadə edirlər: dbt model skeletləri yazmaq, testlər təklif etmək, sənədlərin hazırlanması və kod nəzərdən keçirilməsi üçün yoxlama siyahısı yaratmaq.

İnsan məlumat mühəndisi hələ də son dizayn, məlumat tərifləri, giriş qaydaları və istehsal yerləşdirməsinə sahibdir. Süni intellekt sadəcə mürəkkəb orta hissəni sürətləndirir.

İş axınının nəyə ehtiyacı var

Süni intellektdən istifadə etməzdən əvvəl, komanda ona faydalı olmaq üçün kifayət qədər kontekst təqdim edir:

• Mövcud ödəniş cədvəli sxemi

• “Xalis gəlir”, “geri qaytarılma məbləği” və “ödənişli ödəniş” kimi hədəf maliyyə metrik tərifləri

• dbt modelləri üçün adlandırma konvensiyaları

• Təsdiqlənmiş testlərin nümunələri

• Ödəniş lenti üçün qısa məlumat müqaviləsi

• Şəxsiyyət vəsiqəsi, uğursuz ödənişlər, dublikat və gecikmiş qeydlərin işlənməsi qaydaları

• Keçmiş hadisələrin nümunəsi, o cümlədən nəyin səhv getdiyi və necə düzəldildiyi

Əsas məsələ "süni intellektdən boru kəməri çəkməsini istəmək" deyil. Bu, çox qeyri-müəyyəndir.

Daha güclü yanaşma belədir: “Qaydalarımız, sxemimiz, gözlənilən davranışımız bunlardır. Nəzərdən keçirə biləcəyimiz bir şey hazırlayın.”

Nümunə təlimat

Ödəniş məlumatlarımız üçün dbt modelinin hazırlanmasına kömək edirsiniz. Birinci keçid modeli, təklif olunan dbt testləri və sənədləşmə qeydləri yaratmaq üçün aşağıdakı sxem və qaydalardan istifadə edin.

Model gündəlik ödənilmiş gəliri order_id və payment_provider vasitəsilə hesablamalıdır. Uğursuz ödənişləri istisna edin, test əməliyyatlarını istisna edin və geri ödəmələri yalnız refund_status = “confirmed” olduqda çıxın.

Sütunlar icad etməyin. Tələb olunan sütun yoxdursa, təxmin etmək əvəzinə, onu "İnsan tərəfindən nəzərdən keçirilə bilən suallar" bölməsində sadalayın.

Həmçinin unikallıq, sıfır dəyərlər, qəbul edilmiş dəyərlər və gəlirin ağlabatanlığı üçün testlər təklif edin. Maliyyə hesabatlarına təsir göstərə biləcək hər hansı bir məntiqi işarələyin.

Bunu necə sınaqdan keçirmək olar

Ağlabatan bir test kiçik və qəsdən adi bir şeydir:

• Süni intellekt üçün yaxşı bilinən bir ödəniş sxemi verin və sahələrin ixtira edilməsindən yayındığını yoxlayın.

• Ona refund_status sütunu olmayan bir sxem verin və təxmin etmək əvəzinə sual verib-vermədiyini görün.

• Yaradılmış SQL-i istehsala deyil, mərhələli verilənlər bazasına qarşı işlədin.

• Çıxışı əl ilə yoxlanılmış 20 ödəniş qeydi ilə müqayisə edin.

• Birləşdirmədən əvvəl analitikdən və məlumat mühəndisindən tərifləri nəzərdən keçirmələrini xahiş edin.

• Boru kəmərinin yerləşdirildikdən sonra özünü yoxlamağa davam etməsi üçün qəbul edilmiş testləri CI-yə əlavə edin.

Əhəmiyyətli olan, süni intellektdən ən çox qorxduğunuz uğursuzluq rejimlərində sınaqdan keçirməkdir: uydurma sütunlar, səhv gəlir məntiqi, geri ödəmələrin idarə olunmaması və səssiz təkrarlanan sətirlər.

Nəticə

Təsviredici nəticə: bu iş axınından istifadə etməzdən əvvəl və sonra üç nümunə boru kəməri dəyişdirmə tapşırığının vaxtına əsaslanır.

Süni intellektdən istifadə etməzdən əvvəl mühəndis hər dəyişiklik üçün təxminən 5 saat 30 dəqiqə sərf edirdi: təxminən 2 saat SQL yazmağa, 1 saat testlər yaratmağa, 45 dəqiqə sənədlər yazmağa və qalan vaxt maliyyə ilə bağlı kənar halları yoxlamağa.

Süni intellekt yalnız ilk layihələr üçün istifadə edildiyindən, eyni növ dəyişiklik təxminən 2 saat 10 dəqiqə çəkdi. Ən böyük qənaət sınaq iskala və sənədləşdirmə layihələri sayəsində əldə edildi və bu müddət 1 saat 45 dəqiqədən təxminən 25 dəqiqəyə düşdü.

İnsan tərəfindən nəzərdən keçirilmə mərhələsi hələ də təxminən 45 dəqiqə çəkdi və o, silinməməlidir.

Üç tapşırıqdan ibarət testdə süni intellekt 18 yoxlama təklif etdi. Mühəndis 11 yoxlamanı qəbul etdi, 5-ni redaktə etdi və 2-ni rədd etdi, çünki onlar doğru olmayan biznes qaydalarını qəbul etdilər. Bu rədd sayı vacibdir: bu, iş axınının kor-koranə etibara deyil, nəzərdən keçirilməyə ehtiyac duyduğunu sübut edir.

Nə səhv gedə bilər

Süni intellekt boru kəmərini olduğundan daha tam göstərə bilər.

Ümumi uğursuzluq nöqtələrinə aşağıdakılar daxildir:

• Etibarlı səslənən sütunlar icad etmək

• Geri ödəmələr, geri ödəmələr və uğursuz ödənişlər eyni şey kimi qəbul edilir

• Gündəlik gəlirdə vaxt qurşağı problemləri yoxdur

• Maliyyə səhvlərini aşkar etməyən ümumi testlər təklif etmək

• İnamlı səslənən, lakin qeyri-müəyyənliyi gizlədən sənədlərin yazılması

• Nümunə məlumatlarında müştəri məlumatları olduqda məxfilik qaydalarını unutmaq

Yaxşı bir qayda: Süni intellekt modeli hazırlaya bilər, lakin insan təriflər, pul məntiqi, giriş nəzarəti və istehsal buraxılışı ilə bağlı razılığa gəlməlidir.

Praktik yemək

Süni intellektin verilənlər mühəndisliyindəki dəyərli versiyası "verilənlər mühəndisini əvəz etmək" deyil, "boş səhifəni silmək, sonra diqqətlə nəzərdən keçirmək"dir.

Bu, daha sürətli SQL, daha sürətli testlər və daha yaxşı ilkin sənədləşmə deməkdir, mühəndis isə ən vacib hissəyə sahibdir: məlumatların düzgün, etibarlı, təhlükəsiz və izahlı olub-olmaması.

---

Tez-tez verilən suallar

Süni intellekt məlumat mühəndislərini tamamilə əvəz edəcəkmi?

Əksər təşkilatlarda süni intellekt rolu tamamilə silməkdənsə, konkret tapşırıqları öz üzərinə götürməyə daha çox meyllidir. Bu, SQL tərtibatını, boru kəmərinin inşasını, sənədlərin ilkin keçidlərini və əsas testlərin yaradılmasını sürətləndirə bilər. Lakin məlumat mühəndisliyi həm də mülkiyyət və hesabatlılığı, üstəlik, dağınıq biznes reallığını etibarlı bir sistem kimi aparmaq kimi xoşagəlməz işi də özündə birləşdirir. Bu hissələr hələ də insanların "düzgün"ün nəyə bənzədiyinə qərar verməsini və işlər pozulduqda məsuliyyəti öz üzərinə götürməsini tələb edir.

Süni intellekt artıq məlumat mühəndisliyinin hansı hissələrini avtomatlaşdırır?

Süni intellekt təkrarlana bilən işlərdə ən yaxşı nəticəni göstərir: SQL tərtib etmək və refaktorinq etmək, dbt model skeletlərini yaratmaq, ümumi səhvləri izah etmək və sənədləşmə konturlarını hazırlamaq. O, həmçinin null və ya unikallıq yoxlamaları kimi testləri qura və orkestrləşdirmə alətləri üçün şablon "yapışqan" kodu yarada bilər. Qazanc təkandır - işləyən bir həll yoluna yaxınlaşmağa başlayırsınız - amma yenə də düzgünlüyü yoxlamalı və mühitinizə uyğun olduğundan əmin olmalısınız.

Əgər süni intellekt SQL və boru kəmərləri yaza bilirsə, məlumat mühəndislərinə nə qalır?

Çox şey: məlumat müqavilələrinin müəyyən edilməsi, sxem sürüşməsinin idarə edilməsi və boru kəmərlərinin idempotent, müşahidə edilə bilən və bərpa edilə bilən olmasını təmin etmək. Məlumat mühəndisləri metrik dəyişikliklərini araşdırmağa, aşağı axın istifadəçiləri üçün maneələr qurmağa və xərc və etibarlılıq kompromislərini idarə etməyə vaxt sərf edirlər. İş çox vaxt etibar yaratmaq və məlumat platformasını "sakit" saxlamaqla bağlıdır, yəni heç kimin bu barədə gündəlik düşünməməsi üçün kifayət qədər sabitdir.

Süni intellekt məlumat mühəndisinin gündəlik işini necə dəyişir?

Adətən, bu, standart və "axtarış vaxtını" azaldır, beləliklə, siz yazmağa daha az vaxt sərf edirsiniz, nəzərdən keçirməyə, təsdiqləməyə və dizayn etməyə daha çox vaxt sərf edirsiniz. Bu dəyişiklik rolu hər şeyi əl ilə kodlaşdırmaqdansa, gözləntiləri, keyfiyyət standartlarını və təkrar istifadə edilə bilən nümunələri müəyyən etməyə yönəldir. Praktikada, çox güman ki, məhsul, təhlükəsizlik və maliyyə ilə daha çox tərəfdaşlıq işi görəcəksiniz - çünki texniki nəticəni yaratmaq daha asan olur, lakin idarə etmək çətinləşir.

Niyə süni intellekt "aktiv istifadəçi" kimi qeyri-müəyyən biznes tərifləri ilə mübarizə aparır?

Çünki biznes məntiqi statik və ya dəqiq deyil - layihənin ortasında dəyişir və maraqlı tərəflərə görə dəyişir. Süni intellekt təfsir hazırlaya bilər, lakin təriflər inkişaf etdikdə və ya ziddiyyətlər ortaya çıxdıqda qərara sahib ola bilməz. Məlumat mühəndisliyi tez-tez danışıqlar aparmağı, fərziyyələri sənədləşdirməyi və qeyri-səlis tələbləri davamlı müqavilələrə çevirməyi tələb edir. Bu "insan uyğunluğu" işi, alətlər təkmilləşdikcə belə, rolun yoxa çıxmamasının əsas səbəbidir.

Süni intellekt məlumatların idarə olunması, məxfilik və uyğunluq işlərini təhlükəsiz şəkildə idarə edə bilərmi?

Süni intellekt siyasətlərin hazırlanmasına və ya yanaşmaların təklif edilməsinə kömək edə bilər, lakin təhlükəsiz tətbiq yenə də real mühəndislik və diqqətli nəzarət tələb edir. İdarəetmə giriş nəzarəti, PII ilə işləmə, saxlama qaydaları, audit izləri və bəzən yaşayış məhdudiyyətlərini əhatə edir. Bunlar "demək olar ki, düzgün" ifadəsinin qəbul edilmədiyi yüksək riskli sahələrdir. İnsanlar qaydaları hazırlamalı, tətbiqi yoxlamalı və uyğunluq nəticələrinə görə məsuliyyət daşımalıdırlar.

Süni intellekt inkişaf etdikcə məlumat mühəndisləri üçün hansı bacarıqlar dəyərli olaraq qalır?

Sistemləri davamlı edən bacarıqlar: sistem dizayn düşüncəsi, məlumatların keyfiyyəti mühəndisliyi və platforma yönümlü standartlaşdırma. Daha çox insan məlumat artefaktlarını tez bir zamanda yarada bildikdə, müqavilələr, müşahidə qabiliyyəti, hadisələrə cavab vermə vərdişləri və intizamlı kök səbəb təhlili daha da vacib hala gəlir. Ünsiyyət də fərqləndirici amil olur - tərifləri uyğunlaşdırmaq, aydın sənədlər yazmaq və kompromisləri dramatik şəkildə izah etmək məlumatların etibarlılığını qorumağın böyük bir hissəsidir.

Süni intellekt və idarə olunan alətlərdən hansı məlumat mühəndisliyi rolları ən çox risk altındadır?

Təkrarlanan məlumat qəbuluna və ya standart hesabat boru kəmərlərinə yönəlmiş rollar, xüsusən də idarə olunan ELT konnektorları əksər mənbələri əhatə etdikdə daha çox açıq olur. Aşağı mülkiyyətli, bilet əsaslı iş azala bilər, çünki süni intellekt və abstraksiya boru kəməri başına səyi azaldır. Lakin bu, adətən təkrarlanan tapşırıqları yerinə yetirən insanların sayının azalması kimi görünür, "məlumat mühəndislərinin olmaması" yox. Etibarlılığa, keyfiyyətə və etibara yönəlmiş yüksək mülkiyyət rolları davamlı olaraq qalır.

Xaos yaratmadan GitHub Copilot və ya dbt kimi alətlərdən süni intellektlə necə istifadə etməliyəm?

Süni intellekt çıxışına qərar kimi deyil, qaralama kimi yanaşın. Ondan sorğu skeletləri yaratmaq, oxunaqlılığı artırmaq və ya dbt testləri və sənədlərini hazırlamaq, sonra isə real məlumatlara və kənar hallara uyğun olaraq təsdiqləmək üçün istifadə edin. Onu güclü konvensiyalarla birləşdirin: müqavilələr, adlandırma standartları, müşahidə qabiliyyəti yoxlamaları və icmal təcrübələri. Məqsəd etibarlılıqdan, xərc nəzarətindən və ya idarəetmədən ödün vermədən daha sürətli çatdırılmadır.

İstinadlar

1. Avropa Komissiyası - Məlumatların qorunması izah olunur: GDPR prinsipləri - commission.europa.eu

2. İnformasiya Komissarının Ofisi (ICO) - Saxlama Məhdudiyyəti - ico.org.uk

3. Avropa Komissiyası - Məlumatlar nə qədər müddətə saxlanıla bilər və onları yeniləmək lazımdırmı? - commission.europa.eu

4. Milli Standartlar və Texnologiya İnstitutu (NIST) - Məxfilik Çərçivəsi - nist.gov

5. NIST Kompüter Təhlükəsizliyi Resurs Mərkəzi (CSRC) - SP 800-92: Kompüter Təhlükəsizliyi Jurnalının İdarə Edilməsi üzrə Təlimat - csrc.nist.gov

6. İnternet Təhlükəsizliyi Mərkəzi (CIS) - Audit Jurnalının İdarə Edilməsi (CIS Nəzarətləri) - cisecurity.org

7. Snowflake Sənədləri - Sıra giriş siyasətləri - docs.snowflake.com

8. Google Cloud Sənədləri - BigQuery sətir səviyyəli təhlükəsizlik - docs.cloud.google.com

9. BITOL - Açıq Məlumat Müqaviləsi Standartı (ODCS) v3.1.0 - bitol-io.github.io

10. BITOL (GitHub) - Açıq Məlumat Müqaviləsi Standartı - github.com

11. Apache Airflow - Sənədləşmə (sabit) - airflow.apache.org

12. Apache Airflow - DAG-lar (əsas konsepsiyalar) - airflow.apache.org

13. dbt Labs Sənədləri - dbt nədir? - docs.getdbt.com

14. dbt Labs Sənədləri - dbt modelləri haqqında - docs.getdbt.com

15. dbt Labs Sənədləri - Sənədlər - docs.getdbt.com

16. dbt Labs Sənədləri - Məlumat testləri - docs.getdbt.com

17. dbt Labs Sənədləri - dbt Semantik Layer - docs.getdbt.com

18. Fivetran Sənədləri - Başlanğıc - fivetran.com

19. Fivetran - Konnektorlar - fivetran.com

20. AWS Sənədləri - AWS Lambda Geliştirici Təlimatı - docs.aws.amazon.com

21. GitHub - GitHub Copilot - github.com

22. GitHub Sənədləri - GitHub Copilot ilə IDE-nizdə kod təkliflərinin alınması - docs.github.com

23. Microsoft Learn - SQL üçün GitHub Copilot (VS Code uzantısı) - learn.microsoft.com

24. Dynatrace Sənədləri - Məlumatların müşahidəsi - docs.dynatrace.com

25. DataGalaxy - Məlumatların müşahidə olunma qabiliyyəti nədir? - datagalaxy.com

26. Böyük Gözləmələr Sənədləri - Gözləmələrə Baxış - docs.greatexpectations.io

Ən son süni intellekt texnologiyalarını rəsmi süni intellekt köməkçisi mağazasında tapın

Haqqımızda