Süni intellekt etibarlıdırmı? [Video və Viktorina]

Qısa cavab: Süni intellekt bir xüsusiyyət kimi etibarlı deyil: bu, tapşırıqdan, axtarış dövrəsindən və hələ də həll yolunda olan insandan. İşləmə müddəti son nöqtənin cavablandırılıb-cavablanmamasıdır; dürüstlük cavabın belə olub-olmamasıdır. Səhv ucuz və ya tutula bilən olduqda istifadə edin; səhv baha olduqda yavaşlayın.

Əsas nəticələr:

Hesabatlılıq: Kimin rəy yazdığını, kimin buna mane ola biləcəyini və kimin məsuliyyətdə olduğunu adlandırın.

Şəffaflıq: Alınan hissəni yoxlayın, əks halda hələ də duman içindəsiniz.

Audit: Qeydiyyat sorğuları, alınan hissələr və göndərmələr, beləliklə, səhvlərin izlənilə bilməsi.

Sui-istifadəyə qarşı müqavimət: Pul məsələlərində uğursuzluqla nəticələndi; heç vaxt rəqəmlər, pəncərələr və ya siyasət icad etməyin.

Təsvirli nəticələr: 20 sualdan ibarət təsvirli testi 95% sübut kimi deyil, xəritə kimi qəbul edin.

Bundan sonra oxumaq istəyə biləcəyiniz məqalələr:

🔗 Gündəlik həyatda süni intellektdən necə istifadə etməli
Süni intellektdən gündəlik tapşırıqları və rutinləri sadələşdirməyin praktik yollarını kəşf edin.

🔗 İş yerində süni intellektdən necə istifadə etməli
Süni intellektlə məhsuldarlığı və səmərəliliyi artırmağın praktik yollarını öyrənin.

🔗 Süni intellekt özü üçün düşünə bilirmi?
Süni intellektin həqiqətən müstəqil düşünə və məntiqi əsaslandıra bilib-bilmədiyini araşdırın.

🔗 Süni intellekt hansı növləridir?
Əsas süni intellekt növlərini, imkanlarını və əsas fərqlərini anlayın.

Maşın statistik tutuquşu olduqda belə "etibarlı" nə deməkdir

Gündəlik danışıqda etibarlılıq nəyəsə güvənə biləcəyiniz deməkdir.

Avtomatlaşdırma ilə danışarkən, bir yığın fərqli xüsusiyyətlər bir sözün altında gizlənir. Faktikilik. Ardıcıllıq. Kalibrləmə - modelin inamı onun doğru olma ehtimalına uyğun gəlirmi, yoxsa sadəcə... əmin səslənirmi. Təhlükəsizlik. İşləmə müddəti. Sürətli həssaslıq. Kənar hallarda davranış. Canlı dünya təlim dünyası olmadığı zaman. Bunların heç biri birlikdə uğursuz olmur. İnsanların atladığı hissə budur.

Çatbot bütün həftə "işləyə" bilər və çərşənbə axşamı günortadan sonra yenə də səhv edə bilər. Kodlaşdırma üzrə ikinci pilot isə standart rejimdə yaxşı işləyə və sonra orijinal API-yə tam oxşayan bir API-ni halüsinasiya edə bilər. İnsanların axtardığı metafora "kiçik həmkar"dır. Bu, qeyri-kamil bir metaforadır - kiçiklər utanırlar - amma "oracle"dan daha yaxındır.

Canlı test nə, kim üçün, hansı dövrə ilə bağlı etibarlıdır. Əks halda, siz blenderi vergi ödəyə bilib-bilməməsinə görə qiymətləndirirsiniz.

İş vaxtı doğruluq deyil - iki fərqli "etibarlı" növ

Əməliyyatçılar və həqiqət adamları eyni sözü işlədir və bir-birinin yanında danışırlar.

İş vaxtı "son nöqtənin cavabını verdi" deməkdir. Dürüstlük "cavab belə idi" deməkdir. İdarəetmə hər ikisinə əhəmiyyət verir və model riski çirkin boşluqda yerləşir. Heç vaxt göz qırpmayan və yenə də müştəri biletinə səlis yalan göndərən bir xidmətə sahib ola bilərsiniz. SRE mənasında etibarlı. "Xahiş edirəm geri ödəmə siyasəti icad etməyin" mənasında etibarlı deyil.

Düşünürəm ki, bu, yazılı şəkildə aydındır. Cavab sürətli və növbə nəhəng olduqda, saat 16:00-da bu, aydın deyil. Sürət bacarıq kimi hiss olunur. Yavaşlıq əvvəllər kiminsə düşünürdü demək idi. İndi isə sürət heç kimin düşünmədiyinin işarəsidir.

Təhlükəsizlik başqa bir oxdur. Pis jailbreak-dən imtina edən bir model təhlükəsizlik qiymətləndirməsi baxımından "etibarlıdır" və yenə də öz qeydlərinizin xülasəsini poza bilər.

Səlis və səhv danışmaq, yöndəmsiz və açıq danışmaqdan daha pisdir

Bu, özünəinam problemidir və ən əsası da elə budur.

Dəqiqlik və səlislik ayrıldı və səlislik evi qorudu. LLM sizə ritm, düzgün yerlərdə gizlənmə, bəlkə də saxta, lakin gözəl bir sitat forması verəcək. Beyniniz "bu adam bilir" oxuyur. Ancaq bu, insan deyil və kalibrləmə çox vaxt dəhşətlidir - yüksək inam, orta həqiqət, əsas nitq kimi çatdırılır.

Səlis cavab sizi şübhəli edir. Səlis cavab isə yoxlamağı dayandırmağa məcbur edir. Bu, kiçik fərq deyil; bu, bütün hekayəni bir az xoşagəlməz cümlədə ifadə edir.

Qərəz də orada özünü göstərir, həmişə təhqir kimi yox, daha çox otaqda kimin olduğu və ingilis dilinin hansı dadının neytral hesab edildiyi barədə standart bir fikir kimi. İnsanlar aldanırlar, çünki dil bizim ən qədim etibar interfeysimizdir. Əgər qısa məlumat kimi danışırsa, biz də ona qısa məlumat kimi yanaşırıq. Mən buna daha çox kinayəli yanaşmağı düşünürəm. Sonra mən axmaq bir xülasə oxuyuram və çiyinlərim yerə düşür. İclasa girəndə xülasə bitmiş görünür. Bu cümlə çox iş görür və yenə də: xanım beləcə müzakirəyə qoşulur.

Etibarlılıq brendə görə deyil, vəziyyətə görə

Brendlər diqqəti yayındırır. Müqayisə işin öz yerini tutmasına səbəb olur. Mübahisələr bir-biri ilə mübahisə edəcək. Bu normaldır.

Hər halda. Əgər ən sevdiyiniz alət çəltiklərdə məharətlə işləyirsə və gecə yarısı ondan hüquqi rahatlıq istəsəniz, bu, yüksəliş deyil. Bu, xəritənin sizin ondan imtina etdiyinizi göstərir.

Halüsinasiyalar, dreyf və sakit bir növ səhv

Halüsinasiyalar ədviyyatlı olduğu üçün xəbər başlıqlarına çıxır: mövcud olmayan bir kitab, heç vaxt göndərilməyən bir funksiya, rəsmi hiss olunan bir rəqəmli siyasət bəndi.

Drift filmi daha az kinematoqrafikdir. Dünya hərəkət edir. Modelin qalıqları qalır. Təzə kontekst tələb edən bir sual verirsiniz və əvvəlki hava şəraitindən yaxşı təşkil olunmuş cavab alırsınız. Orada az qala "başqa bir dövrdən" yazırdım ki, bu da mövzunun şişirdilmiş ifadəsidir. Bu, başqa bir dövr deyil. Sadəcə indi deyil.

Səssiz səhv məni daha çox maraqlandırır. İstisnanı aradan qaldıran xülasə. "Bəlkə"ni "vacib" halına gətirən parafraza. Məna dəyişsə də, faktikilik "texniki cəhətdən yaxşı" ola bilər.

Təcili həssaslıq vəziyyəti daha da pisləşdirir. Qablaşdırmanı dəyişdirin və "faktlar" parıldayır. Şübhəçi kimi soruşun, çəpər alın. Tələsik bir patron kimi soruşun, cəld iddia alın. Əgər qiymətləndirmənizdə yalnız bir kostyum istifadə olunursa, qiymətləndirməniz bir az yalandır. Bağışlayın.

Jailbreak-lər həddən artıq çoxdur və mən soyğunçuluq filmi istəmirəm. Əgər bir sistemin davranış qaydalarından imtina etməsi mümkündürsə, etibarlılıq təkcə həqiqətlə bağlı deyil; məsələ məhəccərlərin ilgək, yoxsa poster olmasıdır.

Təlim qalıqları, köhnəlmiş biliklər və niyə əsaslandırma sehrli çubuq deyil

Generativ modellər bir yığın üzərində öyrədilir, sonra çərşənbə axşamınıza yönəldilir. Çıxarma, yetkinlərin indiki şeyi həmin yığına bağlamaq cəhdidir. Torpaqlama "dumandan yox, bundan cavab" deməkdir. Uğursuz olduqda, nəzakətlə uğursuz olur.

Klassik uğursuzluq: retriever, demək olar ki, qaçılmaz bir sənədi götürür. Generator onu tam sakitliklə yazır. Mənbə formalı bir obyekt görürsünüz və yoxlama instinktiniz işə düşür. Mən bunu edirəm. Yəqin ki, bunu edirsiniz. İstinad ideyası düzgündür; tətbiq yalnız vurulan sənəd qədər yaxşıdır.

Köhnəlmiş biliklər digər sızmadır. Bəzi tapşırıqlar üçün canlı vəziyyət tələb olunur - qiymətlər, inventar, siyasətin cari ifadəsi. Bəziləri üçün sabit bir sənətkarlıq lazımdır, məsələn, bir qeydin necə qurulacağı. Bunları qarışdırın və artıq hərəkət etmiş bir dünya haqqında çox dəqiq bir cavab alacaqsınız. Paylanma dəyişikliyi yetkinlərin adıdır: canlı paylanma təlim paylanması deyil və kənar hallar boşluqda yaşayır.

Qeydlərim belə göründüyü üçün səhv yerləşdirilmiş defislə deyilən bir şey daha var: torpaqlama halqa deyil, döşəmədir. Əgər əldə edilmiş hissəni yoxlaya bilmirsinizsə, deməli, daha yaxşı işıqlandırma ilə hələ də duman içindəsiniz.

Qiymətləndirmə teatrı: niyə demo dəhşətli bir sınaqdır

Demolar çox təsirlidir. Qiymətləndirmələr bir az daha səmimidir və yenə də sizin işiniz deyil.

Təmiz bir tapşırıq və modelin minlərlə qardaşının gördüyü bir tapşırıq - əlbəttə ki, kəskin görünür. Yalnız səhnə tamaşasını ölçən qiymətləndirmə. Canlı iş axınlarında dolaşıq yapışdırma, itkin fayllar və narahatlığını azaldan ilk cavabı qəbul edəcək istifadəçi var.

Qiymətləndirmələr vacibdir. Onlar sadəcə olaraq, komandaların iddia etdiyi kimi yaxşı hərəkət etmirlər. Lider lövhəsi balı biletlərinizdə kalibrləmə deyil. Şirkətdə model riski "bu, həcmdə səhv olduqda nə baş verir"dir, "viktorina dəstini keçib-keçməməsi" deyil. Sizə lazım olan testlər qurudur: alınan keçidin içərisində qalın; blöf etmək əvəzinə qeyri-müəyyənliyi qeyd edin; yenidən ifadə edərkən ardıcıl qalın; uğursuzluqla bağlı (imtina et, soruş, təxirə sal) uğursuzluqla açıq (uydurma) olmaqdansa.

İnsanların tək bir təsirli tamamlanmanı sübut kimi qəbul etdiklərini görmüşəm. Bu, sanki başlanğıc gözəl olduğuna görə restoranın "etibarlı" olduğuna qərar vermək kimidir. Bəlkə də elədir. Bəlkə də mətbəx on dəqiqəlik yaxşı vaxt keçirib.

Kiçik bir ziddiyyət gəlir: Mən hələ də hiss etmək üçün demolardan istifadə edirəm. Sadəcə hissləri işə götürmürəm.

Süni intellekt etibarlıdırmı? Yalnız kimsə hələ də problemi həll etməyə çalışırsa

İnsan-in-the-loop dizaynı, nasazlıq rejimlərinə uyğun gələn yeganə dizayndır.

Heç kim məsuliyyət daşımırsa, sistem sanki olduğu kimi istifadə olunacaq. İdarəetmə "kim nəzərdən keçirir, kim dayandıra bilər, nə qeydə alınır, səhvdən sonra nə baş verir" ifadələrinin qeyri-seksual adıdır. Agentlər bunu daha da kəskinləşdirirlər, çünki onlar yalnız abzaslar deyil, tədbirlər görürlər. Göndərmədiyiniz layihə ucuzdur. Nəzərdə tutmadığınız alət çağırışı isə ucuz deyil.

Mübahisədə kimin olduğunu deyin. Cavab "model"dirsə, cavabınız yoxdur. Modellər hadisədən sonra görüşə getmirlər. Bir nəfər gedir, ya da tozsoran gedir, sonra isə vəkil.

Partlayış radiusuna uyğun yoxlamaları seçin. Sosial paylaşım üçün orfoqrafiya səviyyəli rəy. Fakt iddia edən hər hansı bir şey üçün mənbə yoxlaması. Tibb, hüquq, kredit, təhlükəsizliklə bağlı vacib əməliyyatlarla əlaqəli hər hansı bir şey üçün peşəkar. Bunlar üçün insan "dövrədə" deyil. İnsan döngədir. Model isə bir axmaqlıqdır. Bu, şəxsiyyət kimi şübhə deyil. Bu, zövqdür.

Hazırda çeki parlaq göndərmə düyməsinin arxasında gizlətmək dəbdədir. Bu günlərdə təsadüfən şayiələri avtomatlaşdıran üsul belədir. Son vaxtlar bu barədə daha çox danışıram və iş daha da yaxşılaşıb.

Xahiş etmək necədir ki, səhvi tapasınız

Günəş işığına peşəkarcasına şübhə etmədən bu sistemləri araşdıra bilərsiniz.

• Qeyri-müəyyənliyi qəsdən soruşun. "Bunu nə səhv edərdi?" ifadəsi "özünə inamlı et" ifadəsini üstələyir.

• Mümkün olduqda, nəsildən-nəslə məlumat mübadiləsi aparın. Əvvəlcə mətn parçalarına baxın. Sonra isə mətnin yazılışını istəyin.

• Kostyumu dəyişdirin. Yenidən ifadə edin. Əksini iddia etməsini xahiş edin. Əgər bu şəkildə istifadə etsəniz, həssaslıq fənər kimidir.

• Məcburi məhdudiyyətlər: "yalnız yapışdırdığım mətndən", "əgər çatışmırsa, deyin ki, çatışmır". Modellər təəccüblü dərəcədə buna itaətkardırlar... ta ki, yox. Hər halda yoxlayın.

• Doğrulayıcı ilə tapşırıqlara üstünlük verirəm. Kompilyatorlar, linterlər, sxem yoxlamaları, ikinci bir cüt göz. Etibarlılıq qiymətləndirməni sevir.

• Nəticəyə diqqət yetirin: əlavə spesifiklik. Dəqiq görünüşlü bir fiqur, adlı bir hal, səliqəli nömrələnmiş cümlə - halüsinasiyanın bəzədilməyi sevdiyi yer budur.

• İnsan addımını görünən saxlayın. Əgər istifadəçi interfeysi çeki gizlədirsə, insanlar çeki atlayırlar. Bu, mebeldir, mənəvi qüsur deyil.

Bunların heç biri modeli "doğru" etmir. Bu, döngəni daha az sadəlövh edir. Düşünürəm ki, məhsul da elə budur.

Xəritə sizi hara aparır

Beləliklə. Bəli/xeyr sualı yalnız bir qapı kimi işləyir.

Süni intellekt etibarlıdırmı? Xüsusiyyət kimi deyil. Tapşırığın, verilənlər dəstinin, axtarış dövrəsinin, demo olmayan qiymətləndirmənin və hələ də bunu demək məcburiyyətində qalan bir insanın xüsusiyyəti kimi. Səlis danışıq bizi aldatmağa davam edəcək, çünki biz dil heyvanlarıyıq və bu sistemlər dil maşınlarıdır. İş vaxtı həqiqətlə qarışdırılmağa davam edəcək, çünki hər ikisi "işlədi" kimi hiss olunur. İkinci pilotlar dolaşıq ortada yerlərini qazanmağa davam edəcəklər - qaralamalar, nəzərdən keçirə biləcəyiniz xülasələr, tərtib edə biləcəyiniz kod - və mühakiməni vecinə almayan bir abzasa həvalə etdiyimiz zaman təhlükəlidir.

Onlardan uğursuzluğun ucuz və ya əldə edilə bilən olduğu yerlərdə istifadə edin. Uğursuzluğun baha olduğu yerlərdə yavaşlayın. Bu, birbaşa cavabdır və şüardan daha dəyərlidir.

Əgər bir şeyi düşünürsünüzsə: modeldən əmin olub-olmadığını soruşmağı dayandırın. Ondan necə səhv ola biləcəyini soruşduğunuzda nə baş verdiyini izləyin. Sonra yoxlayın.

Real həyat nümunəsi: Üzvlük siyasəti üzrə süni intellekt köməkçisinin qurulması

Ssenari

Priya, müstəqil idman zalları üçün 70 nəfərlik Böyük Britaniya ticarət orqanı olan Harbour Membership üçün biliklər idarə edir. Üzvlərin suallarını üç nəfər cavablandırır. Həqiqətin mənbəyi hər rübdə yenilənən 180 səhifəlik kitabça və heç kimin silməyə cəsarət etmədiyi ortaq diskdəki köhnə PDF-lərdir.

Liderlik artıq yardım masası köməkçisi alıb. Demo versiyası çox gözəl idi. İşləmə müddəti yaxşı keçdi. İkinci həftədə səlis bir layihə üzvə 14 gün ərzində dondurub "standart olaraq" tam geri ödəmə ala biləcəyini deyir. Bu, siyasət deyil. Agent bunu başa düşdü, çünki pul məsələsi olduqda hələ də kitabçanı açırlar. Liderliyin "bəli" və ya "xeyr" kimi göndərilən sualı belədir: süni intellekt etibarlıdırmı?

Priya hökmü rədd edir. O, hökmü xəritə kimi qəbul edir. Vəzifə "üzvlərə bir keşiş vermək" deyil. Bu, "mövcud təlimat kitabçasından cavab yazmaq, mətni göstərmək və mətn çatışmadıqda səhvi bağlamaq"dır. Əgər ikinci pilot bunu edə bilmirsə, bu, siyasət masası deyil, layihə oyuncağıdır.

Köməkçinin nəyə ehtiyacı var

• Bölmə nömrələri dəyişməz olaraq yeganə icazə verilən korpus kimi 2026-cı ilin aprel ayı kitabçası

• Köhnə 2023 PDF faylı qəsdən sürücüdə saxlanılıb ki, tapıntının qaçılmaz olduğunu görsünlər

• Yazılı qayda: istehlakçı alətlərində müştərinin şəxsi məlumatları yoxdur; insan olmadan göndərmək olmaz; nömrələr, pəncərələr və ya "standart" bəndlər uydurmaq olmaz

• Sorğuları, alınan hissələri və son göndərişi qeyd etmək icazəsi

• Test dəstini qazanacaq və uğursuz olarsa ikinci pilotu dayandıracaq adlı sahib (Priya) pul suallarına sikkə atmaqdan daha pis bağlanır

• Əgər alət bərpanı dəstəkləyirsə, bərpa olunmuş hissə qaralamanın yanında görünməlidir. Əgər belə deyilsə, hissəni əl ilə yapışdıracaqlar. Yoxlanıla bilən keçid olmadan torpaqlama hələ də dumanlıdır.

Nümunə təlimat

Priya bunu səhnə oyunu ilə deyil, adi dildə deyir:

Yalnız sizə verilən 2026-cı ilin aprel ayı kitabçasından götürülmüş hissələrdən cavab verin. Bölmə nömrəsini qeyd edin. Cavab həmin hissələrdə deyilsə, "mövcud kitabçada deyil" deyin və dayandırın. Pəncərələri dondurmaq, geri ödəmə qaydalarını və ya ödənişləri uydurmayın. "İdman zalının qərarı ilə" bölməsini "standart olaraq" bölməsinə yüksəltməyin. İki hissə ziddiyyət təşkil edirsə, hər ikisini göstərin və hansının aktual olduğunu deyin. Siz üzvə bir şey çatmazdan əvvəl mənbəni açacaq bir insan üçün layihə hazırlayırsınız.

Sonra o, özü üçün ikinci bir təlimatı saxlayır, çünki məqalənin məqsədi model deyil, dövrədir:

Göndərməzdən əvvəl istinad edilən bölməni açın. "Bunu nə səhv edə bilər?" sualını verin. Əgər qaralamada mətndə olmayan bir rəqəm varsa, onu rədd edin. Əgər tələsik bir müdir kimi soruşmuşamsa, şübhəçi kimi yenidən soruşun və müqayisə edin.

Yaxşı bir qaralama belə görünür: "Mövcud təlimat kitabçasında yoxdur (aprel 2026, bölmə 4.2). Dondurmalar idman zalının ixtiyarındadır. Geri ödəmələr avtomatik deyil. Gücləndirin." Pis bir qaralama belə görünür: "Üzvlər 14 gün ərzində dondura və standart olaraq tam geri ödəmə ala bilərlər. Təlimat kitabçasında təsdiqlənib." Eyni ton. Bunlardan yalnız biri siyasətdir.

Bunu necə sınaqdan keçirmək olar

Priya ikinci pilot çıxışına baxmazdan əvvəl 20 sual yazır. Bu sıralama vacibdir. Demo işıqlandırma deməkdir. Bu, quru testdir.

Dəst viktorina deyil. Bu, canlı yayımdır:

• Cavabları bir cari bölmədə olan səkkiz sual (asan olanlar)

• Dörd qəza ehtimalı var, burada 2023-cü il PDF-i aprel mətnindən daha çox sözə malikdir

• Üç "təlimat kitabçasında olmayan" sual (faktura mübahisələri, tibbi ilə əlaqəli "bu təlim təhlükəsizdirmi", hüquqi ilə əlaqəli müqavilə dəyişikliyi)

• Üç pul məsələsi (dondurma, geri ödəmə, qoşulma haqqı)

• İki adi üzv sualı (iş saatları, məşqçi sığortası)

Həmin iyirmi nəfərdən ikisi ikinci kostyumda, bir dəfə tələsik müdir, bir dəfə isə şübhə ilə yanaşan və təcili həssaslıq yoxlaması kimi təkrar soruşuldu. Bu təkrar soruşmalar 20 bəndlik balda deyil, qeyd edildi.

Priya tərəfindən açıq təlimat kitabçası ilə qiymətləndirilən rubrika: keçid düzgün cari qaydaya, həqiqi bölmə nömrəsinə və əlavə uydurma bəndə ehtiyac duymur. Sakit uğursuzluq texniki cəhətdən incə bir cümlədir ki, istisnanı çıxarır və ya "bəlkə"ni vacib hala gətirir. Açıq uğursuzluq uydurma nömrə və ya cari hesab edilən demək olar ki, qaçırılan PDF-dir. İşləmə müddəti ayrıca sayılır, çünki "cavab verdi" "elə idi" demək deyil.

Daha irəli getməyə razılıq: pul məsələlərində, uğursuzluğu açmaq əvəzinə, bağlamaq lazımdır. Əgər ikinci pilot geri ödəmə pəncərəsi icad edərsə, canlı biletləri hazırlamır. Əgər heç kim mənbəyi açmazsa, canlı biletləri də hazırlamır.

Nəticə

Dərc olunmuş Liman Üzvlük Rəqəmi deyil, uydurma 20 sualdan ibarət testin nümunəvi nəticəsi.

Fərziyyələr: bir yardım masası köməkçisi; 2026-cı ilin aprel ayı kitabçası və qalan 2023 PDF; Priya yuxarıdakı rubrikaya görə bal topladı; vaxtlama "Bunu göndərərdim" bölməsinə yapışdırılmış sualdan telefon saniyəölçən idi; baxış vaxtı döngəli şərtə daxil edilir və işarələnməmiş şərtdə qəsdən xaric edilir, buna görə də müqayisə bərabər qalır.

İşarələnməmiş ikinci pilot, demo stilində sorğu: 20 sualdan 20-si səlis cavab aldı (işləmə müddəti mükəmməl görünürdü). 20 sualdan 11-i rubrikaya uyğun gəldi. Beşi səssiz uğursuzluq idi. Dördü, o cümlədən 14 günlük dondurma açıq uğursuzluq idi. Dörd açıq uğursuzluqdan ikisi 2023-cü il PDF-dən mənbəyə bənzər bir hissəyə istinad etdi. Göndərilə bilən görünüşlü qaralamaya qədər orta vaxt 1 dəqiqə idi.

Eyni 20 sual, məhdud təlimat, əldə edilmiş hissə görünür: 20 sualdan 15-i aprel mətnindən tamamilə düzgün idi. Üç sualda "mövcud təlimat kitabçasında yoxdur" düzgün yazılıb (tibbi və hüquqi məsələlərlə bağlı məsələlər, üstəgəl bir ödəniş mübahisəsi), buna görə də 20 sualdan 18-i məqbul hesab edilib. İki sual yenə də uğursuz olub: biri 2023-cü il PDF-ni səhv yazmışdı, digəri isə mətndə olmayan qoşulma haqqı rəqəmini icad edib. Layihənin hazırlanması üçün orta vaxt hələ də təxminən 1 dəqiqə idi.

Eyni 20, üstəgəl Priya simulyasiya edilmiş göndərişdən əvvəl istinad edilən bölməni açdı: 20-dən 19-u qəbul edilə bilərdi. O, demək olar ki, qaçırılan PDF-i tapdı. Qalan səhv rəyçinin səlis bir abzası gözdən keçirməsi və uydurma qoşulma haqqı rəqəmini görməməsi idi. Rəy daxil olmaqla orta vaxt 3 dəqiqə idi.

Köhnə proses, yalnız təlimat kitabçasında axtarış, ikinci pilot yoxdur: 20-dən 20-si məqbuldur. Orta hesabla 9 dəqiqə.

Bu nümunədə, ilgəkli ikinci pilot əl ilə verilən sualdan 6 dəqiqə daha sürətli (9 mənfi 3) və ya 20 sualda 120 dəqiqə daha sürətli idi, 20 sualdan 20-si əvəzinə 20 sualdan 19-u məqbul idi. Yoxlanmamış ikinci pilot 20 sualdan 9-unda 8 dəqiqə daha sürətli (9 mənfi 1) və səhv, sakit və ya ucadan, idi. Bu, sükan dəstinə qoyduğunuz 67% vaxt qənaəti deyil. Bu, avtomatlaşdırdığınız 9 səhv sızmasıdır.

Təkrarlanan iki sualın tələsik "rəis" versiyaları hər ikisi üstün gəldi. Şübhə ilə yanaşan versiyalar isə şübhə ilə yanaşdı. Eyni model, eyni kitabça, fərqli geyim. Priya bunu şəxsiyyət kimi deyil, bir tapıntı kimi qeyd etdi.

Bu rəqəmlər göstərilən testə, kiçik bir dəstə, qəzəbli üzvdən daha asan olan biletlərə və kitabı artıq bilən bir rəyçiyə əsaslanan nümunə qiymətləndirməsidir. Onlar ikinci pilotun "95% etibarlı" olduğunu və ya Harbour-un masa işçisini ixtisar etməli olduğunu göstərmir. Onlar iş vaxtının məsələ olmadığını, çekin məsələ olduğunu göstərir.

Nə səhv gedə bilər

• Rəhbərlik 1 dəqiqəlik seçim vaxtını qeyd edir və 9 səhvi buraxır. Sürət saat 16:00-da da hələ də bacarıq kimi hiss olunur.

• 2023-cü il PDF faylı indeksdə qalır. Axtarış onu daim yükləyir. Yerləşdirmə yetkin görünür və hələ də demək olar ki, əldən gedir.

• İstifadəçi interfeysi əldə edilmiş hissəni parlaq göndərmə düyməsinin arxasında gizlədir. İnsanlar kitabçanı açmağı dayandırırlar və dondurma cavabı üzvə belə çatır.

• Priya slaydda daha gözəl göründüyü üçün yalnız səkkiz asan sualı balla qiymətləndirir. Qiymətləndirmə teatrı, sadəcə elektron cədvəllə.

• Tibbi baxımdan "bu təlim təhlükəsizdirmi?" sualına cavab qısa cavab kimi görünə bilər. Xəritədə "demək olar ki, heç vaxt" yazılıb. Tonda isə "davam et" yazılıb.

• "Əlavə hiss etdiyim üçün qeydlər silinib." Səhvdən sonra heç kim hansı keçidin alındığını görə bilmir.

• Onlar modeldən əmin olub-olmadığını soruşurlar. Əmindir. Bu, heç vaxt sınaq olmayıb.

Praktik yemək

Etibarlılıq ikinci pilotun - Harbour-un satın alınmış şirkətinin xüsusiyyəti deyil. Bu, 20 sualdan, mövcud təlimat kitabçasından, görünən bir keçiddən və pul məsələsi olduqda hələ də mənbəyi açan bir şəxsdən ibarətdir. Səlis danışıq işləmə müddətində testdən keçməyə davam edəcək. Siyasət testindən keçən yeganə şey dövrədir.

Tez-tez verilən suallar

Generativ süni intellekt üçün etibarlı nə deməkdir?

Gündəlik etibarlılıq o deməkdir ki, siz nəyəsə güvənə bilərsiniz. Danışan avtomatlaşdırma ilə bir sözün altında bütün xüsusiyyətlər gizlənir: faktikilik, ardıcıllıq, kalibrləmə, təhlükəsizlik, işləmə müddəti, tez həssaslıq, kənar hallar və paylama dəyişikliyindən sonrakı davranış. Bunların heç biri birlikdə uğursuz olmur. Canlı test nə, kim üçün, hansı dövrə ilə etibarlıdır. Əks halda, siz blenderi vergi ödəyə bilib-bilməməsinə görə qiymətləndirirsiniz.

Süni intellekt etibarlıdırmı?

Xüsusiyyət kimi yox. LLM bir işdə möhkəm ola bilər, digərində isə bəzən eyni iclasda, bəzən vergülü hərəkət etdirdiyiniz üçün sakitcə susdurula bilər. Etibarlılıq bir tapşırığın, məlumat dəstinin, axtarış dövrəsinin, demo olmayan qiymətləndirmənin və hələ də bunu demək məcburiyyətində qalan bir insanın xüsusiyyətidir. Səhv ucuz və ya əldə edilə bilən yerdə istifadə edin. Səhv bahalı yerdə yavaşlayın.

Süni intellekt iş vaxtı ilə doğruluq eynidirmi?

Xeyr. İş vaxtı son nöqtənin cavablandırılıb-cavablanmamasıdır. Dürüstlük cavabın belə olub-olmamasıdır. Heç vaxt göz qırpmayan və yenə də müştəri biletinə səlis yalan göndərən bir xidmətə sahib ola bilərsiniz. Növbə nəhəng olduqda sürət bacarıq kimi hiss olunur. Təhlükəsizlik başqa bir oxdur: jailbreak-dən imtina edən bir model yenə də öz qeydlərinizin xülasəsini poza bilər.

Niyə səlis süni intellekt səhv olsa belə özünü etibarlı hiss edir?

Dəqiqlik və səlislik ayrıldı və səlislik evi qorudu. LLM sizə ritm, hedcinq, bəlkə də saxta, lakin gözəl bir sitat forması verəcək və beyniniz "bu adam bilir" oxuyur. Kalibrləmə çox vaxt dəhşətlidir: yüksək inam, orta həqiqət, əsas çıxış kimi çatdırılır. Yöndəmsiz səhv cavab sizi şübhəli edir. Səlis səhv cavab yoxlamağı dayandırmağa məcbur edir. Əgər qısa məlumat kimi danışırsa, biz ona qısa məlumat kimi yanaşırıq və səhv edən şəxs beləcə işə qarışır.

Süni intellekt tibbi, hüquqi və ya müştəri dəstəyi işləri üçün etibarlıdırmı?

Bu, markadan deyil, işdən asılıdır. Tibbi və hüquqi məsləhətlər demək olar ki, heç vaxt məhsul kimi kifayət qədər yaxşı olmur: model sadəcə bir şeydir, insan isə peşəkardır. Müştəri dəstəyi sərt siyasət daxilində layihə hazırlaya bilər, amma göndərilən pul və etibar şəxsə məxsus olmalıdır, çünki uydurma siyasət və nəzakətli səhv "yox" adi uğursuzluqdur. Layihələr və xülasələr artıq bildiyiniz ilk keçid mətnidir. Adları, nömrələri və zərər verə biləcək sətri yoxlayın.

Niyə süni intellekt halüsinasiyalar yaradır, sürünür və ya səssizcə səhv edir?

Halüsinasiya acı bir missdir: mövcud olmayan bir kitab, heç vaxt göndərilməmiş bir funksiya, rəsmi hiss olunan bir rəqəmli siyasət bəndi. Drift daha az kinematoqrafikdir: dünya hərəkət edir, modelin qalıqları qalır və əvvəlki hava şəraitindən yaxşı təşkil olunmuş bir cavab alırsınız. Sakit səhv istisnanı aradan qaldıran bir xülasədir. Və ya bəlkə də bir şeyi zəruri hala gətirən bir parafraza. Məna dəyişərkən faktikilik texniki cəhətdən yaxşı görünə bilər. Sürətli həssaslıq, örtüyü dəyişdirdiyiniz zaman faktları daha parlaq edir.

Torpaqlama və ya geri alma süni intellektini etibarlı edirmi?

Torpaqlama dumandan deyil, bundan cavab deməkdir. Çıxarış indiki şeyi öyrədilmiş bir yığın üzərinə bağlayır. Uğursuz olduqda, nəzakətlə uğursuz olur: az qala səhv düşəcək bir sənəd, yazılmış bir yazı və yoxlama instinktiniz sönür. Torpaqlama bir mərtəbədir, halo deyil. Əgər əldə edilmiş hissəni yoxlaya bilmirsinizsə, deməli, daha yaxşı işıqlandırma ilə hələ də duman içindəsiniz. Qiymətlər və ya siyasət ifadələri kimi canlı vəziyyət tapşırıqlarını sabit gəmilərlə qarışdırın və artıq hərəkət etmiş bir dünya haqqında çox dəqiq bir cavab alırsınız.

Niyə demo süni intellekt etibarlılığının pis bir testidir?

Təmiz bir tapşırıq və modelin minlərlə qardaşının gördüyü bir tapşırıq dəqiq görünəcək. Canlı iş axınlarında dolaşıq yapışdırma, itkin fayllar və narahatlığını azaldan ilk cavabı qəbul edəcək bir istifadəçi var. Lider lövhəsi balı biletlərinizdə kalibrləmə deyil. Model riski, trivia dəstini keçib-keçməməsi deyil, həcmdə səhv olduqda baş verənlərdir. Lazım olan testlər qurudur: alınan hissənin içində qalın, blöf etmək əvəzinə qeyri-müəyyənliyi qeyd edin, yenidən ifadə edərkən ardıcıl qalın və uydurmaq əvəzinə uğursuzluğu bağlayın.

Heç kim maraqlanmırsa, süni intellekt etibarlıdırmı?

Xeyr. Əgər heç kim məsuliyyət daşımırsa, sistem sanki olduğu kimi istifadə olunacaq. Xəta rejimlərinə uyğun gələn yeganə dizayn insan-döngədir: kim nəzərdən keçirir, kim onu ​​dayandıra bilər, nə qeydə alınır, səhvdən sonra nə baş verir. Əgər cavab "model"dirsə, cavabınız yoxdur. Modellər hadisədən sonra iclasa getmirlər. Tibb, hüquq, kredit və ya təhlükəsizlik baxımından vacib əməliyyatlar üçün insan dövrə, model isə stubdur.

Səhvləri aşkarlamaq üçün süni intellektdən necə istifadə edə bilərəm?

Qəsdən qeyri-müəyyənliyi soruşun: "Bunu nə səhv edər?" "inamlı et"dən daha çox. Mümkün olduqda, axtarışı nəsildən nəslə ayırın. Əvvəlcə mətn parçalarına baxın, sonra mətnin yazılışını istəyin. Kostyumu dəyişdirin: yenidən ifadə edin və ya əksini iddia etməsini istəyin. "Yalnız yapışdırdığım mətndən" və ya "əgər çatışmırsa, deyin ki, yoxdur" kimi məhdudiyyətləri tətbiq edin və yenə də yoxlayın. Doğrulayıcı ilə tapşırıqlara üstünlük verin və daha spesifikliyə diqqət yetirin, çünki halüsinasiya məhz burada bəzədilməyi sevir.

İstinadlar

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Ən son süni intellekt texnologiyalarını rəsmi süni intellekt köməkçisi mağazasında tapın

Haqqımızda