ServiceNow-un AutoSynthData-sı Agent Uğursuzluqlarını Təlim Qızılına Çevirir

Qısa cavab: ServiceNow CoreAI-nin AutoSynthData sistemi, müəssisələrin yalnız geniş etalon ballarına deyil, ətraf mühit səriştəsinə ehtiyac duyduqları zaman agent uğursuzluqları və müəllim uğurlarını təsdiqlənmiş sintetik SFT tapşırıqlarına çevirir. Bu sistem, boşluqları qabiliyyət spesifikasiyası kartlarında təmizləyir, təsdiqlənə bilən işi artırır və sonra keyfiyyəti yoxlayaraq dəqiqləşdirir. Müəllif tərəfindən bildirilən EnterpriseOps Gym, müəllim gücü, təsdiqləyici keyfiyyəti və ətraf mühit sədaqəti uyğunlaşdıqda, daha yaxşı nəticələr verir.

Əsas nəticələr:

Qabiliyyət kartları: Generatorların orijinal şəxsiyyət vəsiqələrini görməməsi üçün xətaları kartlara dezinfeksiya edin.

Doğrulayıcı yoxlama qabiliyyəti: Mutasiya olunmuş səhv nəticələri rədd edən SQL son vəziyyət yoxlamalarına üstünlük verin.

Çətinlik dərəcəsi: Təlim yalnız hədəfin nadir hallarda həll etdiyi və müəllimin adətən yerinə yetirdiyi tapşırıqları əhatə edir.

İnsan rəyi: Yenidən təlim keçməzdən əvvəl yüksək riskli siyasət və dönməz hərəkətlər üzərində insan rəyini saxlayın.

Sərhədin hərəkəti: SFT-dən sonra yenidən qiymətləndirin və Hədəf fazasını qalan boşluqlara doğru sürüşdürün.

Müəssisə süni intellekt agentləri ümumi biliklərə malik olmadıqları üçün nadir hallarda uğursuz olurlar. Onlar mühitin spesifik olması səbəbindən uğursuz olurlar: bilet siyasətləri, sxem qəribəlikləri, alət müqavilələri, əsas verilənlər bazaları, bilik məqalələri və dərslik demolarına bənzəməyən sistemlərarası iş axınları. Açıq etalonlarda yaxşı nəticə göstərən bir model, növbəti addım dəyişiklik pəncərəsinə, CMDB əlaqəsinə və ya səlis söhbət əvəzinə son vəziyyəti yoxlayan bir doğrulayıcıya hörmət etməli olduqda da dayana bilər.

ServiceNow CoreAI / ServiceNow-AI bu boşluğu birbaşa aradan qaldırmaq üçün AutoSynthData nəşr etdi . Adı çəkilən müəllif Esakkivel Esakkiraja, hədəf agentin uğursuzluqlarını - daha güclü müəllimin uğurları ilə birlikdə - müəssisə mühitlərinə uyğunlaşdırılmış təsdiqlənmiş sintetik təlim tapşırıqlarına çevirən bir boru kəmərini təsvir edir. Məqsəd daha çox söhbət qeydləri toplamaq deyil. Məqsəd, eyni qabiliyyəti yeni şərtlər altında tətbiq edən çətin, təsdiqlənə bilən işi çoxaltmaqdır ki, nəzarətli incə tənzimləmə mühitə xas boşluqları bağlaya bilsin.

Bu məqalədə əsas ideya, tapşırıq abstraksiyası, generasiya və keyfiyyətə nəzarət dövrəsi, ortaq arxitektura və EnterpriseOps Gym-də müəllif tərəfindən bildirilən nəticələr nəzərdən keçirilir. Bu məqalə tədqiqatın təsvir etdiyi şeyə əsaslanır: hər hansı bir müəssisənin birdən həll olunduğu iddiası deyil, sintetik tapşırıqların hərəkətli tədris planı.

Niyə ətraf mühit səriştəsi geniş imkanlardan üstündür

Müəssisələrə öz mühitlərində - sistemlərində, qaydalarında və məlumat vəziyyətində işləyən agentlər lazımdır. Geniş imkanlar ətraf mühit səriştəsi ilə eyni şey deyil. Agent İT xidmətlərinin idarə edilməsinin adətən necə işlədiyini bilsə də, müəyyən keçidləri qadağan edən yerli siyasəti və ya yalnız ilkin qeyd mövcud olduqdan sonra əlaqəli cədvəli yeniləyən aləti əldən verə bilər.

Fərdi uğursuzluqlar məlumatverici olsa da, təlim məlumatları qədər azdır. Bir pozulmuş trayektoriya zəifliyi göstərir; modelin variasiya altında bərpa olunmasını öyrədəcək onlarla yaxınlıqdakı vəziyyəti təmin etmir. Komandalara eyni qabiliyyəti fərqli şəkildə həyata keçirən, mühit daxilində tamamlana bilən, istifadəçi soruşduqca real hiss edən və nəticə yoxlamalarına qarşı yoxlanıla bilən bir çox yeni tapşırıq lazımdır.

Bu, AutoSynthData-nın arxasındakı dizayn təzyiqidir. Uğursuzluqlar qabiliyyət kartları üçün siqnallara çevrilir. Kartlar yeni tapşırıqların generatorlarına çevrilir. Daha güclü müəllim uğurlu trayektoriyalar nümayiş etdirir. Filtrlər və yoxlayıcılar nəzarət edilən dəqiq tənzimləmə dəstinə nəyin daxil olduğuna qərar verir. Təlimdən sonra qiymətləndirmə sərhədi qalan boşluqlara doğru dəyişir. Döngə birdəfəlik məlumat sızdırılması əvəzinə tədris planına uyğundur.

Çərçivələmə praktikantlar üçün vacibdir. Yalnız uğursuz sorğuları saxlasanız, həmin dəqiq varlıqlara və ifadələrə həddindən artıq uyğunlaşma riski daşıyırsınız. Yalnız məhdudiyyətsiz sintetik sorğular yaratsanız, qeyri-mümkün, qeyri-real və ya təsdiqlənə bilməyən tapşırıqlar riski daşıyırsınız. AutoSynthData bu ifratlar arasındadır: uğursuz olanı qabiliyyət spesifikasiyasına daxil edin, sonra səth formasını və idarə olunan ölçüləri dəyişdirərkən əsas nüvəni saxlayan tapşırıqları bərpa edin.

Praktik tapşırıq forması: sistem, sorğu, yoxlayıcı

Agent işi üçün işlək bir abstraksiya belədir: tapşırıq sistem spesifikasiyasına, istifadəçi sorğusuna və doğrulayıcıya. Hər bir hissə sintetik məlumatları əsaslı və etibarlı saxlayan məhdudiyyətlərə malikdir.

Sistem spesifikasiyası məhdudiyyətləri, siyasətləri və ilkin vəziyyəti əhatə edir - məsələn, verilənlər bazası toxumları və bilik məqalələri. Mövcud alətlər və vəziyyətlə uyğun qalmalıdır. Alət müqavilələrini və ya toxum realizmini nəzərə almayan ixtiyari çətinlik məhdudiyyətləri səhv dərs verən kövrək tapşırıqlar yaratmağa meyllidir.

İstifadəçi sorğu keyfiyyəti üç linzaya malikdir. Mümkünlük etibarlı trayektoriyanın mövcud olub-olmadığını soruşur. Realizm istifadəçinin bunu mümkün şəkildə tələb edib-etməyəcəyini soruşur. Çətinlik, tapşırığın hədəfin artıq etibarlı şəkildə həll etdiyi bir şeydən daha çox, mövcud agent zəifliyini ortaya qoyub-qoymadığını soruşur. Hədəf üçün əhəmiyyətsiz bir sorğu təlim büdcəsini boşa çıxarır; qeyri-mümkün bir sual qiymətləndirmə etibarını boşa çıxarır.

Doğrulayıcının keyfiyyəti ardıcıllıqdan, etibarlılıqdan və tamlıqdan asılıdır. Çox zəif və zəif trayektoriyalar keçərlidir. Tək bir trayektoriyaya həddindən artıq məhdudlaşdırıcı təsir göstərir və etibarlı alternativ həllər uğursuz olur. Müəssisə parametrləri tez-tez SQL əsaslı və ya vəziyyətə əsaslanan nəticə yoxlamalarına üstünlük verir, çünki onlar agentin dəqiq keçdiyi yoldan deyil, agentin hərəkətindən sonra dünyanı qiymətləndirirlər.

AutoSynthData bu triadaya əsaslanır, buna görə də yaradılan iş əsaslı qalır. Generatorlar sərbəst üzən testlər icad etmirlər. Onlar mühit adapterində icra edilə bilən və tələb olunan son vəziyyət xüsusiyyətlərinə əhəmiyyət verən yoxlayıcılar tərəfindən qiymətləndirilə bilən tapşırıqlar yaradırlar.

Diaqnostik qiymətləndirmədən tutmuş qabiliyyət spesifikasiyası kartlarına qədər

Bu proses hədəf agentin diaqnostik qiymətləndirilməsi və mühitdə daha güclü müəllimin müəyyən edilməsi ilə başlayır. Yan-yana aparılan təhlillər hədəfin harada uğursuz olduğunu və müəllimin harada uğur qazandığını göstərir. Bu ziddiyyətli hallar tədris planının hazırlanması üçün xammaldır.

Növbəti mərhələdə dezinfeksiya edilmiş qabiliyyət spesifikasiyalı kartlara distillə edilir . Kart, sınaq altında olan qabiliyyəti, müvafiq alətləri və ya iş axını formasını, hədəfin uğursuz olduğu və müəllimin uğur qazandığı yeri, tələb olunan son vəziyyət xüsusiyyətlərini və yeni tapşırıqlar icad edildikdə dəyişə biləcək ölçüləri əks etdirir. Ən əsası, generator orijinal göstərişləri, varlıqları, trayektoriyaları və ya yoxlayıcı detalları almır - yalnız kartları.

Bu dezinfeksiya qəsdən həddindən artıq hazırlığa qarşı bir addımdır. Əgər generator dəqiq uğursuz bilet nömrələrini, bilik məqaləsi ID-lərini və ya müəllim izlərini görsəydi, eyni epizodu təkrarlamaq istəyərdi. Kartlar abstraksiyanı məcbur edir: əzbərlənmiş nümunəni deyil, idarə olunan variasiya altında qabiliyyəti öyrədin.

Kartlar mövcud olduqdan sonra sistem onlardan yeni tapşırıqlar yaradır. Daha sonra müəllim nəzarətli dəqiq tənzimləmə üçün uğurlu trayektoriyalar nümayiş etdirir. Bu nümayişlər sərbəst formada verilən məsləhətlər deyil; onlar tədris planının qayğı göstərdiyi eyni yoxlamadan keçən ətraf mühitə əsaslanan uğurlardır.

İki fazalı struktur miqyası. Hədəf fazası boşluqlar ətrafındakı əsas yoxlanılmış nümunələrə - zəif agentin qırıldığı yerə yaxın ən yüksək siqnal tapşırıqlarına diqqət yetirir. Vurma fazası qəbul edilmiş hədəflərin yeni variantlarını yaradır. Vurulmuş nümunələr daha çox vurma raundlarını yerləşdirə bilməz ki, bu da sürüşməni məhdudlaşdırır. Bu qayda kiçik, lakin vacibdir: məhdudiyyətsiz rekursiv variasiya kartın adlandırdığı imkandan uzaqlaşa bilər.

Paylaşılan nəzarətçi, mühit adapteri və hərəkət edən sərhəd

Memarlıq baxımından AutoSynthData ortaq bir nəzarətçi və ətraf mühit adapterindən. Nəzarətçi diaqnoz, kartlama, generasiya, müəllim demoları, keyfiyyət qapıları və toplu icmalını təşkil edir. Adapter bu addımları konkret bir müəssisə sandboxuna - alətlər, vəziyyət, siyasətlər və yoxlayıcılara - bağlayır, beləliklə eyni idarəetmə döngəsi tədris planı məntiqini sıfırdan yenidən yazmadan fərqli sahələri hədəf ala bilər.

Nəzarət altında dəqiq tənzimləmə aparıldıqdan sonra, boru kəməri yenidən qiymətləndirilir. Daha sonra tədris planı qalan boşluqlara doğru hərəkət edir: statik məlumat dəsti əvəzinə hərəkət edən sərhəd. İşdə təsvir edilən təcrübələr nəzarət altında dəqiq tənzimləməyə yönəlib. Eyni dövrə sonradan möhkəmləndirmə öyrənməsini dəstəkləyə bilər; bu istiqamət tamamlanmış kimi deyil, planlaşdırılmış kimi qeyd.

Müəssisə komandaları üçün memarlıq dərsi modulyardır. Nəzarətçilər tək bir bilet sxemini kodlaşdırmamalıdırlar. Adapterlər yoxlayıcıların mənalı ola bilməsi üçün kifayət qədər vəziyyət və alət dəqiqliyini nümayiş etdirməlidirlər. Tədris planı qiymətləndirmə nəticələrinə birdəfəlik hesab lövhəsi kimi deyil, növbəti giriş kimi yanaşmalıdır.

EnterpriseOps Gym bu yanaşmanın nümayiş olunduğu mühitdir. Bu 8 sahədə təxminən 1150 mütəxəssis tərəfindən hazırlanmış tapşırıq, təxminən 512 alət, təxminən 164 verilənlər bazası cədvəli, konteynerləşdirilmiş icra, SQL əsaslı nəticə yoxlaması, siyasətlə idarə olunan əməliyyatlar, hibrid domenlərarası ssenarilər, mümkünsüzlük və imtina testi və uzun üfüqlü vəziyyətli trayektoriyalar olan genişmiqyaslı müəssisə agenti skamyasıdır. AutoSynthData həmin idman zalı tərəfindən icad edilmiş kimi təqdim edilmir; idman zalı sintez döngəsi üçün stress test yatağıdır.

Sintetik tapşırıqları etibarlı saxlayan nümunə səviyyəli keyfiyyət nəzarəti

Qapılar olmadan generasiya sintetik agent məlumatlarının necə səhv getməsidir. AutoSynthData nümunə səviyyəli keyfiyyət nəzarətini bir neçə tamamlayıcı yoxlama ilə təsvir edir.

Həlledici çətinlik filtri, hədəf üçün çətin və müəllim üçün həll edilə bilən tapşırıqlar dəstini istiqamətləndirir. Təsvir edilən konfiqurasiya, hədəfin üç sınaqdan ən çox birində həll etdiyi tapşırıqları dəstəkləyir, müəllim isə üç sınaqdan ən azı ikisində uğur qazanır. Bu diapazon, nəzarət edilən nümayişlərin zəif modelin artıq sahib olmadığı bir şeyi öyrədə biləcəyi yerdir.

Müsbət yoxlama istinad trayektoriyasının yoxlayıcıdan keçməsini tələb edir. Mənfi yoxlama isə mutasiya olunmuş səhv nəticələrin uğursuz olmasını tələb edir. Birlikdə onlar yoxlayıcının həm qəbul, həm də rədd tərəflərini təzyiqlə sınaqdan keçirirlər. Yalnız müsbətlər yoxlanılırsa, icazə verən yoxlayıcı zibili qəbul edə bilər. Yalnız mənfilər yoxlanılırsa, həddindən artıq sıx yoxlayıcı etibarlı işi rədd edə bilər.

Təkrar cəhd limiti ilə tənqid və təmir dövrəsi, hər bir səhvi dərhal atmaq əvəzinə, uğursuzluğa düçar olan tapşırıqları düzəltməyə çalışır. Təkrar cəhd limitləri vacibdir: sonsuz təmir sadəcə yoxlama siyahısından keçmək üçün getdikcə daha süni məhdudiyyətlər yarada bilər.

Toplu səviyyəli meta-icmal daha sonra əhatə dairəsi, müxtəliflik, artıqlıq və uğursuz hədəflər üçün dəsti araşdırır. Nümunə qapıları fərdi elementləri sağlam saxlayır; toplu icmal tədris planının bir dar uğursuzluq rejimində qruplaşdırılmasının və ya demək olar ki, təkrarlananların klonlaşdırılmasının qarşısını alır.

Bu nəzarətlər, boru kəmərinin həcmi uyğunluq əvəzinə qəbul etmədən minlərlə nümunənin istehsalını saatlarla vaxt sərf edə biləcəyini izah edir. Sürət sahəyə və müəllim ölçüsünə görə dəyişir, lakin KC hekayəsi ardıcıldır: çətinlik diapazonu, müsbət və mənfi yoxlama, limitlərlə təmir, sonra meta-nəzərdən keçirmə.

Xam xətalar vs kartlar vs təsdiqlənmiş SFT dəstləri

Hər bir artefaktın nə üçün yaxşı olduğunu müqayisə etmək kömək edir. Xam nasazlıq qeydləri diaqnostikdir. Qabiliyyət kartları generativ müqavilələrdir. Təcrübədə məşq etdiyiniz şeylər təsdiqlənmiş nəzarətli incə tənzimləmə dəstləridir.

EnterpriseOps Gym-dəki Hybrid və ITSM görüntülərində müəllif tərəfindən bildirilən çalışmalarda hədəf kimi Gemma-4-26B-A4B-it istifadə edilmişdir. Hybrid bu hədəfi müəllim kimi Qwen3.8-27B ilə birləşdirmiş və təxminən 18 saat ərzində təxminən 2000 hibrid nümunə, ən yaxşı yoxlama nöqtəsi 5-ci dövrdə olmuşdur. Orta Pass@1 7,2 faiz bəndi artmışdır - təxminən 35 faiz nisbi - doğrulayıcı uğuru 63,01 faizdən 68,55 faizə yüksələrək Pass@1 aralığının referans modelinə qədər təxminən 59 faizini bağlamışdır.

ITSM eyni hədəfi DeepSeek-V4.1-Flash ilə müəllim kimi birləşdirdi və təxminən 66 saat ərzində təxminən 1994 nümunəki, bu da qismən müəllimin daha böyük olması və bəzi boru kəməri optimallaşdırmalarının hələ tətbiq edilməməsi səbəbindən daha uzundur. Orta Pass@1 göstəricisi 18,77 faizdən 27,18 faizə yüksəldi.

Bu rəqəmləri sınaqdan keçirilmiş sahələr üçün bu idman zalı üzrə şirkət araşdırmasının nəticələri kimi oxuyun - müstəqil üçüncü tərəf replikası və universal müəssisə zəmanəti kimi deyil. Qazanclar müəllim gücü, yoxlayıcı keyfiyyəti və ətraf mühitə sədaqət arasında birbaşa əlaqədədir.

Təcrübəçilər dövrədən nələri kopyalamalıdırlar

Yığınınız ServiceNow-un tədqiqat boru kəməri olmasa belə, nümunə köçürülür. İstehsala bənzər bir hədəfin və etibarlı bir sandboxda daha güclü bir müəllimin cüt qiymətləndirilməsi ilə başlayın. Kontrast uğursuzluqlarını identifikatorları və trayektoriyaları ləğv edən qabiliyyət kartlarına çevirin. Tələb olunan son vəziyyət xüsusiyyətlərini qoruyarkən icazə verilən ölçüləri dəyişən tapşırıqlar yaradın. Müəllimin uğurlarını nümayiş etdirməsini təmin edin. Çətinlik zolaqları, müsbət və mənfi yoxlama, məhdud təmir və toplu müxtəliflik icmalı ilə qapını dəqiqləşdirin, yenidən qiymətləndirin və sərhədi dəyişdirin.

Doğrulayıcı dizaynına xüsusi diqqət yetirin. EnterpriseOps Gym stilində SQL nəticə yoxlamaları və siyasətlə idarə olunan əməliyyatlar, söhbət rubrikalarının özlərinin niyə vəziyyətli iş üçün zəif olduğunu göstərir. Doğrulayıcınız mutasiyaya uğramış səhv nəticələri düzgün finallardan ayırd edə bilmirsə, sintetik miqyas səs-küyü artıracaq.

Həmçinin vurma qaydası ruhuna hörmət edin: qəbul edilmiş hədəflərin variantları yoxlanılmış nüvələrə qayıtmadan sonsuza qədər daha çox variant əkməməlidir. Drift sakitdir. Daha ekzotik məhdudiyyətlər yavaş-yavaş icad edən tədris planı yenə də dayaz filtrlərdən keçə bilər və orijinal qabiliyyəti yetərincə öyrədilməmiş qoyur.

Nəhayət, hibrid sahələrarası işə birinci dərəcəli stress halı kimi yanaşın. Adi istifadəçilər tək bir alət silosunda qalmırlar. Hibrid tapşırıqlar, uzun üfüq trayektoriyaları və imtina və ya qeyri-mümkünlük testləri ətraf mühit səriştəsinin özünü göstərdiyi və ya ucadan uğursuz olduğu yerlərdir.

Xəbərdarlıqlar, məhdudiyyətlər və qazancların diqqətlə oxunması

EnterpriseOps Gym-də müəllif tərəfindən bildirilən nəticələr ümumi zəmanət deyil, məlumatverici siqnallardır. Dərc edilmiş Hybrid və ITSM qazancları təsvir edilən quraşdırma altında həmin domenlərə və model cütləşmələrinə tətbiq olunur. Digər domenlər, daha zəif müəllimlər, daha səs-küylü yoxlayıcılar və ya daha dayaz mühit sədaqəti faydanı azalda və ya silə bilər.

Keyfiyyət heç bir marketinq parıltısının atlaya bilməyəcəyi üç sütundan asılıdır. Müəllimin gücü nümayişlər üçün tavanı müəyyən edir. Doğrulayıcı keyfiyyət etiketlərin və filtrlərin etibarlılığını müəyyən edir. Ətraf mühitin sədaqəti öyrənilən davranışların istehsal sistemləri, qaydalar və məlumat vəziyyəti ilə təmasdan sağ çıxıb-qalmadığını müəyyən edir.

AutoSynthData-nın təcrübələri nəzarətli dəqiq tənzimləməni vurğulayır. Gücləndirici təlim, hesabat işində çatdırılmaq əvəzinə planlaşdırılan eyni döngənin mümkün sonrakı istifadəsi kimi qeyd olunur. Oxucular tədris planına hazır məlumat mühərrikini bitmiş RL təlim iddiası ilə qarışdırmamalıdırlar.

Oxucular sintez boru kəmərini dəzgahın özü ilə qarışdırmamalıdırlar. EnterpriseOps Gym seçilmiş tapşırıqlar, alətlər, cədvəllər, konteynerləşdirmə və yoxlama materialı təqdim edir. AutoSynthData uğursuzluqları təlim qızılına çevirmək üçün bu cür mühitdən istifadə edir. Hər iki hissəni dəqiq qeyd edin: idman zalı agentləri vurğulayır; boru kəməri aşkar edilmiş boşluqlardan öyrənilə bilən tapşırıqları artırır.

Sandbox daxilində hesablama və təqvim vaxtı üçün pulsuz nahar da yoxdur. Hibrid sintez təxminən iki min nümunə üçün saatlarla tamamlandı; daha ağır müəllim və əvvəlki boru kəməri forması ilə ITSM daha uzun çəkdi. Komandalar müəllimlərin nəticə çıxarması, tənqid və ya təmir üçün təkrar cəhdlər və hər tədris planı addımından sonra yenidən qiymətləndirmə üçün büdcə ayırmalıdırlar.

Müəssisə agent komandaları üçün tədris planı

AutoSynthData-dakı ən dərin ideya sırf generativ deyil, tədris planıdır. Uğursuzluqlar diaqnoz edilir. Kartlar mücərrədləşdirilir. Nəsil artırılır. QC təsdiqlənir. SFT hədəfi yeniləyir. Yenidən qiymətləndirmə sərhədi hərəkət etdirir. Bu ardıcıllıq agent təkmilləşdirilməsini tək bir oflayn izlər dumpu əvəzinə ətraf mühitə əsaslanan dərslər seriyası kimi qəbul edir.

Tədris planı düşüncəsi liderlərin səyləri necə bölüşdürdüyünü dəyişir. Yalnız daha çox bilet və ya daha çox insan annotasiyası istəmək əvəzinə, hansı qabiliyyətlərin variasiya zamanı hələ də uğursuz olduğunu, bu qabiliyyətlərin təmiz yekun vəziyyət xüsusiyyətlərinə malik olub-olmadığını və daha güclü bir müəllimin onları etibarlı şəkildə nümayiş etdirə biləcəyini soruşun. Əgər müəllim kifayət qədər tez-tez uğur qazana bilmirsə, sintetik SFT etibarsız davranış öyrədəcək. Əgər yekun vəziyyət xüsusiyyətləri qeyri-səlisdirsə, yoxlayıcılar etibarlı strategiyalarla mübahisə edəcəklər.

Bu, həmçinin uğur haqqında danışma tərzinizi də dəyişdirir. Hibriddə 1-ci dərəcəli boşluğun bir hissəsini istinad modelinə bağlamaq və ya müəllif tərəfindən bildirilən nəticələrə əsasən ITSM 1-ci dərəcəni 10-cu illərdən 20-ci illərə qaldırmaq, ölçülən ətraf mühit səriştəsi üzrə irəliləyişdir. Bu, hər bir iş axınının, hər bir siyasətin və ya hər bir imtina işinin həll olunduğunun sübutu deyil. Hərəkətli sərhəd dilini saxlayın: qalan boşluqlar sonrakı düşünülmüş sürüşmə deyil, növbəti Hədəf mərhələsinə çevrilir.

Proqram dizaynı üçün bu döngəni, risklərin yüksək olduğu insan baxışı ilə birləşdirin - təhlükəsizlik siyasətləri, dönməz tədbirlər, tənzimlənən məlumatlar - avtomatlaşdırılmış qapıların yaxşı müəyyən edilmiş vəziyyət yoxlamaları üzərində həcmi daşımasına icazə verərkən. Sintetik məlumatlar mühit SQL kimi aydınlıqla "bəli" və ya "xeyr" deyə bildikdə ən yaxşı işləyir. Uğur subyektiv zövqə əsaslandıqda çətinlik çəkir.

Çətinlik, realizm və imtina haqqında dizayn qeydləri

Çətinlik hədəfləməsi ikinci dəfə nəzərdən keçirilməyə layiqdir. Hədəfin həll etdiyi tapşırıqlara üstünlük vermək təlimi xırda şeylərdən uzaqlaşdırır. Müəllimdən vaxtın ən azı üçdə ikisində uğur qazanmasını tələb etmək isə nümayişləri sikkə atmaqdan uzaqlaşdırır. Bu zolaq çətinlik və öyrənmə qabiliyyəti arasında praktik bir güzəştdir.

Realizm daha yumşaq bir meyar olaraq qalır, lakin yenə də vacibdir. Müəssisə istifadəçiləri rollarına və sistemlərinə uyğun şeylər istəyirlər. Yalnız sərtliklə idarə olunan generatorlar heç bir operatorun istəməyəcəyi mürəkkəb çoxməhdudiyyətli tapmacalar icad edə bilər. Dəyişkən ölçüləri sadalayan qabiliyyət kartları kömək edir, lakin insanlar və ya meta-icmal hələ də sürreal sualları tutmalıdırlar.

imtina və qeyri-mümkünlük testi, komandalara xatırladır ki, səriştəyə "yox" demək də daxildir. Yalnız tamamlana bilən tapşırıqlar üçün optimallaşdırılmış boru kəməri imtina təlimini zəiflədə bilər. AutoSynthData stilindəki döngələri genişləndirərkən, düzgün son xüsusiyyətin yalnız verilənlər bazası vəziyyətinin uğurlu mutasiyası deyil, siyasət altında təhlükəsiz bir azalma olduğu kartları daxil edin.

Uzun üfüqdə vəziyyətli trayektoriyalar başqa bir dizayn qeydini ortaya qoyur. Müəllim demoları bir çox alət çağırışlarında ardıcıl qalmalıdır. Yalnız son cədvəl sətrini yoxlayan yoxlayıcılar aralıq siyasət fasilələrini qaçıra bilərlər. Yoxlayıcı dizaynında tamlıq, həmin qabiliyyət üçün uğuru həqiqətən müəyyən edən xüsusiyyətləri əhatə etmək deməkdir - o cümlədən yalnız sonunda deyil, bütün müddət ərzində doğru qalmalı olan məhdudiyyətlər.

Yekun xülasə

ServiceNow CoreAI / ServiceNow-AI tərəfindən hazırlanmış və Esakkivel Esakkiraja tərəfindən ictimai məqalədə yazılmış AutoSynthData, hədəf agent uğursuzluqlarını müəllim uğurları ilə birlikdə müəssisə mühitləri üçün təsdiqlənmiş sintetik təlim tapşırıqlarına çevirən bir boru kəməridir. Uğursuzluqları dezinfeksiya edilmiş qabiliyyət spesifikasiyası kartlarına çevirir, orijinal tapşırıqları və ya trayektoriyaları sızdırmadan yeni tapşırıqlar yaradır, müəllim nümayişlərini toplayır və nəzarətli dəqiq tənzimləmədən əvvəl nümunə səviyyəsində və toplu səviyyədə keyfiyyətə nəzarəti tətbiq edir.

Praktik zehni model, sistem spesifikasiyası, istifadəçi təklifi və yoxlayıcı kimi tapşırıqdır - mümkünlük, realizm və gərginlikdə saxlanılan çətinlik, həmçinin nə çox zəif, nə də bir yola bağlı olmayan yoxlayıcılarla. Hədəf, sonra fazaları vurun, vurulmuş nümunələr üçün əlavə toxum qoymayan qayda, ortaq nəzarətçi və ətraf mühit adapteri və SFT sonrası yenidən qiymətləndirmə qalan boşluqlar üzərində hərəkətli bir sərhəd yaradır.

EnterpriseOps Gym-də müəllif tərəfindən bildirilən Gemma-4-26B-A4B-it və Qwen3.8-27B ilə aparılan hibrid nəticələr təxminən on səkkiz saat ərzində təxminən iki min nümunə göstərir və mənalı Pass@1 və verifier-success göstəricilərini artırır və istinad modelinə olan boşluğun böyük bir hissəsini bağlayır. DeepSeek-V4.1-Flash müəllimi olan ITSM, daha uzun müddət ərzində təxminən 1994 nümunədə Pass@1 göstəricisinin 18,77 faizdən 27,18 faizə yüksəldiyini göstərir. Bu rəqəmləri müəllimdən, verifierdən və mühitin sədaqətindən asılı olaraq müəyyən sahələrdə tədqiq edilmiş siqnallar kimi qəbul edin və möhkəmləndirmə təlimini bitmiş bir iddia deyil, dövrənin planlaşdırılmış bir uzantısı kimi saxlayın.

Bir cümləni xatırlayırsınızsa: müəssisə agentləri uğursuzluqlar komandalar sadəcə eyni pozulmuş bileti təkrarladıqda deyil, gündəlik işlətməli olduqları sistemlərdə mücərrəd, çoxaldılmış və təsdiqlənmiş dərslərə çevrildikdə təkmilləşirlər.

Praktik nümunə: Dondurulmuş idman zalı tipli uğursuzluq dəstindən çətin ITSM hallarının genişləndirilməsi

Ssenari

Böyük Britaniyanın korporativ platforma komandası - dəyişiklik pəncərələri, CMDB əlaqələri və siyasətə bağlı keçidləri olan ServiceNow stilində ITSM işlədən orta ölçülü maliyyə xidmətləri əməliyyat qrupu düşünün - eyni iş sinfində büdrəyən istehsala bənzər bir agentə malikdir: təsdiq tələbinə uyğun gəlməli olan cədvəllərarası yeniləmələr, yerli dəyişikliklərin dondurulması ilə ziddiyyət təşkil edən bilik məqaləsi axtarışları və bitişik əməliyyat alətlərinə ITSM-i qarışdıran hibrid sorğular.

Onlar özəl EnterpriseOps İdman Zalı tipli dəstini (konteynerləşdirilmiş sandbox, SQL nəticə yoxlamaları, toxum cədvəlləri, siyasət qaydaları) dondururlar, buna görə də ballar həftədən həftəyə müqayisə edilə bilər. Diaqnostik çalışmalar göstərir ki, daha güclü müəllim uğur qazandığı yerdə hədəf agent uğursuz olur. Rəhbərlik eyni bilet nömrələrini və qurum ID-lərini təkrarlamadan daha çox təlim siqnalı istəyir. AutoSynthData (və ya tədqiqat boru kəməri onların yığınında qapalıdırsa, ekvivalent sintezator-uğursuzluqlar döngəsi) namizəddir: kontrast uğursuzluqlarını dezinfeksiya edilmiş qabiliyyət spesifikasiyası kartlarına çevirin, yeni tapşırıqlar yaradın, müəllim demolarını toplayın, sonra isə - tənqidi olaraq - hər hansı bir yenidən təlimdən əvvəl sintetik izləri insan tərəfindən nəzərdən keçirin.

Heç nə Gym Pass@1-ə öz-özünə göndərilmir. Sintezator məlumatları pulsuz həqiqət kimi deyil, namizəd tədris planı kimi qəbul edilir.

Köməkçinin nəyə ehtiyacı var

• Dondurulmuş Gym stili mühit adapterinə giriş: alətlər, toxum vəziyyəti, siyasətlər və SQL (və ya ekvivalent vəziyyət əsaslı) yoxlayıcıları.
• Cütləşdirilmiş qiymətləndirmə qeydləri: hədəf uğursuzluqları müəllimlərin eyni tapşırıqlardakı uğurları ilə müqayisə edilir.
• Orijinal sorğular, obyektlər, trayektoriyalar və ya yoxlayıcı daxili elementlər olmadan qabiliyyəti, alətləri/iş axını formasını, uğursuzluq/uğur kontrastını, tələb olunan son vəziyyət xüsusiyyətlərini və icazə verilən variasiya ölçülərini əks etdirən kart sxemi.
• Hər hansı bir şey sandbox-dan çıxmazdan və ya generator sorğusuna daxil olmazdan əvvəl PII və siyasət təmizləmə qaydaları (bilet ID-ləri, istifadəçi adları, CI adları, tənzimlənən sahələr).
• Nümunəvi sintetik tapşırıqlar və müəllim izləri (imkanlılıq, realizm, yoxlayıcının etibarlılığı, imtina/imkansızlıq halları) üçün insan baxış növbəsi.
• Aydın dayanma şərtləri: Hədəfləyin, sonra fazaları vurun; vurulmuş nümunələr daha çox vurma mərmiləri əkmir.

Nümunə təlimat

Platformadan tədris planı operatoruna (və ya yalnız kartları və icmal paketlərini hazırlayan orkestr köməkçisinə) aparan rəhbər:

“Dondurulmuş ITSM və Hibrid dilimlərində cari hədəfimizə və təyin olunmuş müəllimə qarşı diaqnostik Pass@1-i işə salın. Hədəfin uğursuz olduğu və müəllimin üç sınaqdan ən azı ikisində uğur qazandığı hər bir kontrast üçün dezinfeksiya edilmiş qabiliyyət spesifikasiyası kartı hazırlayın: qabiliyyəti adlandırın, müvafiq alətləri sadalayın, tələb olunan son vəziyyət xüsusiyyətlərini bildirin və idarə oluna bilən ölçüləri sadalayın (prioritet zolaq, əlaqəli CI sinfi, dəyişiklik pəncərəsi bayrağı, bilik münaqişəsi növü). Zolaq bilet nömrələrini, istifadəçi identifikatorlarını, CI adlarını və xam trayektoriyaları. Yalnız bu kartlardan yeni tapşırıqların Hədəf mərhələsi dəstini yaradın. Müəllimin uğurlarını nümayiş etdirməsinə icazə verin. Çətinlik zolağını (hədəf ≤1/3, müəllim ≥2/3), müsbət və mənfi yoxlamanı və məhdud tənqid/təmiri tətbiq edin. 5% təbəqələşdirilmiş nümunələrdən ibarət bir baxış paketi və hər bir imtina/qeyri-mümkünlük kartı hazırlayın. İki rəyçi paketdə imza atana və PII yoxlamalarının keçdiyini yoxlayana qədər SFT-yə başlamayın. Namizəd yoxlama nöqtəsində SFT-dən sonra, dondurulmuş dəstdə və generasiya üçün heç vaxt istifadə etmədiyimiz gözləmə dəqiq uyğunluq dəstində yenidən qiymətləndirin. Uğursuzluq sinfi və reqressiya nisbəti ilə müqayisədə əhatə dairəsini bildirin. əvvəlki istehsal yoxlama məntəqəsi. İdman zalı balının özü üzərindən təşviq etməyin

Bunu necə sınaqdan keçirmək olar

1. Əsas kilidləmə: Dondurulmuş dəstdə uğursuzluq sinfinə görə (ön şərt sifarişi, dəyişiklik pəncərəsində imtina, hibrid çarpaz alət, bilik münaqişəsi) Pass@1 və doğrulayıcının uğur nisbətlərini qeyd edin. Dəsti və toxumları dövr üçün dəyişməz saxlayın.
2. Kart yoxlaması: Generatorların heç vaxt orijinal tapşırıqları, varlıqları və ya müəllim izlərini almadığını yoxlayın - yalnız kartlar.
3. Nümunə Keyfiyyət Nəzarəti: Müsbət trayektoriyaların yoxlayıcılardan keçdiyini və mutasiya olunmuş səhv nəticələrin uğursuz olduğunu təsdiqləyin. Hədəf üçün əhəmiyyətsiz olan tapşırıqları rədd edin və ya müəllim üçün sikkə atın.
4. İnsan tərəfindən nəzərdən keçirilmə: Rəyçilər hər bir nümunəni mümkünlük, realizm və siyasət təhlükəsizliyi baxımından saxlamaq/təmir etmək/təxirə salmaq kimi qeyd edirlər. Paylaşılan alt dəstdə rəyçilərarası razılaşmanı izləyin.
5. Dəqiq uyğunluq: Namizəd SFT-dən sonra, kartoqrafik və ya generasiya üçün heç vaxt daxil edilməmiş real (və ya əvvəllər dondurulmuş) tapşırıqların bir hissəsini qiymətləndirin. Səthi əzbərləməni aşkar etmək üçün təlim tapşırıqlarının demək olar ki, parafrazalarını ayrıca qiymətləndirin.
6. Reqressiya qapısı: Əvvəlki istehsal yoxlama nöqtəsi ilə müqayisədə pisləşən hər hansı bir uğursuzluq sinfi izah edilənə və ya düzəldilənə qədər təşviqi bloklayır.

Nəticə

Burada məhsuldarlıq faizlərini uydurmayın. Ölçmə planından istifadə edin və dərc olunmuş tədqiqat rəqəmlərini istinad edərkən MƏQALƏ İDDİASI kimi etiketləyin.

Ölçmə planı (bu komandanın hesabat verməli olduğu şeylər):

• Uğursuzluq sinfinin əhatə dairəsi: QC-dən sonra ≥N qəbul edilmiş Hədəf mərhələsi tapşırıqlarını yaradan diaqnoz qoyulmuş boşluq siniflərinin payı (əvvəlcədən N təyin edin, məsələn, hər sinif üçün 20 qəbul edilmiş tapşırıq).
• Dəqiq uyğunluq: Namizəd SFT-dən əvvəl və sonra toxunulmamış saxlamada 1 nömrəli keçid / təsdiqləyicinin uğuru (eyni toxumlar, eyni təsdiqləyici).
• Reqressiya dərəcəsi: Pass@1-in əvvəlki istehsal yoxlama nöqtəsinə düşdüyü nasazlıq siniflərinin sayı; təhlükəsizlik baxımından vacib siniflərdən hər hansı biri geriləyirsə, bloklayın.
• Baxış nəticəsi: insan rəy paketindəki nisbətləri saxlayın / bərpa edin / endirin; düşmə nisbəti kəskin şəkildə artarsa, Vurma əməliyyatını dayandırın və kartları və ya doğrulayıcıları düzəldin.
• Skrab xətaları: yoxlama imzalanmadan əvvəl PII/siyasət yoxlamalarından keçməyən nümunələrin sayı (hədəf: SFT dəstinə sıfır qaçış).

MƏQALƏ İDDİASI (müəllif tərəfindən EnterpriseOps Gym-də bildirilib - bu komandanın ölçülmüş nəticəsi deyil): Hibrid, hədəf olaraq Gemma-4-26B-A4B-it və müəllim olaraq Qwen3.8-27B ilə təxminən 18 saat ərzində təxminən 2000 nümunə istehsal etdi, orta Pass@1 təxminən 7,2 faiz bəndi artdı və yoxlama uğuru 63,01%-dən 68,55%-ə yüksəldi. Müəllim olaraq DeepSeek-V4.1-Flash ilə ITSM, daha uzun müddət ərzində (~66 saat) təxminən 1994 nümunədə orta Pass@1-i 18,77%-dən 27,18%-ə yüksəltdi. Bunlara müəyyən domenlər və cütləşmələr üzrə tədqiq edilmiş siqnallar kimi yanaşın, Böyük Britaniya istehsal yığını üçün universal zəmanət deyil.

Proqramın nümunəvi forması (ölçülmüş qazanclar deyil, fərziyyələr): Əgər komanda bir ITSM dövrü üçün təxminən 2000 QC ilə tənzimlənən nümunə qəbul edirsə, müəllimin qiymətləndirməsini və 5% təbəqələşdirilmiş nümunə götürmə ilə icmalı büdcələşdirirsə və yalnız təhlükəsizlik baxımından vacib olan sinifləri geriləmədikdə təşviq edirsə, onların açıq şəkildə iddia edə biləcəyi "nəticə" prosesin yetkinliyidir - yoxlanılmış tədris planı, təmizlənmiş izlər və müqayisə edilə bilən dondurulmuş dəst deltaları - vəd edilmiş faiz artımı deyil.

Nə səhv gedə bilər

• Sintezatoru pulsuz həqiqət kimi qəbul etmək: İnsan rəyini və ya mənfi yoxlamanı atlamaq, icazə verən yoxlayıcıların zibili miqyasda qəbul etməsinə imkan verir.
• Obyekt sızması: Orijinal bilet şəxsiyyət vəsiqələrinin və ya müəllim izlərinin generatora daxil edilməsi, parafraza uyğunsuzluğa səbəb olur; bunun qarşısını almaq üçün kartlar mövcuddur.
• Sərhədsiz Vurma: Vurulmuş nümunələrin daha çox dövrə əkməsinə icazə vermək, adlandırılmış qabiliyyətdən uzaqlaşır.
• İdman zalı üzrə çatdırılma: Təşviq, çünki dondurulmuş paketdə 1 nömrəli pass artdı, istehsalda isə kölgə trafiki pisləşdi.
• Zəif müəllim tavanı: Əgər müəllim ≥2/3 uğur aralığını keçə bilmirsə, SFT etibarsız demolar öyrədir.
• Qeyri-səlis yoxlayıcılar: Dövlət əsaslı yoxlamalar əvəzinə söhbət rubrikaları səlis səhv finalları uğur kimi qiymətləndirir.
• Təlim çatışmazlığından imtina: Yalnız tamamlana bilən mutasiyalar üçün optimallaşdırma dəyişiklik pəncərəsi yaradır və siyasət kövrəkləşir.
• PII qaçışı: Səthi təmizləmədən sonra real CI və ya istifadəçi adlarını yenidən təqdim edən sintetik sorğular.

Praktik yemək

AutoSynthData üslublu döngələrdən - və ya ServiceNow CoreAI boru kəməri icarənizdə mövcud deyilsə, ekvivalent sintezator-xəta nümunəsindən - diaqnoz qoyulmuş boşluqlardan dəqiq, yoxlanıla bilən ITSM hallarını çoxaltmaq üçün istifadə edin. Qabiliyyət kartlarına dezinfeksiya edin, çətinlik və müsbət/mənfi yoxlama ilə qapını bağlayın, SFT-dən əvvəl PII və insan tərəfindən nəzərdən keçirilən nümunələri təmizləyin. Xəta sinfinin əhatə dairəsini, gözləmə dəqiqliyini və reqressiya nisbətini ölçün. MƏQALƏ İDDİASI İdman zalı rəqəmlərinə yalnız xarici tədqiqat konteksti kimi istinad edin. Sintezator məlumatları tədris planının yanacağıdır, zəmanət deyil: nümunələri yoxlayın, dəsti ədalətli müqayisə üçün dondurulmuş saxlayın və heç vaxt İdman zalı balını təkbaşına göndərməyin.

Tez-tez verilən suallar

AutoSynthData nədir və hansı problemi hədəf alır?

AutoSynthData, Esakkivel Esakkiraja tərəfindən təsvir edilən və hədəf agentin uğursuzluqlarını daha güclü müəllimin qələbələri ilə birlikdə müəssisə mühitləri üçün təsdiqlənmiş sintetik təlim tapşırıqlarına birləşdirən ServiceNow CoreAI / ServiceNow-AI boru kəməridir. Bu, geniş ümumi biliklər əvəzinə ətraf mühit səriştəsinə - yerli siyasətlərə, sxemlərə, alətlərə və vəziyyətə - əhəmiyyət verir. Məqsəd, eyni pozulmuş bileti təkrarlamaq əvəzinə, nəzarət edilən incə tənzimləmənin ətraf mühitə xas boşluqları düzəldə bilməsi üçün çətin, yoxlanıla bilən işləri çoxaltmaqdır.

Ətraf mühit səriştəsi nə üçün geniş model qabiliyyətindən fərqlənir?

Müəssisə agentləri tez-tez ətraf mühitin özünəməxsus olması səbəbindən büdrəyirlər: bilet siyasətləri, sxem qəribəlikləri, alət müqavilələri, əsas verilənlər bazaları və sistemlərarası iş axınları. Açıq etalonlarda güclü görünən model yenə də dəyişiklik pəncərəsində, CMDB əlaqəsində və ya son vəziyyəti yoxlayan yoxlayıcıda donub qala bilər. Geniş imkanlar sistemlərinizin, qaydalarınızın və məlumat vəziyyətinizin siyasətlə idarə olunan keçidlər altında necə davrandığını bilməklə eyni deyil.

AutoSynthData hansı praktik tapşırıq formasından istifadə edir?

İşlək forma, tapşırıq sistem spesifikasiyasına, istifadəçi sorğusuna və yoxlayıcıya bərabərdir. Sistem spesifikasiyası məhdudiyyətləri, siyasətləri və verilənlər bazası toxumları və bilik məqalələri kimi ilkin vəziyyəti ehtiva edir. İstifadəçi sorğuları mümkünlük, realizm və çətinlik baxımından qiymətləndirilir. Yoxlayıcılar ideal olaraq SQL əsaslı və ya vəziyyət əsaslı nəticə yoxlamalarına əsaslanırlar ki, agentin hərəkətindən sonra dünyanı yalnız dəqiq keçdiyi token yolunu deyil, həm də qiymətləndirsinlər.

Dezinfeksiya edilmiş qabiliyyət spesifikasiyalı kartlar həddindən artıq uyğunlaşmanın qarşısını necə alır?

Diaqnostika hədəfin uğursuz olduğu və müəllimin uğur qazandığı hallarda kontrastı işə salır, sonra bu halları dezinfeksiya edilmiş qabiliyyət spesifikasiyası kartlarına daxil edir. Kartda qabiliyyət, alətlər və ya iş axını forması, uğursuzluq/uğur kontrastı, tələb olunan son vəziyyət xüsusiyyətləri və dəyişə bilən ölçülər qeyd olunur. Generator heç vaxt orijinal tapşırıqları, varlıqları, trayektoriyaları və ya yoxlayıcı detalları görmür - yalnız kartları - buna görə də yeni tapşırıqlar əzbərlənmiş bir epizodu təkrarlamadan əsas hissəyə daxil edilir.

Boru kəmərindəki Hədəf və Çarpma mərhələləri hansılardır?

Hədəf fazası boşluqlar ətrafındakı əsas yoxlanılmış nümunələrə - zəif agentin qırıldığı yerə yaxın ən yüksək siqnal tapşırıqlarına diqqət yetirir. Vurma fazası qəbul edilmiş hədəflərin yeni variantlarını fırladır. Vurulmuş nümunələr daha çox vurma raundları yarada bilmir ki, bu da yoxlanılan adlandırılmış imkandan uzaqlaşmağa mane olur. Nəzarət altında dəqiq tənzimləmə aparıldıqdan sonra yenidən qiymətləndirmə tədris planını statik bir boşluq deyil, hərəkətli bir sərhəd kimi qalan boşluqlara doğru dəyişir.

Nümunə səviyyəli keyfiyyətə nəzarət sintetik tapşırıqların etibarlılığını necə qoruyur?

Həlledici çətinlik filtri hədəfin üç sınaqdan ən çoxu birində həll etdiyi tapşırıqlara üstünlük verir, müəllim isə üç sınaqdan ən azı ikisində uğur qazanır. Müsbət yoxlamanın keçməsi üçün istinad trayektoriyası tələb olunur; mənfi yoxlamanın uğursuz olması üçün mutasiyaya uğramış səhv nəticələr tələb olunur. Təkrar cəhd limiti olan tənqid və təmir dövrəsi demək olar ki, səhvləri düzəltməyə çalışır və toplu səviyyəli meta-nəzər dəst üzrə əhatə dairəsini, müxtəlifliyi, artıqlığı və uğursuz hədəfləri yoxlayır.

AutoSynthData müəssisə domenlərində hansı arxitekturadan istifadə edir?

Paylaşılan nəzarətçini mühit adapteri ilə birləşdirir. Nəzarətçi diaqnostika, kartlaşdırma, generasiya, müəllim demoları, keyfiyyət qapıları və toplu icmal funksiyalarını yerinə yetirir. Adapter bu addımları - alətlər, vəziyyət, siyasətlər və yoxlayıcıları - konkret bir sandboxa birləşdirir ki, eyni idarəetmə döngəsi tədris planı məntiqini sıfırdan yenidən yazmadan fərqli sahələrə işarə edə bilsin.

Bu tədqiqat kontekstində EnterpriseOps Gym nədir?

EnterpriseOps Gym, 8 sahədə təxminən 1150 mütəxəssis tərəfindən hazırlanmış tapşırıq, təxminən 512 alət, təxminən 164 verilənlər bazası cədvəli, konteynerləşdirilmiş icra, SQL əsaslı nəticə yoxlaması, siyasətlə idarə olunan əməliyyatlar, hibrid ssenarilər və uzun üfüqlü vəziyyətli trayektoriyalar ilə stress testi yatağı kimi istifadə edilən genişmiqyaslı müəssisə agenti skamyasıdır. AutoSynthData həmin idman zalı icad edən kimi təqdim edilmir; idman zalı sintez dövrəsini hərəkətdə göstərir.

Hibrid və ITSM parametrləri üçün müəllif tərəfindən bildirilən hansı nəticələr görünür?

EnterpriseOps Gym-də Hybrid, hədəf olaraq Gemma-4-26B-A4B-it və müəllim olaraq Qwen3.8-27B ilə təxminən 18 saat ərzində təxminən 2000 nümunə istehsal etdi, orta Keçmə@1 təxminən 7,2 faiz bəndi artdı və doğrulayıcının uğuru 63,01%-dən 68,55%-ə yüksəldi. Müəllim olaraq DeepSeek-V4.1-Flash ilə ITSM, daha uzun müddət ərzində təxminən 1994 nümunədə orta Keçmə@1-i 18,77%-dən 27,18%-ə yüksəltdi. Bunlara universal istehsal zəmanəti deyil, müəyyən cütləşmələrdə tədqiq edilmiş siqnallar kimi yanaşın.

Komandalar uğursuzluqlardan sintezator döngələrindən istifadə edərkən hansı səhvlərdən çəkinməlidirlər?

Sintetik məlumatları pulsuz həqiqət kimi qəbul etməyin və ya insan tərəfindən yoxlanılan və mənfi yoxlamanı qaçırmayın. Orijinal bilet şəxsiyyət vəsiqələrini və ya müəllim izlərini generatora daxil etməkdən, çoxaldılmış nümunələrin daha çox raundlara yayılmasına icazə verməkdən və ya gözləmə və ya kölgə trafiki artarkən Gym Pass@1-də təkbaşına təbliğ etməkdən çəkinin. Həmçinin, uğur zolağından aşağıda zəif müəllimləri, dövlət yoxlamaları əvəzinə qeyri-səlis söhbət rubrikalarını, təlimdən kənar imtina hallarını və dayaz təmizləmədən sonra PII-nin qaçışını izləyin.

İstinadlar

1. Qucaqlaşan Üz — AutoSynthData — huggingface.co
2. EnterpriseOps İdman Zalı — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com