Süni intellektdə Token nədir? [Video və Viktorina]

Qısa cavab: Token, süni intellekt modelinin rəqəmlərə və proseslərə çevirdiyi kiçik bir mətn və ya məlumat parçasıdır. Tokenlər xərc, sürət, yaddaş və çıxış uzunluğuna təsir göstərir. Bir sorğu kontekst pəncərəsini aşdıqda, vacib məzmun qısaldıla, ümumiləşdirilə və ya xaric edilə bilər.

Əsas nəticələr:

Tokenizasiya: Sözlər, durğu işarələri, boşluqlar və kod müxtəlif yollarla bölünə bilər.

Kontekst: Vacib məlumatları modelin mövcud token pəncərəsində saxlayın.

Qiymət: Yüksək həcmli süni intellekt iş axınlarında təkrarlanan təlimatları və lazımsız mətnləri azaldın.

Aydınlıq: Əsas tapşırığı əvvəlcədən bildirin və tələbləri aydın etiketlərlə təşkil edin.

Səmərəlilik: Nəticələri birləşdirməzdən əvvəl böyük sənədləri məntiqi hissələrə bölün.

Bundan sonra oxumaq istəyə biləcəyiniz məqalələr:

🔗 Süni intellekt hansı növləridir?
Süni intellekt kateqoriyalarını qabiliyyət, funksionallıq, təlim tərzi və praktik istifadəyə görə anlayın.

🔗 Süni intellekt eynəkləri nədir?
Ağıllı eynəklərin xüsusiyyətlərini, əlsiz istifadəni, məxfiliyi və praktik məhdudiyyətləri araşdırın.

🔗 Süni intellekt TV nədir?
Süni intellektin şəkil, səs, axtarış, tövsiyələr və əlçatanlığı necə yaxşılaşdırdığını öyrənin.

🔗 Süni intellekt nədir?
Aşağı keyfiyyətli süni intellekt məzmununu tanıyın və dəqiqliyi, orijinallığı və məqsədi artırın.

---

1. Süni intellektdə Token nədir? Sadə Cavab

Süni intellektdə token, modelin dili anlamaq və yaratmaq üçün istifadə etdiyi mətn vahididir .

Məsələn, cümlə:

Mən pizzanı sevirəm.

Tokenlərə bölünə bilər, məsələn:

• Mən

• sevgi

• pizza

• .

Kifayət qədər sadə.

Amma həmişə o qədər də səliqəli olmur. Daha uzun və ya qeyri-adi bir söz daha kiçik hissələrə bölünə bilər. Məsələn:

inanılmaz

Bu kimi bir şeyə çevrilə bilər:

• un

• inanmaq

• bacarıqlı

Fərqli süni intellekt sistemləri fərqli tokenizatorlardan, buna görə də dəqiq bölünmə fərqli ola bilər. Buna görə də tokenlər bir az sürüşkən hiss oluna bilər. Onlar tam olaraq sözlər, tam olaraq hərflər və həmişə hecalar deyil.

Bu barədə düşünməyin daha yaxşı yolu budur:

Tokenlər, süni intellekt modelinin həzm edə biləcəyi kiçik dil parçalarıdır. 🍽️

Çatbota sual verdiyiniz zaman, sistem cümlənizi hamar bir insan düşüncəsi kimi qəbul etmir. Girişi tokenlərə ayırır, onları rəqəmlərə çevirir, əlaqələrini emal edir və sonra cavab formalaşana qədər ən çox ehtimal olunan növbəti tokeni dəfələrlə proqnozlaşdırır.

Beləliklə, insanlar süni intellektdə token nədir deyə soruşduqda , cavab sadəcə "mətn parçası" deyil. Bu, dil süni intellektini mümkün edən əsas işçi vahiddir.

---

2. Niyə Tokenlər İnsanların Gözlədiyindən Daha Çox Əhəmiyyətlidir?

Tokenlər vacibdir, çünki onlar süni intellekt alətlərinin necə işlədiyinə dair demək olar ki, hər şeyə təsir göstərir.

Onlar təsir göstərir:

• Süni intellekt eyni anda nə qədər mətni idarə edə bilər

• Bir çox süni intellekt sistemində bir sorğunun qiyməti nə qədərdir

• Modelin nə qədər tez cavab verməsi

• Model nə qədər detalı yadda saxlaya bilir

• Modelin sizin təklifinizi nə dərəcədə dəqiq başa düşdüyü

• Cavab nə qədər uzun ola bilər

Təəccüblü dərəcədə praktik hala gəldiyi yer budur.

Süni intellekt aləti " kontekst pəncərəsi " olduğunu dedikdə , bu, adətən bir anda nəzərdən keçirə biləcəyi maksimum token sayı deməkdir. Sorğu, söhbət tarixçəsi, yüklənmiş mətn, sistem təlimatları və modelin cavabı hamısı tokenləri tutur.

Beləliklə, böyük bir sənədi süni intellekt köməkçisinə yapışdırıb sonra "Bunu xülasə edin" deyə soruşsanız, model həmin mətni öz işarə həddinə uyğunlaşdırmalıdır. Məzmun çox uzundursa, alətin necə dizayn edilməsindən asılı olaraq hissələr kəsilə, sıxıla və ya nəzərə alınmaya bilər.

Tokenlər sadəcə texniki trivia deyil. Onlar süni intellekt üçün masa sahəsidir. Masanın üzərində çoxlu kağız olur və əşyalar kənardan sürüşməyə başlayır 📄.

---

3. Tokenlər sözlərlə eyni deyil

Bu, yəqin ki, ən böyük anlaşılmazlıqdır.

Bir işarə həmişə bir sözdən ibarət deyil.

Bəzən bir söz bir işarəyə bərabərdir. Bəzən bir söz bir neçə işarəyə çevrilir. Bəzən durğu işarələri və ya boşluqlar ayrıca işarə kimi qəbul edilir. Qıcıqlandırıcı? Bir az. Vacibdir? Çox.

Budur, kobud bir nümunə:

Mətn Nümunəsi	Mümkün Token Bölünməsi	Bu nə deməkdir
pişik	pişik	Bir sadə söz, ehtimal ki, bir işarə
pişiklər	pişiklər və ya pişik + s	Tokenizatordan asılıdır
beynəlmiləlləşmə	beynəlxalq + izasiya və ya daha kiçik hissələr	Uzun sözlər tez-tez bölünür
Süni intellektlə işləyən	Süni intellekt + - + ilə təchiz olunub	Durğu işarələri sayıla bilər
Hey!!!	Hey + ! + ! + !	Bəli, durğu işarələri də işarələri yeyə bilər
superkalifragilistic	yəqin ki, bir neçə parça	Model içəridən ah çəkir, deyəsən 😅

Hər model üçün mükəmməl işləyən universal bir qayda yoxdur.

Ümumi təxmini qiymətləndirməyə görə, bir işarə adətən bir neçə simvolu və ya sözün bir hissəsini təmsil edir. Lakin bu, sadəcə ümumi bir qaydadır, "qospel" deyil. İngilis mətni adətən bəzi digər dillərə nisbətən daha səmərəli şəkildə işarə edir və kod yenə də fərqli davrana bilər.

Buna görə də qısa görünüşlü cümlə gözləniləndən daha çox işarədən istifadə edə bilər. Və ümumi sözlərdən ibarət uzun bir abzas texniki terminlər, simvollar və ya qeyri-adi formatlama ilə dolu bir abzasdan daha rahat işarə edə bilər.

---

4. Süni intellekt mətn yaratmaq üçün tokenlərdən necə istifadə edir

Budur, bir az sehrli hissə - baxmayaraq ki, sehrbaz papağı geyinmiş riyaziyyatdır 🧙.

Bir sorğu yazdığınız zaman süni intellekt sistemi belə bir şey edir:

1. Mətninizi işarələrə bölür

2. Hər bir işarəni ədədi və ya rəqəmli təmsilçiliyə çevirir

3. Nişan nümunələrini və əlaqələrini təhlil edir

4. Növbəti ehtimal olunan tokeni proqnozlaşdırır

5. Həmin proqnozlaşdırma prosesini təkrarlayır

6. Yaradılmış tokenləri yenidən oxunaqlı mətnə ​​çevirir

Beləliklə, əgər yazsanız:

Göy

Model aşağıdakıları proqnozlaşdıra bilər:

mavi

Amma bu, həmçinin proqnozlaşdırıla bilər:

buludlu yağış, ulduzlarla dolu limit deyil

Seçilmiş nəticə modeldən, sorğudan, kontekstdən və təsadüfiliyi və ya yaradıcılığı idarə edən parametrlərdən asılıdır.

Buna görə də süni intellekt bəzən səlis görünür və bəzən də axmaqlıqlara qapılır. Bu, tamamlanmış cümlələri arxivdən çıxarmaq deyil, öyrənilmiş nümunələrə əsaslanaraq bir-birinin ardınca bir işarə proqnozlaşdırmaqdır.

Bu, modelin darıxdırıcı mənada "sadəcə avtomatik tamamlama" olduğu anlamına gəlmir. Böyük süni intellekt modelləri anlayışlar, dil, struktur, ton, məntiq və kontekst arasında son dərəcə mürəkkəb əlaqələri öyrənir. Lakin çıxış səviyyəsində maşın yenə də mətni bir-bir istehsal edir.

Kiçik pilləkənlər. Böyük illüziya. Çox dəbdəbəli pilləkən.

---

5. Müqayisə Cədvəli: Süni intellektdə Tokenlərin Növləri

Tokenlər modeldən, tokenizatordan və məzmun növündən asılı olaraq müxtəlif formalarda görünə bilər. Budur praktik bir müqayisə.

Token Növü	Nümunə	Harada Görünür	Niyə Vacibdir
Söz tokeni	alma	Sadə mətn sorğuları	Anlamaq asandır, səliqəli və səliqəlidir
Alt söz tokeni	oynamaq + oynamaq	Daha uzun və ya dəyişdirilmiş sözlər	Süni intellekt tanış olmayan sözləri idarə etməyə kömək edir
Xarakter nişanı	a, b, c	Bəzi tokenləşdirmə sistemləri	Çevik, lakin səmərəsiz ola bilər
Durğu işarəsi	., ?, !	Hər cür yazı, əsəbiləşdirici şəkildə	Ton və işarə sayına təsir göstərir
Boşluq işarəsi	boşluqlar, sətir kəsmələri	Formatlanmış mətn və kod	Təəssüf ki, formatlama pulsuz deyil
Kod tokeni	funksiya, {, ==	Proqramlaşdırma tapşırıqları	Kod tokenləri tez yandıra bilər
Xüsusi token	başlanğıc/son işarələri	Pərdəarxası	Model strukturunun daxil edilməsinə kömək edir
Naməlum və ya nadir hissə	qeyri-adi fraqmentlər	Adlar, jarqonlar, yazı səhvləri	Dəqiqliyə bir az təsir edə bilər

Hər süni intellekt modeli bunların hamısını eyni şəkildə istifadə etmir. Bəzi sistemlər alt söz tokenləşdirməsinə . Bu, modelin əvvəllər heç görmədiyi sözləri tanıdığı hissələrə bölməklə onları tam olaraq idarə etməsinə imkan verir.

Məsələn, model mikro, biovə logikanı, qeyri-adi olsa belə, mürəkkəb elmi sözlərlə işləməkdə daha yaxşı şansa malikdir.

Mükəmməl deyil. Amma olduqca ağıllıdır. 🧩

---

6. Süni intellektdə Token nədir? Niyə Qiymətə Təsir Edir

Bir çox süni intellekt alətləri tokenlərdə istifadəni ölçür.

Bu o deməkdir ki, həm girişiniz, həm də süni intellekt çıxışı istifadəyə hesablana bilər. Uzun bir sorğu göndərsəniz, daha çox token istifadə edir. Model uzun cavab yazarsa, daha çox token də istifadə edir.

Qısa bir sual kimi:

Cazibə qüvvəsini izah edin.

Nisbətən az giriş tokenindən istifadə edir.

Amma bu təklif:

Cazibə qüvvəsini ətraflı və yeni başlayanlar üçün uyğun şəkildə izah edin, nümunələr gətirin, onu maqnetizmlə müqayisə edin, cədvəl əlavə edin, uşaq üçün yenidən yazın və sonra onu nitqə çevirin.

Daha çox giriş tokenindən istifadə edir və həmçinin daha uzun çıxış tələb edir.

Beləliklə, token dəyəri çox vaxt hər iki tərəfdən gəlir:

• Giriş tokenləri - modelə göndərdiyiniz şey

• Çıxış tokenləri - modelin yaratdığı şeylər

• Kontekst nişanları - əvvəlki söhbət və ya sənədlər daxil edilib

• Sistem tokenləri - davranışı istiqamətləndirən gizli təlimatlar

Buna görə də çox uzun söhbətlər daha yavaş və ya daha məhdud hiss oluna bilər. Süni intellekt söhbətin əvvəlki hissələrini öz kontekstində daşıyır ola bilər. Sanki kərpiclə dolu bir çanta. Dəyərli kərpiclər, amma yenə də kərpiclər.

API vasitəsilə süni intellektdən istifadə edən müəssisələr üçün token səmərəliliyi büdcə məsələsinə çevrilə bilər. Minlərlə dəfə təkrarlanan dolaşıq bir sorğu gözlənilməz miqdarda pul itkisinə səbəb ola bilər. Təmiz sorğu təkcə daha gözəl deyil, həm də daha ucuz ola bilər.

---

7. Token Limitləri və Süni İntellekt Kontekst Pəncərəsi

Kontekst pəncərəsi tokenlərlə əlaqəli ən vacib fikirlərdən biridir.

Bu, süni intellekt modelinin eyni anda neçə tokeni emal edə biləcəyinə aiddir . Buraya sorğunuz, əvvəlki mesajlarınız, yapışdırılmış sənədləriniz, təlimatlarınız və yaradılan cavab daxildir.

Təsəvvür edin ki, süni intellektdə ağ lövhə var. Nəzərə alınması lazım olan hər şey həmin ağ lövhəyə uyğun olmalıdır. Lövhə dolduqdan sonra nəsə dəyişməlidir.

Bu, bir neçə vəziyyətə səbəb ola bilər:

• Model uzun bir söhbətin əvvəlki hissələrini unuda bilər

• Təhlildən əvvəl sənədin xülasə edilməsi lazım ola bilər

• Uzun suallar uzun cavablar üçün daha az yer buraxa bilər

• Təkrarlanan kontekst vacib detalları sıxışdıra bilər

• Model son məlumatlara daha çox diqqət yetirə bilər

Buna görə də tez dizayn vacibdir.

Kimi bir sorğu:

Bütün bunları oxuyun və mənə nəyin vacib olduğunu deyin.

İşləyə bilər, amma ideal olmaya bilər.

Daha yaxşı bir təklif belə ola bilər:

Əsas arqumenti xülasə edin, riskləri sadalayın, ziddiyyətləri müəyyən edin və mənə ən yaxşı beş tədbir maddəsini verin.

Bu, modelə daha aydın bir tapşırıq verir və niyyətinizi təxmin etmək əvəzinə, tokenləri dəyərli işə xərcləməyə kömək edir.

Tokenlər sadəcə texniki məhdudiyyət deyil. Onlar süni intellektlə ünsiyyət qurma tərzinizi formalaşdırır.

---

8. Tokenləşdirmə niyə süni intellekt nizamsız dillə mübarizə aparmağa kömək edir?

İnsan dili nizamsızdır. Aqressiv şəkildə nizamsızdır.

İnsanlar sanki pilləkənlərdən yıxılmış kimi görünən jarqonlardan, səhv yazılardan, emojilərdən, ixtisarlardan, kod dəyişdirmələrindən, brend adlarından, heşteqlərdən, uydurma sözlərdən və cümlə fraqmentlərindən istifadə edirlər.

Tokenizasiya süni intellekt bu dolaşıqlığın öhdəsindən gəlməyə kömək edir.

Model mümkün olan bütün sözləri əzbərləmək əvəzinə, tanış olmayan mətni daha kiçik məlum hissələrə bölə bilər. Bu, aşağıdakılara kömək edir:

• Yazı səhvləri

• Yeni şərtlər

• Mürəkkəb sözlər

• Texniki lüğət

• Adlar

• İnternet jarqonu

• Emojilər və simvollar

• Proqramlaşdırma sintaksisi

Məsələn, belə bir söz:

ultrapersonalizasiya

Tanış bir söz kimi qəbul edilməsə də, süni intellekt aşağıdakı kimi hissələri tanıya bilər:

• ultra

• şəxsi

• izasiya

Bu, ona döyüş şansı verir.

Tokenləşdirmənin dillər arasında dəyərli olmasının səbəbi də budur. Bəzi dillərdə sözlər arasında boşluqlar var. Digərlərində isə boşluqlar eyni şəkildə istifadə edilmir. Bəzilərində zəngin söz formaları var. Bəziləri fikirləri uzun mürəkkəb sözlərə birləşdirir. Token sistemləri bütün bunların emal edilə bilən vahidlərə standartlaşdırılmasına kömək edir.

Tamamilə zərif deyil. Daha çox kalkulyatorla tərəvəz doğramağa bənzəyir. Amma işləyir 🥕.

---

9. Mətn, Şəkillər, Audio və Multimodal Süni İntellektdə Tokenlər

Süni intellektdə "token" ifadəsi adətən mətn modellərində özünü göstərir, lakin daha geniş mənada bu fikir mətndən kənara da tətbiq oluna bilər.

Multimodal süni intellektdə sistemlər şəkilləri, audio, video və ya strukturlaşdırılmış məlumatları token kimi vahidlərdən istifadə edərək emal edə bilər. Təfərrüatlar fərqlidir, lakin əsas ideya oxşardır: mürəkkəb məlumatları modelin emal edə biləcəyi daha kiçik hissələrə bölmək.

Məsələn:

• Mətn söz və ya alt söz işarələrinə bölünə bilər

• Şəkillər hissələrə və ya vizual təsvirlərə bölünə bilər

• Səs zaman əsaslı seqmentlərə və ya kodlanmış vahidlərə bölünə bilər

• Kod sintaksislə əlaqəli tokenlərə bölünə bilər

• Cədvəllər strukturlaşdırılmış işarə ardıcıllığına çevrilə bilər

Bu, müasir süni intellekt getdikcə sadəcə "söhbət"dən ibarət olmadığı üçün vacibdir. O, ekran görüntülərini şərh edə, şəkilləri təsvir edə, diaqramları təhlil edə, səsi transkripsiya edə, kod üzərində düşünə və müxtəlif formatlarda cavab verə bilər.

Amma eyni əsas prinsip özünü göstərməyə davam edir:

Girişi idarə oluna bilən hissələrə bölün, həmin hissələri ədədlərə çevirin və modelin aralarındakı əlaqələri öyrənməsinə icazə verin.

Geniş mənada bu, tokenizasiyadır.

Bu, insan teksturası ilə maşın oxuna bilən struktur arasındakı tərcümə təbəqəsidir.

---

10. Tokenlərin Prompt Engineering-ə necə təsir etməsi

Təcili mühəndislik olduğu qədər də cazibədar səslənir. Bəzən bu, sadəcə "aydın soruşun və tələffüzü lazımsız şeylərlə doldurmağı dayandırın" deməkdir. Ciddi, lakin dəqiqdir.

Tokenlər daha yaxşı təşviqdə böyük rol oynayır.

Token məlumatlılığından istifadə etməyin bəzi praktik yolları:

Erkəndən konkret olun

Əsas tapşırığı başlanğıca yaxın qoyun:

Büdcəyə uyğun masa lampası üçün qısa bir məhsul təsviri yazın.

Deyil:

Bəlkə də bir məhsul səhifəsi üçün bir şey hazırlamağı düşünürdüm və söhbət lampadan gedir və sözlərimə ehtiyacım var...

İkinci versiya tokenləri boşa sərf edir və nöqtəni gecikdirir.

Lazımsız doldurucuları çıxarın

Süni intellekt təsadüfi dili başa düşə bilər, lakin əlavə doldurma konteksti tükəndirir. Robot kimi yazmaq məcburiyyətində deyilsiniz, amma kəsmə kömək edir.

Strukturdan istifadə edin

Başlıqlar, markerlər, nömrələnmiş addımlar və etiketlər modelin nəyin hara getdiyini başa düşməsinə kömək edə bilər.

Nümunə:

• Məqsəd:

• Auditoriya:

• Ton:

• Format:

• Məhdudiyyətlər:

Bu, adətən, bir parça mətndən daha yaxşı nəticə verir.

Süni intellektə nəyi görməməzlikdən gəlməli olduğunu deyin

Bu, səssizcə güclüdür.

Deyə bilərsiniz:

Təkrarlanan şablonları görməməzliyə vurun və yalnız qiymət fərqlərinə diqqət yetirin.

Bu, modelin aşağı dəyərli məzmuna diqqət yetirməsinin qarşısını alır.

Uzun söhbətləri mütəşəkkil saxlayın

Uzun söhbətlərdə əsas qərarları vaxtaşırı ümumiləşdirin. Bu, konteksti qorumağa və qarışıqlığı azaltmağa kömək edir.

Əsasən, işarəyə əsaslanan təşviq çamadanı yığmaq kimidir. Əsas əşyaları özünüzlə gətirə bilərsiniz və ya üç tava gətirə və corablarınızın niyə uyğun gəlmədiyini düşünə bilərsiniz.

---

11. Süni intellekt tokenləri haqqında ümumi yanlış təsəvvürlər

Gəlin bir neçə məsələyə aydınlıq gətirək, çünki simvolik söhbətlər tez bir zamanda qarışıqlaşır.

Yanlış təsəvvür 1: Bir işarə bir sözə bərabərdir

Xeyr. Bəzən bəli, çox vaxt xeyr. İşarələr sözlər, söz hissələri, durğu işarələri və ya digər hissələr ola bilər.

Yanlış təsəvvür 2: Daha çox jeton həmişə daha yaxşı cavablar deməkdir

Mütləq deyil. Daha uzun bir sorğu dəyərli kontekst əlavə etdikdə kömək edə bilər. Lakin həddindən artıq doldurulmuş sorğu modeli çaşdıra və ya yer itirə bilər.

Yanlış təsəvvür 3: Token məhdudiyyətləri yalnız uzun sənədlərə təsir göstərir

Bunlar, xüsusən də söhbət çoxsaylı növbələrlə davam edərsə, normal söhbətlərə də təsir göstərir. Model əvvəlki mesajları, təlimatları və son sorğunuzu nəzərə almalı ola bilər.

Yanlış təsəvvür 4: Süni intellekt tokenləri insanlar sözləri başa düşdüyü kimi başa düşür

İnsan mənasında yox. İnsanlar sözlərə canlı təcrübə, duyğu yaddaşı, niyyət və duyğu bağlayırlar. Süni intellekt modelləri statistik və semantik nümunələri simvolik ardıcıllıqla emal edir. Bu, təsirli düşüncə tərzi yarada bilər, amma eyni proses deyil.

Yanlış təsəvvür 5: Tokenləşdirmə darıxdırıcı arxa plan işidir

Darıxdırıcı səslənir. Elə deyil. Tokenizasiya dəyəri, sürəti, yaddaşı, dəqiqliyi və istifadəçi təcrübəsini formalaşdırır. Kiçik menteşəli, nəhəng qapı 🚪.

---

12. Süni intellektdə Tokenlərin Real Həyat Nümunələri

Gəlin bunu daha az mücərrəd edək.

Nümunə 1: Çatbot söhbəti

Siz yazın:

Geri ödəmə tələb edən nəzakətli bir e-poçt yaza bilərsinizmi?

Süni intellekt bunu tokenlərə bölür, sorğu nümunəsini anlayır və token üzrə cavab tokeni yaradır.

Nümunə 2: Uzun sənəd xülasəsi

Siyasət sənədini yapışdırırsınız. Süni intellekt bütün sənədi tokenləşdirir. Kontekst pəncərəsinə uyğun gəlirsə, əladır. Əks halda, alət hissələrə bölməli, ümumiləşdirməli və ya qısaltmalı ola bilər.

Nümunə 3: Kodlaşdırma köməkçisi

Sən soruşursan:

Bu JavaScript funksiyasını düzəldin.

Kod tez-tez simvollardan, girintidən, operatorlardan və xüsusi sintaksisdən istifadə edir. Bunların hamısı eyni zamanda tokenləşdirmə funksiyasını yerinə yetirir. Buna görə də kodla zəngin sorğular tez bir zamanda çoxlu tokenlərdən istifadə edə bilər.

Nümunə 4: SEO məqalə yazmaq

Başlıq, plan, başlıqlar, açar sözlər, ton, nümunələr və meta təsvir istənən sorğuda adi sorğudan daha çox token istifadə olunur. Məqalə uzun olduğundan çıxışda da bir çox token istifadə olunur.

Nümunə 5: Müştəri dəstəyinin avtomatlaşdırılması

Şirkət süni intellektə müştəri mesajı, hesab təfərrüatları, siyasət parçaları və cavab qaydalarını göndərə bilər. Bütün bunlar tokenlərə çevrilir. Daha çox kontekst daxil edildikdə, sistem limitlərə və xərclərə bir o qədər diqqətli olmalıdır.

Tokenləri görməyə başladıqdan sonra hər yerdə peyda olurlar. Günəş işığında toz kimidir, amma daha axmaqdırlar.

---

13. Niyə Tokenləri Anlamaq Süni İntellektdən Daha Yaxşı İstifadə Etməyinizə Kömək Edir

Tokenləri anlamaqdan faydalanmaq üçün maşın öyrənmə mühəndisi olmağa ehtiyac yoxdur.

Əsas bir tutuş sizə kömək edəcək:

• Təmizləyici tapşırıqlar yazın

• Modelin həddindən artıq yüklənməsinin qarşısını alın

• Uzun söhbətlərin bəzən niyə uzandığını anlayın

• Bir sorğunun digərindən niyə daha baha başa gəldiyini təxmin edin

• Daha yaxşı xülasələr yaradın

• Sənədlərlə daha ağıllı işləyin

• Daha ardıcıl süni intellekt çıxışları əldə edin

Bu, həmçinin süni intellektlə sehrli qutu kimi davranmağı dayandırmağa kömək edir.

Bu, yaxşı haldır. Sehrli qutu düşüncəsi gözləntilərin pozulmasına gətirib çıxarır. Token düşüncəsi aləti daha idarəolunan edir.

Süni intellektinin simvol nümunələri vasitəsilə işlədiyini başa düşdükdə, daha yaxşı suallar verməyə başlayırsınız. Daha yaxşı kontekst təqdim edirsiniz. Bir romanı söhbətə atıb "fikirləriniz?" deməkdən çəkinirsiniz - açıq desək, əksəriyyətimizin bir vaxtlar etmək istədiyimiz budur.

Girişiniz nə qədər yaxşı olarsa, modelin izləyə biləcəyi token izi bir o qədər yaxşıdır.

---

14. Süni intellektdə Token nədir? Praktik Nəticə

Beləliklə, süni intellektdə token nədir? Bu, süni intellekt modelinin emal etdiyi kiçik bir mətn və ya məlumat vahididir.

Amma daha praktik cavab budur:

Token insan dili ilə maşın düşüncəsi arasında əsas ünsiyyət vasitəsidir. Bu, dolaşıq, emosional, tipik səhvlərlə dolu cümlənizin modelin hesablaya biləcəyi bir şeyə necə çevrilməsidir.

Tokenlər modelə təsir göstərir:

• Anlama

• Yaddaş

• Qiymət

• Sürət

• Çıxış uzunluğu

• Dəqiqlik

• Formatlaşdırma

• Kontekstlə işləmə

Onlar əksər hallarda görünməzdirlər, amma həmişə mövcuddurlar.

Yazdığınız hər bir sual jetonlara çevrilir. Oxuduğunuz hər cavab jetonlardan yaradılıb. Hər abzas, vergül, emoji, kod parçası və yöndəmsiz ifadə modelin emal edə biləcəyi vahidlərə bölünür.

Hətta bu cümlə belə jetonlardır. Çox meta. Bir az əsəbiləşdirici. Bir növ gözəldir. ✨

---

15. Yekun Qeyd

Süni intellektdə Token nədir? Token, süni intellekt modellərinin mətni oxumaq, şərh etmək və yaratmaq üçün istifadə etdiyi kiçik bir dilin bir hissəsidir. Tokenizatordan asılı olaraq, bu, bir söz, sözün bir hissəsi, durğu işarəsi, boşluq və ya başqa kiçik bir vahid ola bilər.

Tokenləri anlamaq, süni intellekt alətlərinin niyə məhdudiyyətlərə malik olduğunu, uzun sorğuların niyə daha baha başa gəldiyini, kontekstin niyə vacib olduğunu və aydın təlimatların adətən nəhəng dolaşıq abzaslardan daha yaxşı işlədiyini anlamağa kömək edir.

Əvvəlcə hər şey texniki səslənir, amma praktik bir şeyə gəlir:

Süni intellekt dili tam insan formasında istifadə etmir. O, dili tokenlərə çevirir, nümunəni öyrənir və bundan sonra nə olacağını proqnozlaşdırır.

Kiçik hissələr. Böyük nəticələr. Qeyri-adi kiçik möcüzə 🤖✨

Real dünya nümunəsi: Token səmərəli müştəri dəstəyi köməkçisi qurmaq

Ssenari

Kiçik bir onlayn mebel satıcısı çatdırılma şikayətlərinə, geri ödəmə tələblərinə və zədələnmiş məhsullar barədə hesabatlara cavab hazırlamaq üçün süni intellekt köməkçisindən istifadə edir.

İlk versiyasında, köməkçi, kimsə bir çek açdıqda bütün qaytarılma təlimatını, müştərinin tam mesaj tarixçəsini, sifariş təfərrüatlarını, bir neçə nümunə cavabı və uzun bir yazı qaydası dəstini alır. Adətən, xidmətə yararlı bir cavab verir, lakin sorğu şişirdilir, sorğuların işlənməsi daha uzun çəkir və vacib detallar lazımsız siyasət mətninin altında gizlənə bilər.

Dəstək meneceri iş axınını elə yenidən dizayn edir ki, hər bir sorğuda yalnız biletlə əlaqəli siyasət bölmələri olsun. Köhnə mesajlar qısa faktiki xülasə ilə əvəz olunur, müştərinin cari mesajı isə dəyişməz qalır. Bu, kontekst pəncərəsinin daha çox hissəsini tapşırığın özü və nəticədə alınan cavab üçün əlçatan edir.

Köməkçinin nəyə ehtiyacı var

• Müştərinin son mesajı və sifariş təfərrüatları

• Əvvəlki mesajların qısa xülasəsi, o cümlədən artıq verilən vədlər

• Yalnız müvafiq siyasət bölmələri, məsələn, geri ödəmələr və ya zədələnmiş çatdırılmalar

• Şirkətin təsdiq edilmiş ton və cavab formatı

• Qəbul edilən və qəbuledilməz cavabların nümunələri

• Geri ödəmələr, dəyişdirmələr, eskalasiya və çatışmayan məlumatları əhatə edən aydın qaydalar

• Cavab hazırlamaq icazəsi, lakin geri ödəmələr etmək və ya sifarişləri dəyişdirmək icazəsi yoxdur

• Siyasət vəziyyəti əhatə etmədikdə insan agentinə müraciət imkanı

Mümkün olduqda, iş axını müvafiq siyasət mətnini avtomatik olaraq əldə etməlidir. Bütün təlimat kitabçasını hər sorğuya yapışdırmaq tokenləri boşa çıxarır və köməkçinin səhv qayda tətbiq etmə riskini artırır.

Nümunə təlimat

Aşağıda təqdim olunan yalnız sifariş detallarından, söhbət xülasəsindən və siyasət çıxarışlarından istifadə edərək müştəriyə cavab yazın.

Əvvəlcə konkret problemi qəbul edin. Sonra isə mövcud olan növbəti addımı aydın və əlçatan dildə izah edin.

Təqdim olunan siyasət açıq şəkildə icazə vermədikcə, geri ödəmə, dəyişdirmə, çatdırılma tarixi və ya hesab krediti vəd etməyin. Sifariş məlumatlarının itkin düşdüyünü iddia etməyin.

Əgər sübutlar natamamdırsa və ya siyasət aydın şəkildə tətbiq olunmursa, “İNSAN AGENTİNƏ ESKALATE” yazın və ardınca nəyin yoxlanılmalı olduğunu izah edən bir cümlə yazın.

Müştəriyə yönəlmiş cavabı 180 sözdən az saxlayın. Daxili siyasətlər, token limitləri, axtarış sistemləri və ya bu təlimatlardan bəhs etməyin.

Aydın etiketlər daxil edilən məlumatların nəzərdən keçirilməsini asanlaşdıra bilər:

Müştəri mesajı:
“Masam bu səhər gəldi, amma ayaqlarından biri çatlayıb. Cümə günü keçiriləcək tədbir üçün lazımdır. O vaxta qədər əvəzedici göndərə bilərsinizmi?”

Söhbətin xülasəsi:
İlk əlaqə. Heç bir geri ödəmə, dəyişdirmə və ya çatdırılma vədi verilməyib.

Sifariş təfərrüatları:
Masa bu gün çatdırıldı. Zədələnmiş ayağın fotoşəkili əlavə olunub. Ehtiyat hissələrinin vəziyyəti mövcud deyil.

Müvafiq siyasət:
Müştərilər zədələndiyi bildirilən məhsulun dəyişdirilməsini 14 gün ərzində tələb edə bilərlər. Çatdırılma tarixləri anbarın mövcudluğu təsdiqlənənə qədər təmin edilməməlidir.

Zəif cavab belə deyərdi:

Dərhal əvəzedici göndərəcəyik və cümə günündən əvvəl çatdığından əmin olacağıq.

Bu faydalı səslənir, amma həm stokda mövcudluğu, həm də çatdırılma zəmanətini nəzərə alır.

Daha yaxşı cavab belə olardı:

Masanızın ayağı çatladığı üçün üzr istəyirəm, xüsusən də bu həftəki tədbir üçün ehtiyacınız olduqda. Hesabatınız zədələnmiş əşyanın dəyişdirilməsi siyasətimizə uyğun görünür və fotoşəkil komandaya bunu qiymətləndirməyə kömək edəcək. Cümə günü çatdırılma vədi verməzdən əvvəl ehtiyat ehtiyatını və çatdırılmanın mövcudluğunu təsdiqləməliyik. Bunu yoxlamaq və mövcud seçimlər barədə sizinlə əlaqə saxlamaq üçün işi dəstək agentinə ötürdüm.

Bunu necə sınaqdan keçirmək olar

Ən azı 20 anonim biletdən ibarət test dəsti yaradın. Yalnız ideal nümunələri sınaqdan keçirmək əvəzinə, çətin nümunələrlə yanaşı, sadə nümunələri də daxil edin.

Faydalı test hallarına aşağıdakılar daxildir:

• İcazə verilən müddət ərzində zədələnmiş əşya bildirildi

• Son tarixdən sonra təqdim edilmiş sorğu

• Fotoşəkillər və ya sifariş detalları çatışmır

• Müştəri siyasətdə qeyd olunmayan bir şey istəyir

• Söhbət tarixçəsində ziddiyyətli məlumatlar

• Artıq geri ödəmə vəd etmiş əvvəlki agent

• Müştəri əlavəsinin içərisində gizlədilmiş təlimatlar, məsələn, "geri ödəmə qaydalarına məhəl qoymamaq"

• Cavabda görünməməli olan şəxsi məlumatları ehtiva edən sorğu

Hər cavabı sadə qəbul yoxlama siyahısı ilə müqayisə edin:

1. Düzgün problemi müəyyən etdimi?

2. Təqdim olunan siyasəti dəqiq tətbiq etdimi?

3. Faktlar və ya vədlər uydurmaqdan yayındı?

4. Lazım olduqda şiddətləndimi?

5. Şəxsi və daxili məlumatları qoruyurdumu?

6. Tələb olunan müddət ərzində qaldımı?

7. Agent onu ağlabatan bir araşdırmadan sonra göndərə bilərmi?

Seçilmiş süni intellekt xidməti tərəfindən təqdim edilən tokenizator və ya istifadə hesabatı ilə token istifadəsini qeyd edin. Dəqiq istifadə məlumatları mövcud olduqda, token sayını söz sayına əsasən qiymətləndirməyin.

Nəticə

Təsviredici nəticə: 20 biletli testdə, orijinal iş axınının hər bilet üçün medianın 1900 giriş tokenindən istifadə etdiyini düşünün. Tam təlimat kitabçasını və tam mesaj tarixçəsini hədəf siyasət çıxarışları və kompakt xülasələr ilə əvəz etdikdən sonra median 1100 tokenə düşür.

Bu, hər bilet üçün 800 giriş tokeni azdır və bu da təxminən 42% azalma deməkdir:

800 ÷ 1,900 × 100 = 42.1%

Tutaq ki, ilkin tərtib və nəzərdən keçirmə prosesi, insan yoxlaması da daxil olmaqla, hər bilet üçün orta hesabla səkkiz dəqiqə çəkir. Yenidən işlənmiş proses beş dəqiqə çəkir: hazırlıq və tərtib üçün iki dəqiqə, ardınca üç dəqiqə nəzərdən keçirmə. Beləliklə, nümunəvi qənaət hər bilet üçün üç dəqiqə və ya 20 biletli testdə 60 dəqiqədir.

Keyfiyyət sürətlə yanaşı ölçülməlidir. Məsələn, ilkin iş axınında 20 layihədən 16-sı ilə müqayisədə, 20 yenidən işlənmiş layihədən 18-i ilk baxış zamanı yeddi qəbul yoxlamasının hamısına cavab verə bilər. Uğursuz iki yenidən işlənmiş layihə səssizcə atılmamaq əvəzinə, nəticələrdə qalmalı və araşdırılmalıdır.

Bu rəqəmlər dərc olunmuş şirkət nəticəsinə deyil, göstərilən test dizaynına əsaslanan illüstrativ ölçüdür. Kiçik bir test dəsti, bilet çətinliyindəki fərqlər və subyektiv rəyçi qərarları nəticəyə təsir göstərə bilər.

Nə səhv gedə bilər

Tokenləri həddindən artıq aqressiv şəkildə azaltmaq düzgün cavabı dəyişdirən detalları silə bilər. Məsələn, "müştəri geri ödəmə tələb etdi" ifadəsi əvvəlki agentin bunu artıq təsdiqləməsi faktını gözardı edə bilər.

Axtarış həmçinin səhv siyasət bölməsini seçə bilər. Daha sonra köməkçi əlaqəsiz qaydalara əsaslanaraq cilalanmış cavab verə bilər. Buna görə də vacib mənbə mətni nəzərdən keçirən agent üçün görünən qalmalıdır.

Digər ümumi uğursuzluqlara köhnəlmiş siyasətlər, müştəri məlumatlarının jurnallarda görünməsi, yüklənmiş sənədlərin içərisində gizli təlimatlar, qeyri-müəyyən eskalasiya qaydaları və köməkçinin sadəcə cavab yazdığı halda bir əməliyyatı tamamladığını iddia etməsi daxildir.

Məqsəd mümkün qədər qısa bir sual yaratmaq deyil. Təhlükəsiz qərar üçün tələb olunan hər bir faktı, qaydanı və istisnanı qoruyarkən təkrarı aradan qaldırmaqdır.

Praktik yemək

Token səmərəliliyi sadəcə sözləri silməkdən deyil, daha yaxşı kontekst seçməkdən irəli gəlir. Köməkçiyə cari sorğunu, müvafiq dəlilləri, tətbiq olunan qaydaları və qeyri-müəyyənlik üçün aydın bir sərhədi verin. Qalan hər şey onun tutduğu yeri əsaslandırmalıdır.

Tez-tez verilən suallar

Sadə dildə AI-də bir token nədir?

Süni intellektdə token, modelin emal etdiyi kiçik bir mətn və ya məlumat vahididir. Bu, tam bir söz, sözün bir hissəsi, durğu işarəsi, boşluq və ya simvol ola bilər. Süni intellekt sistemləri sorğuları tokenlərə bölür, onları ədədi təsvirlərə çevirir və cavabda növbəti tokeni proqnozlaşdırmaq üçün öyrənilmiş nümunələrdən istifadə edir.

Bir süni intellekt tokeni bir sözlə eynidirmi?

Xeyr, bir işarə həmişə bir sözə uyğun gəlmir. Adi sözlər tək bir işarə təşkil edə bilər, uzun, qeyri-adi və ya texniki terminlər isə bir neçə alt söz işarəsinə bölünə bilər. Durğu işarələri, emojilər, boşluqlar və formatlama da işarələrin sayına təsir göstərə bilər. Dəqiq bölünmə süni intellekt modelinin istifadə etdiyi işarələyicidən asılıdır.

Süni intellekt modelləri cavablar yaratmaq üçün tokenlərdən necə istifadə edir?

Süni intellekt modeli əvvəlcə sorğunuzu tokenlərə bölür və onları ədədi təsvirlərə çevirir. Daha sonra həmin tokenlər arasındakı əlaqələri təhlil edir və növbəti dəfə ən çox gələcəyi tokeni proqnozlaşdırır. Bu proses cavab tamamlanana qədər davam edir. Hər bir proqnoz sorğu, söhbət konteksti, model parametrləri və artıq yaradılan tokenlər tərəfindən formalaşdırılır.

Niyə tokenlər süni intellektdən istifadənin qiymətinə təsir göstərir?

Bir çox süni intellekt xidmətləri istifadəni emal edilən tokenlərin sayına görə hesablayır. Giriş tokenləri sorğunuzdan və dəstəkləyici kontekstdən, çıxış tokenləri isə modelin cavabından gəlir. Buna görə də uzun sənədlər, təkrarlanan təlimatlar və uzun cavablar istifadəni artırır. Çox sayda API sorğusunu emal edən müəssisələr üçün lazımsız mətni silmək xərcləri nəzarətdə saxlamağa kömək edə bilər.

Süni intellekt kontekst pəncərəsi nədir və tokenlər ona necə təsir edir?

Kontekst pəncərəsi, süni intellekt modelinin sorğu zamanı nəzərdən keçirə biləcəyi maksimum tokenləşdirilmiş məlumat miqdarıdır. Buraya sistem təlimatları, sorğunuz, yüklənmiş sənədlər, əvvəlki mesajlar və yaradılan cavab daxil ola bilər. Mövcud pəncərə dolu olduqda, köhnə və ya daha az prioritetli məlumatlara daha az diqqət yetirilə bilər. Aydın, müvafiq kontekst diqqət mərkəzində olan təhlil və çıxış üçün daha çox yer saxlayır.

Süni intellekt sorğusu token limitini aşdıqda nə baş verir?

Sorğu mövcud kontekst pəncərəsi üçün çox böyük olduqda, sistem məzmunun bir hissəsini qısalda, xülasə edə, bölə və ya xaric edə bilər. Dəqiq davranış alətdən asılıdır. Vacib detallar buraxılmış bölmələrdə göründükdə gözdən qaça bilər. Ümumi yanaşma uzun sənədləri məntiqi bölmələrə bölmək, hər birini təhlil etmək və sonra nəticələri birləşdirməkdir.

Promptlərimdə token istifadəsini necə azalda bilərəm?

Əsas tapşırıqla başlayın və cavaba təsir etməyən fon məlumatlarını çıxarın. Təlimatları bütün sual boyunca təkrarlamaq əvəzinə, məqsəd, auditoriya, format, ton və məhdudiyyətlər kimi aydın etiketlərdən istifadə edin. Uzun söhbətlərdə əsas qərarların qısa xülasəsini təqdim edin. Strukturlaşdırılmış suallar, ümumiyyətlə, modelin qarşısını almaq mümkün olan dolduruculara kontekst sərf etmədən prioritetləri müəyyən etməsinə kömək edir.

Niyə kod, formatlama və durğu işarələri süni intellekt tokenlərindən istifadə edir?

Süni intellekt modelləri adi sözlərdən daha çoxunu emal edir. Operatorlar, mötərizələr, girintilər, sətir fasilələri, durğu işarələri və digər formatlama elementləri ayrı-ayrı tokenlərə və ya token fraqmentlərinə çevrilə bilər. Nəticədə, kodla yüklənmiş sorğular və yüksək formatlı sənədlər tokenləri tez bir zamanda istehlak edə bilər. Müvafiq formatlaşdırmanın qorunması vacibdir, lakin təkrarlanan kodu, lazımsız şərhləri və ya təkrarlanan şablonu silmək sorğunu daha səmərəli edə bilər.

Süni intellektdə şəkillər, səs və multimodal modellər üçün token nədir?

Multimodal süni intellektdə "token" termini yazılı dildən kənarda emal edilə bilən vahidlərə aid ola bilər. Şəkillər yamalar və ya vizual xüsusiyyətlər vasitəsilə təmsil oluna bilər, səs isə kodlanmış seqmentlərə bölünə bilər. Texniki metod sistemlər arasında fərqlənir, lakin əsas prinsip oxşar olaraq qalır: mürəkkəb məlumat modelin müqayisə edə, şərh edə və çıxış yaratmaq üçün istifadə edə biləcəyi daha kiçik ədədi vahidlərə çevrilir.

Daha çox token istifadə etmək daha yaxşı süni intellekt reaksiyası yaradırmı?

Avtomatik deyil. Əlavə jetonlar müvafiq kontekst, nümunələr, tələblər və ya mənbə materialı təqdim etdikdə kömək edir. Lakin təkrarlanan və ya ziddiyyətli təlimatlar modelin diqqətini yayındıra və ardıcıllığı azalda bilər. Ən təsirli tapşırıq adətən tapşırığı çətinləşdirmədən aydın şəkildə müəyyən etmək üçün kifayət qədər detal ehtiva edir. Jetonların keyfiyyəti və təşkili çox vaxt mətnin miqdarından daha çox əhəmiyyət kəsb edir.

İstinadlar

1. OpenAI Yardım Mərkəzi - help.openai.com

2. OpenAI Platforması - platform.openai.com

3. OpenAI Tərtibatçıları - developers.openai.com

4. Tərtibatçılar üçün Google - developers.google.com

5. Qucaqlaşan Üz - huggingface.co

6. TensorFlow - tensorflow.org

7. Google Araşdırma - research.google

Ən son süni intellekt texnologiyalarını rəsmi süni intellekt köməkçisi mağazasında tapın

Haqqımızda