Conceptul Optimizării Următorului Token
Cum funcționează un LLM (simplificat)
Procesul de generare a textului în LLM-uri urmează pași bine definiți:
Pașii procesului:
- Primește o secvență de tokeni (prompt)
- Calculează probabilitatea fiecărui token posibil
- Alege următorul token cel mai probabil
- Repetă procesul
Conceptul cheie: Modelul nu caută adevărul, ci cea mai probabilă continuare.
Implicații pentru Prompt Engineering
1. Prompt-ul ghidează traiectoria probabilistică
Fiecare cuvânt din prompt modifică distribuția de probabilități pentru tokenii următori.
"Capitala Franței este" → înaltă probabilitate pentru "Paris"
"Capitala Franței nu este" → probabilități diferite (negare)
2. Formularea contează mai mult decât intenția
- Modelul nu citește gânduri
- Procesează literal textul primit
- Nuanțele din formulare schimbă rezultatul
Exemplu:
"Descrie beneficiile AI" → ton pozitiv
"Analizează AI" → ton neutru
"Critică AI" → ton negativ
3. Controlul vine din constrângeri, nu din politețe
| Nu funcționează | Funcționează |
|---|---|
| “Te rog să fii scurt” | “Răspunde în maxim 50 cuvinte” |
| “Fii mai detaliat” | “Include 3 exemple concrete” |
| “Explică bine” | “Explică pentru un copil de 10 ani” |
Consecințe practice
Două prompt-uri “aproape identice” pot produce rezultate radical diferite
Prompt A:
"Explică fotosinteza"
Prompt B:
"Explică fotosinteza într-un paragraf scurt pentru un elev de clasa a 5-a"
Rezultatele vor fi semnificativ diferite în:
- Lungime
- Complexitate
- Vocabular folosit
- Structură
De ce modelul poate “greși”?
Modelul optimizează pentru cea mai probabilă continuare, nu pentru corectitudine.
Situații problematice:
- Halucinații - generează informații false dar plauzibile
- Bias - reflectă bias-urile din datele de antrenare
- Inconsistență - poate contrazice informații anterioare
Soluții:
- Verifică întotdeauna output-ul
- Cere surse sau justificări
- Folosește constrângeri explicite
Sinteză
| Concept | Descriere |
|---|---|
| Optimizare token | Modelul alege cel mai probabil token următor |
| Traiectorie probabilistică | Prompt-ul ghidează secvența de probabilități |
| Formulare > Intenție | Ce scrii contează mai mult decât ce gândești |
| Constrângeri > Politețe | Regulile explicite oferă control |
De reținut
LLM-urile sunt motoare de predicție, nu motoare de adevăr. Prompt Engineering înseamnă să ghidezi predicția către rezultatul dorit.
Întrebări de verificare
- Ce înseamnă “optimizarea următorului token”?
- De ce modelul nu caută adevărul?
- Cum influențează formularea traiectoria probabilistică?
- De ce constrângerile sunt mai eficiente decât politețea în prompt-uri?