mallikarjun annaPRO & Creator Features
Unlock advanced AI features with Pro (Audio2Audio, Voice Clone, Photo Covers, LoRA) or Creator (Variations, Edit Sections, Stem Separation).
Audio2Audio Remix
Pro & Creator
Voice Clone
Pro & Creator
Create Variations
Creator only
Edit Sections
Creator only
Stem Separation
Creator only
Lyrics
▶ Play this song to follow along.
Intro – Llm Architecture
Llm Architecture నేర్చుకుందాం,
Step by step గా తెలుసుకుందాం,
Text నుంచి Token దాకా,
Token నుంచి Prediction దాకా,
ప్రతి Diagram అర్థం చేసుకుందాం,
Llm పని మొత్తం తెలుసుకుందాం!
1. Overall Architecture
ముందుగా Input Tokens వస్తాయి,
Token plus Positional Embedding అవుతాయి,
Model లోకి Input ఇస్తే,
Masked Multi-Head Self-Attention వస్తుంది!
తర్వాత Add and LayerNorm,
Training ను stable చేస్తుంది,
తర్వాత Feed Forward Network,
Non-linear learning చేస్తుంది!
మళ్లీ Add and LayerNorm,
Information ను refine చేస్తుంది,
ఇలా N times repeat అవుతూ,
Transformer layer ముందుకు సాగుతుంది!
చివరలో Softmax plus Linear,
Probability ను calculate చేస్తుంది,
ఎక్కువ probability ఉన్న Token ను,
Output Token గా predict చేస్తుంది!
Input → Embedding → Attention → Ffn → LayerNorm → Softmax → Output!
ఇదే మన Llm Architecture,
ఇదే మన Decoder-Only Transformer!
2. Tokenization Diagram
ఇప్పుడు మన దగ్గర Text ఉంది,
“The cat sat on the mat” ఉంది,
Tokenizer దాన్ని తీసుకుని,
చిన్న చిన్న Tokens చేస్తుంది!
Bpe లేదా SentencePiece,
Text ను విడగొడతాయి,
ప్రతి Token కి ఒక ప్రత్యేక Token Id,
Integer రూపంలో ఇస్తాయి!
The ఒక Token,
cat ఒక Token,
sat ఒక Token,
on ఒక Token,
the ఒక Token,
mat ఒక Token,
dot కూడా ఒక Token!
Tokenization అంటే ఏమిటి?
Text ను చిన్న units గా మార్చడం!
Unknown words వచ్చినా కూడా,
Subwords గా విడగొట్టి handle చేయడం!
Text → Tokenizer → Token IDs → Tokens!
ఇదే మొదటి Step,
Llm journey లో మొదటి Step!
3. Token & Positional Embedding Diagram
ఇప్పుడు Token Id వచ్చింది,
కానీ Id మాత్రమే సరిపోదు,
దాన్ని Vector గా మార్చాలి,
అందుకే Token Embedding వస్తుంది!
Eₜ equals Embedding of Token Id,
ప్రతి Token కి Vector ఇస్తుంది,
Embedding Matrix లో నుంచి,
ఆ Token Vector వస్తుంది!
కానీ ఒక ప్రశ్న వస్తుంది,
Token ఏ Position లో ఉందో?
అది చెప్పడానికి మనకు,
Positional Embedding ఉంటుంది!
Eₚ equals Position of pos,
Position information ఇస్తుంది,
Token Embedding మరియు Position Embedding,
రెండూ కలిపి Input అవుతుంది!
X equals Eₜ plus Eₚ,
ఇదే Model Input Representation!
Token meaning తో పాటు,
Position information కూడా వస్తుంది!
Token meaning ఒకటి,
Position meaning ఒకటి,
రెండూ కలిస్తే X వస్తుంది,
Llm కి Input అవుతుంది!
4. Self-Attention Diagram
ఇప్పుడు వస్తుంది Self-Attention,
Context ను నేర్చుకునే mechanism!
Input X నుంచి మూడు వస్తాయి,
Q – Query,
K – Key,
V – Value!
Query అడుగుతుంది,
“నాకు ఏ information కావాలి?”
Key చెబుతుంది,
“నా దగ్గర ఏ information ఉంది?”
Value అసలు information,
అది final output కి ఉపయోగపడుతుంది!
Q equals Xwq,
K equals Xwk,
V equals Xwv!
తర్వాత Attention Score,
Qk transpose divided by square root of dₖ,
ఇలా calculate అవుతుంది!
కానీ future Token చూడకూడదు,
అందుకే Causal Mask వస్తుంది!
Future information ను block చేసి,
Previous Tokens మాత్రమే చూస్తుంది!
తర్వాత Softmax,
Scores ను probabilities చేస్తుంది,
వచ్చిన Attention Weights తో,
Values కి importance ఇస్తుంది!
చివరగా Z equals alpha V,
Weighted Sum గా Output వస్తుంది!
Query అడుగు, Key చూడు,
Value తీసుకుని Context నేర్చుకో!
Causal Mask future ఆపు,
Softmax తో weights ఇవ�