Atenção: Isso é o Que a IA Faz Para Aprender Qualquer Assunto! — Sandeco Channel - Decomplicated IA
Vídeo
▶ Assistir no YouTube · 27:29 · Sandeco Channel - Decomplicated IA
TL;DR
O mecanismo de atenção — nascido do artigo “Attention Is All You Need” (Google, 2017) — é o coração do Transformer. Usando produto escalar normalizado (scaled dot-product) entre embeddings, ele cria “centros de massa gravitacionais” por assunto: palavras semanticamente próximas se atraem no espaço vetorial. O resultado é calculado com três matrizes derivadas dos embeddings de entrada (Query, Key, Value), aplicando softmax para obter probabilidades e gerando novos embeddings onde cada token carrega o contexto dos outros.
Pontos-chave
- O mecanismo de atenção modela o contexto como gravidade: cada assunto funciona como um “buraco negro” que atrai palavras semanticamente relacionadas — palavras ambíguas como “ponto” são atraídas para o assunto dominante no contexto.
- O cálculo central é o produto escalar (dot product) entre embeddings: multiplicar dois vetores e somar os produtos das dimensões gera um “score de similaridade” — quanto maior o score, mais próximos semanticamente os tokens estão.
- O produto escalar é normalizado pela raiz quadrada de
d_model(scaled dot-product) para evitar que valores muito grandes destabilizem os gradientes durante o treinamento. - Query (Q), Key (K) e Value (V) são três cópias idênticas dos embeddings de entrada; o mecanismo usa Q×Kᵀ para calcular scores de similaridade, aplica softmax para converter em probabilidades, depois multiplica por V para gerar os embeddings de saída.
- O softmax garante que os scores de cada linha sumem a 1 (distribuição de probabilidade): assuntos dominantes recebem probabilidade próxima de 1 e os demais ficam próximos de 0, fazendo o modelo “focar” no contexto relevante.
- Quanto mais contexto relevante no prompt, mais forte o “centro de massa” do assunto — é por isso que prompts bem contextualizados produzem respostas melhores.
- A fórmula
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · Vé o “E=mc²” da IA: simples e poderosa, escrita em 2017 por pesquisadores do Google e responsável pela revolução dos LLMs.
Momentos-chave
- [00:00] — Analogia gravitacional: cada assunto é um “sol que deforma o espaço-tempo”
- [01:10] — Problema: a palavra “ponto” pertence a transporte ou moda?
- [01:50] — Artigo “Attention Is All You Need” (Google, 2017): origem da revolução
- [02:30] — Produto escalar como medida de similaridade entre embeddings
- [06:15] — Score de similaridade: passageiro/ônibus = 32 vs. passageiro/corte = 10
- [10:20] — Normalização pela raiz de
d_model: scaled dot-product - [12:00] — Multiplicação matricial de todos os tokens de uma vez (Q × Kᵀ)
- [14:30] — Mapa de calor de similaridade: assunto dominante fica verde
- [17:00] — Softmax: converte scores em probabilidades (soma = 1 por linha)
- [20:00] — Embeddings de saída: a palavra “ponto” migra para o cluster de transporte
- [23:30] — Fórmula final:
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V - [26:00] — Próxima aula: multi-head attention (várias cabeças de atenção simultâneas)
Citações
“cada assunto é como se fosse um sol que deforma o espaço-tempo e atrai palavras para ele” — [00:09]
“a palavra ponto ela pode fazer parte tanto do assunto moda como o assunto transporte né ela pode ser ponto de corte ou pode ser ponto de ônibus e aí para que lado que vai a palavra ponto é isso que a gente vai descobrir hoje com o mecanismo de atenção” — [01:19]
“attention All need é o título do artigo que deu origem a todo esse movimento de llms” — [01:50]
“quanto maior for esse score maior a proximidade Entre esses tokens perceba que esse score ele é importante porque você lembra que lá no fim ele não faz a probabilidade Então esse valor de score alto ajuda a poder definir qual é a palavra que vai ser mais provável” — [06:15]
“isso é o chamado Mc quadrado né da Inteligência Artificial é esse mecanismo que fez com que as redes Transformers gpts Gemini Cloud de psique todas essas redes neurais pudessem aprender a ter atenção aquilo que você está escrevendo” — [23:30]
Meu comentário
Escreva aqui sua reação, surpresas, discordâncias.