Introdução à Inteligência Artificial e ao Processamento de Linguagem Natural

A Inteligência Artificial (IA) e o Processamento de Linguagem Natural (NLP) são áreas em plena expansão que estão transformando a maneira como interagimos com as máquinas.

1. Conceitos Fundamentais

O que é IA?

# Exemplo simples de aprendizado de máquina
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# Criação de dados de exemplo
X, y = make_classification(n_samples=1000, n_features=20)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Treinamento do modelo
model = LogisticRegression()
model.fit(X_train, y_train)

# Avaliação
score = model.score(X_test, y_test)
print(f"Précision du modèle : {score:.2f}")

O que é NLP?

# Exemplo de processamento de texto com NLTK
import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

# Download dos recursos necessários
nltk.download('punkt')
nltk.download('stopwords')

# Exemplo de processamento
text = "L'intelligence artificielle transforme notre monde."
tokens = word_tokenize(text)
stop_words = set(stopwords.words('french'))

# Filtragem das stop words
filtered_tokens = [w for w in tokens if w.lower() not in stop_words]
print(f"Mots filtrés : {filtered_tokens}")

2. Aplicações Práticas

Análise de Sentimento

# Exemplo de análise de sentimento com Transformers
from transformers import pipeline

# Inicialização do modelo
sentiment_analyzer = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment")

# Análise de texto
text = "Je suis vraiment ravi de découvrir l'IA !"
result = sentiment_analyzer(text)
print(f"Sentiment : {result[0]['label']} (Score : {result[0]['score']:.2f})")

Geração de Texto

# Exemplo de geração de texto com GPT
from transformers import GPT2LMHeadModel, GPT2Tokenizer

# Carregamento do modelo
model = GPT2LMHeadModel.from_pretrained('gpt2')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

# Geração de texto
prompt = "L'intelligence artificielle est"
inputs = tokenizer.encode(prompt, return_tensors='pt')
outputs = model.generate(inputs, max_length=50, num_return_sequences=1)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Texte généré : {generated_text}")

3. Ferramentas Modernas

Bibliotecas Populares

# Exemplo de uso do spaCy
import spacy

# Carregamento do modelo em francês
nlp = spacy.load('fr_core_news_sm')

# Análise de texto
text = "L'IA révolutionne le traitement du langage naturel."
doc = nlp(text)

# Extração das entidades nomeadas
for ent in doc.ents:
    print(f"Entité : {ent.text} - Type : {ent.label_}")

Modelos Pré-treinados

# Exemplo de uso do BERT
from transformers import BertTokenizer, BertModel

# Carregamento do modelo
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertModel.from_pretrained('bert-base-multilingual-cased')

# Codificação de texto
text = "L'intelligence artificielle est fascinante."
encoded = tokenizer(text, return_tensors='pt')
outputs = model(**encoded)

4. Boas Práticas

Pré-processamento dos Dados

# Script de pré-processamento de texto
def preprocess_text(text):
    # Conversão para minúsculas
    text = text.lower()
    
    # Remoção de caracteres especiais
    import re
    text = re.sub(r'[^\w\s]', '', text)
    
    # Tokenização
    tokens = word_tokenize(text)
    
    # Remoção das stop words
    stop_words = set(stopwords.words('french'))
    tokens = [w for w in tokens if w not in stop_words]
    
    return ' '.join(tokens)

Avaliação dos Modelos

# Script de avaliação de modelo
def evaluate_model(model, X_test, y_test):
    # Previsões
    predictions = model.predict(X_test)
    
    # Métricas
    from sklearn.metrics import accuracy_score, precision_score, recall_score
    
    accuracy = accuracy_score(y_test, predictions)
    precision = precision_score(y_test, predictions, average='weighted')
    recall = recall_score(y_test, predictions, average='weighted')
    
    print(f"Précision : {accuracy:.2f}")
    print(f"Précision moyenne : {precision:.2f}")
    print(f"Rappel moyen : {recall:.2f}")

5. Aplicações Avançadas

Tradução Automática

# Exemplo de tradução com MarianMT
from transformers import MarianMTModel, MarianTokenizer

# Carregamento do modelo de tradução
model_name = 'Helsinki-NLP/opus-mt-fr-en'
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

# Tradução
text = "L'intelligence artificielle est passionnante."
encoded = tokenizer(text, return_tensors='pt')
outputs = model.generate(**encoded)
translated = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Traduction : {translated}")

Pergunta e Resposta

# Exemplo de sistema de pergunta e resposta
from transformers import pipeline

# Inicialização do modelo
qa_model = pipeline("question-answering", model="deepset/bert-base-cased-spqa")

# Pergunta e contexto
context = "L'IA est utilisée dans de nombreux domaines comme la médecine, la finance et l'éducation."
question = "Quels sont les domaines d'application de l'IA ?"

# Obtenção da resposta
result = qa_model(question=question, context=context)
print(f"Réponse : {result['answer']}")

Conclusão

A IA e o NLP oferecem possibilidades imensas:

• Processamento automático de linguagem
• Análise de sentimento
• Geração de texto
• Tradução automática
• Sistemas de pergunta e resposta

Pontos-chave a lembrar:

• Compreender os conceitos fundamentais
• Utilizar as bibliotecas certas
• Seguir as boas práticas
• Avaliar o desempenho
• Manter-se atualizado com os avanços