Introduction à l’Intelligence Artificielle et au Traitement du Langage Naturel

L’Intelligence Artificielle (IA) et le Traitement du Langage Naturel (NLP) sont des domaines en pleine expansion qui transforment notre façon d’interagir avec les machines.

1. Concepts Fondamentaux

Qu’est-ce que l’IA ?

# Exemple simple d'apprentissage automatique
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# Création de données d'exemple
X, y = make_classification(n_samples=1000, n_features=20)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Entraînement du modèle
model = LogisticRegression()
model.fit(X_train, y_train)

# Évaluation
score = model.score(X_test, y_test)
print(f"Précision du modèle : {score:.2f}")

Qu’est-ce que le NLP ?

# Exemple de traitement de texte avec NLTK
import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

# Téléchargement des ressources nécessaires
nltk.download('punkt')
nltk.download('stopwords')

# Exemple de traitement
text = "L'intelligence artificielle transforme notre monde."
tokens = word_tokenize(text)
stop_words = set(stopwords.words('french'))

# Filtrage des mots vides
filtered_tokens = [w for w in tokens if w.lower() not in stop_words]
print(f"Mots filtrés : {filtered_tokens}")

2. Applications Pratiques

Analyse de Sentiment

# Exemple d'analyse de sentiment avec Transformers
from transformers import pipeline

# Initialisation du modèle
sentiment_analyzer = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment")

# Analyse de texte
text = "Je suis vraiment ravi de découvrir l'IA !"
result = sentiment_analyzer(text)
print(f"Sentiment : {result[0]['label']} (Score : {result[0]['score']:.2f})")

Génération de Texte

# Exemple de génération de texte avec GPT
from transformers import GPT2LMHeadModel, GPT2Tokenizer

# Chargement du modèle
model = GPT2LMHeadModel.from_pretrained('gpt2')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

# Génération de texte
prompt = "L'intelligence artificielle est"
inputs = tokenizer.encode(prompt, return_tensors='pt')
outputs = model.generate(inputs, max_length=50, num_return_sequences=1)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Texte généré : {generated_text}")

3. Outils Modernes

Bibliothèques Populaires

# Exemple d'utilisation de spaCy
import spacy

# Chargement du modèle français
nlp = spacy.load('fr_core_news_sm')

# Analyse de texte
text = "L'IA révolutionne le traitement du langage naturel."
doc = nlp(text)

# Extraction des entités nommées
for ent in doc.ents:
    print(f"Entité : {ent.text} - Type : {ent.label_}")

Modèles Pré-entraînés

# Exemple d'utilisation de BERT
from transformers import BertTokenizer, BertModel

# Chargement du modèle
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertModel.from_pretrained('bert-base-multilingual-cased')

# Encodage de texte
text = "L'intelligence artificielle est fascinante."
encoded = tokenizer(text, return_tensors='pt')
outputs = model(**encoded)

4. Bonnes Pratiques

Prétraitement des Données

# Script de prétraitement de texte
def preprocess_text(text):
    # Conversion en minuscules
    text = text.lower()
    
    # Suppression des caractères spéciaux
    import re
    text = re.sub(r'[^\w\s]', '', text)
    
    # Tokenization
    tokens = word_tokenize(text)
    
    # Suppression des mots vides
    stop_words = set(stopwords.words('french'))
    tokens = [w for w in tokens if w not in stop_words]
    
    return ' '.join(tokens)

Évaluation des Modèles

# Script d'évaluation de modèle
def evaluate_model(model, X_test, y_test):
    # Prédictions
    predictions = model.predict(X_test)
    
    # Métriques
    from sklearn.metrics import accuracy_score, precision_score, recall_score
    
    accuracy = accuracy_score(y_test, predictions)
    precision = precision_score(y_test, predictions, average='weighted')
    recall = recall_score(y_test, predictions, average='weighted')
    
    print(f"Précision : {accuracy:.2f}")
    print(f"Précision moyenne : {precision:.2f}")
    print(f"Rappel moyen : {recall:.2f}")

5. Applications Avancées

Traduction Automatique

# Exemple de traduction avec MarianMT
from transformers import MarianMTModel, MarianTokenizer

# Chargement du modèle de traduction
model_name = 'Helsinki-NLP/opus-mt-fr-en'
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

# Traduction
text = "L'intelligence artificielle est passionnante."
encoded = tokenizer(text, return_tensors='pt')
outputs = model.generate(**encoded)
translated = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Traduction : {translated}")

Question-Réponse

# Exemple de système de question-réponse
from transformers import pipeline

# Initialisation du modèle
qa_model = pipeline("question-answering", model="deepset/bert-base-cased-spqa")

# Question et contexte
context = "L'IA est utilisée dans de nombreux domaines comme la médecine, la finance et l'éducation."
question = "Quels sont les domaines d'application de l'IA ?"

# Obtention de la réponse
result = qa_model(question=question, context=context)
print(f"Réponse : {result['answer']}")

Conclusion

L’IA et le NLP offrent des possibilités immenses :

• Traitement automatique du langage
• Analyse de sentiment
• Génération de texte
• Traduction automatique
• Systèmes de question-réponse

Points clés à retenir :

• Comprendre les concepts fondamentaux
• Utiliser les bonnes bibliothèques
• Suivre les bonnes pratiques
• Évaluer les performances
• Rester à jour avec les avancées