Procesamiento del lenguaje natural avanzado con LLM

Procesamiento del lenguaje natural avanzado con LLM

Introducción

Los modelos de lenguaje se pueden utilizar para realizar tareas avanzadas de procesamiento del lenguaje natural (NLP). Este tutorial explora las distintas formas de implementar estas funcionalidades con los LLM.

Tipos de tareas de NLP

1. Análisis de texto

• Análisis de sentimiento
• Análisis de tono
• Análisis de estilo
• Análisis de coherencia
• Análisis de estructura

2. Clasificación

• Clasificación de documentos
• Clasificación de sentimiento
• Clasificación de temas
• Clasificación de idiomas
• Clasificación de géneros

3. Extracción de información

• Extracción de entidades
• Extracción de relaciones
• Extracción de palabras clave
• Extracción de resúmenes
• Extracción de citas

Implementación

1. Analizador de texto

from openai import OpenAI
import json
from typing import List, Dict, Any
import numpy as np

class TextAnalyzer:
    def __init__(self, api_key: str):
        self.client = OpenAI(api_key=api_key)
    
    def analyze_text(self, text: str, analysis_type: str = "sentiment") -> Dict[str, Any]:
        prompt = self._create_analysis_prompt(text, analysis_type)
        
        response = self.client.chat.completions.create(
            model="gpt-3.5-turbo",
            messages=[
                {"role": "system", "content": "Tu es un expert en analyse de texte."},
                {"role": "user", "content": prompt}
            ],
            temperature=0.3
        )
        
        return json.loads(response.choices[0].message.content)
    
    def _create_analysis_prompt(self, text: str, analysis_type: str) -> str:
        return f"""
        Analyse le texte suivant de type {analysis_type} :
        
        Texte : {text}
        
        Fournis :
        1. L'analyse détaillée
        2. Les points clés
        3. Les insights
        4. Les recommandations
        
        Réponds au format JSON.
        """