Análise de dados e NLP com LLMs

Análise de dados e NLP com LLMs

Introdução

Os modelos de linguagem podem ser usados para realizar análises sofisticadas de dados textuais e não textuais. Este tutorial explora as diferentes formas de usar LLMs para análise de dados e processamento de linguagem natural.

Análise de dados com LLMs

1. Análise de dados estruturados

import pandas as pd
from openai import OpenAI
import json

class DataAnalyzer:
    def __init__(self, api_key):
        self.client = OpenAI(api_key=api_key)
    
    def analyze_dataframe(self, df, analysis_type="general"):
        # Converter o DataFrame em descrição estatística
        stats = df.describe().to_json()
        sample = df.head().to_json()
        
        prompt = f"""
        Analyse les données suivantes :
        
        Statistiques : {stats}
        Échantillon : {sample}
        
        Type d'analyse demandée : {analysis_type}
        
        Fournis :
        1. Un résumé des tendances principales
        2. Des insights clés
        3. Des recommandations d'analyse supplémentaires
        """
        
        response = self.client.chat.completions.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.3
        )
        
        return response.choices[0].message.content