تحليل البيانات ومعالجة اللغة الطبيعية (NLP) باستخدام نماذج اللغة الكبيرة (LLM)

تحليل البيانات ومعالجة اللغة الطبيعية (NLP) باستخدام نماذج اللغة الكبيرة (LLM)

مقدمة

يمكن استخدام نماذج اللغة لإجراء تحليلات متقدمة للبيانات النصية وغير النصية. يستعرض هذا الدرس الطرق المختلفة لاستخدام نماذج LLM في تحليل البيانات ومعالجة اللغة الطبيعية.

تحليل البيانات باستخدام LLM

1. تحليل البيانات المهيكلة

import pandas as pd
from openai import OpenAI
import json

class DataAnalyzer:
    def __init__(self, api_key):
        self.client = OpenAI(api_key=api_key)
    
    def analyze_dataframe(self, df, analysis_type="general"):
        # Convertir le DataFrame en description statistique
        stats = df.describe().to_json()
        sample = df.head().to_json()
        
        prompt = f"""
        Analyse les données suivantes :
        
        Statistiques : {stats}
        Échantillon : {sample}
        
        Type d'analyse demandée : {analysis_type}
        
        Fournis :
        1. Un résumé des tendances principales
        2. Des insights clés
        3. Des recommandations d'analyse supplémentaires
        """
        
        response = self.client.chat.completions.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.3
        )
        
        return response.choices[0].message.content