Stack Python ML : NumPy, Pandas & Matplotlib

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# ── NumPy : tableaux, broadcasting, opérations vectorisées ───────────────────
X = np.random.randn(1000, 5)          # 1000 échantillons, 5 variables
y = 2*X[:,0] - X[:,1] + 0.5*np.random.randn(1000)

print(X.shape, X.dtype)               # (1000, 5) float64
print(X.mean(axis=0).round(3))        # moyennes par variable ≈ 0
print(X.std(axis=0).round(3))         # écarts-types par variable ≈ 1

# Broadcasting : soustraire la moyenne et diviser par l'écart-type (StandardScaler manuel)
X_scaled = (X - X.mean(axis=0)) / X.std(axis=0)

# Multiplication matricielle : X @ W où W est 5×2
W = np.random.randn(5, 2)
Z = X_scaled @ W                       # forme (1000, 2)

# Indexation booléenne
high_income = X[X[:,0] > 1.0]         # lignes où la variable 0 > 1σ
print(f"Lignes à revenu élevé : {len(high_income)}")

# ── Pandas : DataFrames, EDA ─────────────────────────────────────────────────
df = pd.DataFrame(X, columns=[f"var_{i}" for i in range(5)])
df["cible"] = y

# EDA rapide
print(df.describe().round(2))          # count, mean, std, quartiles
print(df.isnull().sum())               # vérifier les valeurs manquantes
print(df.dtypes)

# Exemple de groupby
df["groupe"] = np.where(df["var_0"] > 0, "élevé", "faible")
print(df.groupby("groupe")["cible"].agg(["mean","std"]).round(3))

# Corrélations
corr = df.drop(columns="groupe").corr()
print(corr["cible"].sort_values(ascending=False).round(3))

# ── Matplotlib / Seaborn : visualisation ─────────────────────────────────────
fig, axes = plt.subplots(1, 3, figsize=(15, 4))

# 1. Distribution de la cible
axes[0].hist(df["cible"], bins=50, color="#6c63ff", alpha=0.8, edgecolor="white")
axes[0].set_title("Distribution de la cible")
axes[0].set_xlabel("y")

# 2. Nuage de points + droite de régression
axes[1].scatter(df["var_0"], df["cible"], alpha=0.3, s=10, color="#06b6d4")
m, b = np.polyfit(df["var_0"], df["cible"], 1)
x_line = np.linspace(-3, 3, 100)
axes[1].plot(x_line, m*x_line + b, color="#ff6b6b", lw=2, label=f"pente={m:.2f}")
axes[1].set_title("Variable 0 vs Cible")
axes[1].legend()

# 3. Carte de chaleur des corrélations
sns.heatmap(corr, annot=True, fmt=".2f", cmap="coolwarm",
            center=0, ax=axes[2], cbar=False)
axes[2].set_title("Matrice de corrélation")

plt.tight_layout()