Mô hình hồi quy logistic thứ tự là gì?: Hồi quy logistic thứ tự là một phương pháp phân tích thống kê được sử dụng khi biến phụ thuộc có thứ tự, nghĩa là các giá trị của biến phụ thuộc có một thứ tự tự nhiên nhưng không nhất thiết có khoảng cách đều nhau giữa các giá trị. Ví dụ về biến phụ thuộc có thứ tự bao gồm mức độ hài lòng của khách hàng (rất không hài lòng, không hài lòng, trung lập, hài lòng, rất hài lòng) hoặc trình độ học vấn (tiểu học, trung học, đại học).
Ví dụ: Giả sử chúng ta muốn nghiên cứu các yếu tố ảnh hưởng đến mức độ hài lòng của khách hàng sử dụng dịch vụ của một công ty. Biến phụ thuộc là mức độ hài lòng của khách hàng với 5 mức độ: “Rất không hài lòng”, “Không hài lòng”, “Trung lập”, “Hài lòng”, “Rất hài lòng”.
2. Mô Hình Hồi Quy Logistic Thứ Tự
Công thức mô hình:
Trình bày công thức toán học của mô hình hồi quy logistic thứ tự:
Cách giải thích kết quả của mô hình ordinal logistic
Để minh họa cách giải thích kết quả của mô hình ordinal logistic, hãy xem xét một ví dụ cụ thể. Giả sử chúng ta đã chạy một mô hình ordinal logistic để dự đoán mức độ hài lòng của khách hàng (1: Rất không hài lòng, 2: Không hài lòng, 3: Bình thường, 4: Hài lòng, 5: Rất hài lòng) dựa trên hai biến độc lập: thời gian chờ đợi (WaitTime) và chất lượng dịch vụ (ServiceQuality).
Đây là điểm cắt giữa mức độ hài lòng “Rất không hài lòng” (1) và “Không hài lòng hoặc cao hơn” (2, 3, 4, 5).
Giá trị âm cho thấy rằng với giá trị trung bình của các biến độc lập (WaitTime và ServiceQuality), khả năng là khách hàng sẽ không hài lòng hơn là rất không hài lòng.
Intercept 2 (cutpoint 2) = -1.50:
Đây là điểm cắt giữa mức độ hài lòng “Không hài lòng” (2) và “Bình thường hoặc cao hơn” (3, 4, 5).
Giá trị âm nhưng lớn hơn -2.50, cho thấy rằng với giá trị trung bình của các biến độc lập, khả năng là khách hàng sẽ bình thường hoặc cao hơn là không hài lòng.
Intercept 3 (cutpoint 3) = -0.50:
Đây là điểm cắt giữa mức độ hài lòng “Bình thường” (3) và “Hài lòng hoặc cao hơn” (4, 5).
Giá trị gần bằng 0 cho thấy rằng với giá trị trung bình của các biến độc lập, khả năng là khách hàng sẽ hài lòng hoặc cao hơn là bình thường.
Intercept 4 (cutpoint 4) = 1.00:
Đây là điểm cắt giữa mức độ hài lòng “Hài lòng” (4) và “Rất hài lòng” (5).
Giá trị dương cho thấy rằng với giá trị trung bình của các biến độc lập, khả năng là khách hàng sẽ rất hài lòng hơn là hài lòng.
2. Các Hệ số Hồi quy
WaitTime = -0.75:
Hệ số này âm, cho thấy rằng thời gian chờ đợi dài hơn sẽ làm giảm mức độ hài lòng của khách hàng.
Cụ thể, mỗi đơn vị tăng thêm trong thời gian chờ đợi sẽ làm giảm log-odds của việc khách hàng đạt mức độ hài lòng cao hơn so với mức độ hài lòng hiện tại.
Hệ số này có ý nghĩa thống kê (P-value < 0.001), cho thấy rằng thời gian chờ đợi có ảnh hưởng đáng kể đến mức độ hài lòng của khách hàng.
ServiceQuality = 1.20:
Hệ số này dương, cho thấy rằng chất lượng dịch vụ tốt hơn sẽ tăng mức độ hài lòng của khách hàng.
Cụ thể, mỗi đơn vị tăng thêm trong chất lượng dịch vụ sẽ tăng log-odds của việc khách hàng đạt mức độ hài lòng cao hơn so với mức độ hài lòng hiện tại.
Hệ số này cũng có ý nghĩa thống kê (P-value < 0.001), cho thấy rằng chất lượng dịch vụ có ảnh hưởng đáng kể đến mức độ hài lòng của khách hàng.
Cách Tính Xác Suất
Giả sử chúng ta muốn tính xác suất rằng một khách hàng với thời gian chờ đợi là 3 đơn vị và chất lượng dịch vụ là 4 đơn vị sẽ thuộc vào từng mức độ hài lòng.
Đầu tiên, chúng ta tính giá trị tiềm ẩn \(Y^*\): \[
Y^* = -0.75 \times 3 + 1.20 \times 4 = -2.25 + 4.8 = 2.55
\]
Sau đó, chúng ta tính xác suất cho từng mức độ hài lòng:
Xác suất rằng khách hàng không hài lòng: 1.7% - 0.6%
Xác suất rằng khách hàng bình thường: 4.5% - 1.7%
Xác suất rằng khách hàng hài lòng: 17.5% - 4.5%
Xác suất rằng khách hàng rất hài lòng: 82.5%
Đánh giá mô hình
Cohen’s Kappa:
Sử dụng: Với mô hình có biến phụ thuộc là một biến định danh (nominal variable) và muốn đánh giá mức độ chính xác của mô hình dự báo.
Ví dụ: Đánh giá phân loại giữa hai bác sĩ về chẩn đoán bệnh.
⭐Weighted Cohen’s Kappa hoặc Kendall’s Tau:
Sử dụng: Với mô hình có biến phụ thuộc là một biến thứ bậc (ordinal variable).
⭐Weighted Cohen’s Kappa: Điều chỉnh cho trọng số khác nhau của sự không chính xác của kết quả dự báo để phản ánh mức độ nghiêm trọng của các sai lệch dự đoán.
Kendall’s Tau: Được sử dụng để đánh giá mức độ tương quan và độ chính xác của dự báo.
Ví dụ: Đánh giá mức độ hài lòng của khách hàng trên thang điểm từ 1 đến 5.
Pearson’s Correlation:
Sử dụng: Với mô hình có biến phụ thuộc là một biến định lượng và muốn biết mức độ tương quan giữa kết quả thực tế và dự báo.
Ví dụ: So sánh kết quả của hai phương pháp đo lường huyết áp.
Fleiss’ Kappa:
Sử dụng: Khi bạn có nhiều hơn hai mẫu phụ thuộc danh nghĩa (nominal dependent samples) và muốn đánh giá mức độ đồng thuận giữa nhiều mô hình dự báo.
Ví dụ: Đánh giá sự đồng thuận giữa nhiều bác sĩ về chẩn đoán bệnh trong một tập hợp các trường hợp.
Image Description
Quadratic Weighted Kappa (QWK).
1. Cohen’s Kappa
\[ \kappa = \frac{p_0 - p_e}{1 - p_e} \]
\(p_0\): Xác suất quan sát đồng thuận (tỷ lệ các giá trị dự đoán trùng với giá trị thực tế).
\(p_e\): Xác suất đồng thuận ngẫu nhiên (tính dựa trên ma trận đồng thuận và xác suất của từng nhãn).
\(O_{ij}\): Ma trận quan sát (confusion matrix), với \(O_{ij}\) là số lượng trường hợp mà giá trị thực tế là \(i\) và giá trị dự đoán là \(j\).
\(E_{ij}\): Ma trận kỳ vọng, được tính dựa trên xác suất của các nhãn.
\(W_{ij}\): Ma trận trọng số, tính dựa trên khoảng cách giữa các nhãn \(i\) và \(j\), thường được tính như sau:
\[
W_{ij} = \frac{(i - j)^2}{(N - 1)^2}
\]
trong đó \(N\) là số lượng nhãn.
3. Khoảng Giá Trị:
QWK có giá trị dao động từ -1 đến 1:
1: Đồng thuận hoàn hảo giữa dự báo và thực tế.
0: Không có sự đồng thuận nào ngoài mức ngẫu nhiên.
< 0: Sự đồng thuận kém hơn mức ngẫu nhiên (phản đồng thuận).
4. Ý Nghĩa:
1: Mô hình dự báo hoàn toàn khớp với thực tế.
0.81 - 1.00: Đồng thuận gần như hoàn hảo giữa dự báo và thực tế.
0.61 - 0.80: Đồng thuận đáng kể.
0.41 - 0.60: Đồng thuận khá.
0.21 - 0.40: Đồng thuận vừa phải.
0.01 - 0.20: Đồng thuận nhẹ.
0: Không có sự đồng thuận.
< 0: Đồng thuận kém hơn ngẫu nhiên, mô hình hoặc đánh giá có vấn đề nghiêm trọng.
Ví dụ Minh Họa:
Giả sử chúng ta có dự báo và giá trị thực tế trên thang điểm từ 1 đến 5 như sau:
Thực tế
Dự báo
1
1
2
2
3
3
4
4
5
5
Trong trường hợp này, QWK sẽ bằng 1, biểu thị sự đồng thuận hoàn hảo giữa dự báo và thực tế.
Tuy nhiên, nếu có một số sự khác biệt như:
Thực tế
Dự báo
1
2
2
2
3
3
4
5
5
4
QWK sẽ phản ánh mức độ đồng thuận kém hơn giữa dự báo và thực tế.
QWK là một chỉ số quan trọng trong việc đánh giá mô hình dự báo trong các bài toán phân loại thứ bậc, đặc biệt khi các hạng mục có thứ tự. Nó giúp chúng ta hiểu rõ hơn về mức độ tương đồng giữa dự báo của mô hình và giá trị thực tế, qua đó cải thiện chất lượng mô hình.
Ví dụ 2:
Thực tế (Actual)
Dự đoán (Predicted)
Rất không hài lòng (1)
Rất không hài lòng (1)
Không hài lòng (2)
Không hài lòng (2)
Trung lập (3)
Trung lập (3)
Hài lòng (4)
Trung lập (3)
Rất hài lòng (5)
Rất hài lòng (5)
Rất không hài lòng (1)
Không hài lòng (2)
Không hài lòng (2)
Rất không hài lòng (1)
Trung lập (3)
Hài lòng (4)
Hài lòng (4)
Rất hài lòng (5)
Rất hài lòng (5)
Hài lòng (4)
1. Cohen’s Kappa
Bước 1: Tạo ma trận đồng thuận (confusion matrix).
So sánh trọng số Linear, Quadratic của hệ số kappa của Cohen (Cohen’s kappa coefficient)
Trong đánh giá các mô hình phân loại thứ bậc, hai loại trọng số thường được sử dụng là trọng số tuyến tính (linear weights) và trọng số bậc hai (quadratic weights). Các trọng số này ảnh hưởng đến cách tính toán độ sai lệch giữa các dự đoán và giá trị thực tế.
Công thức Tính Trọng số
Linear Weight:\[
W_{ij} = \frac{|i - j|}{N - 1}
\] Trong đó:
Linear Weights: Trọng số tăng tuyến tính với sự khác biệt giữa nhãn thực tế và nhãn dự đoán. Điều này có nghĩa là mỗi đơn vị sai lệch sẽ có một mức độ ảnh hưởng tương đương.
Quadratic Weights: Trọng số tăng bậc hai với sự khác biệt giữa nhãn thực tế và nhãn dự đoán. Điều này có nghĩa là các sai lệch lớn hơn sẽ bị phạt nặng hơn rất nhiều so với các sai lệch nhỏ hơn.
Kết luận
Linear Weights: Phù hợp hơn trong các trường hợp mà mọi sự khác biệt giữa các nhãn đều quan trọng như nhau.
Quadratic Weights: Phù hợp hơn trong các trường hợp mà các sai lệch lớn cần được phạt nặng hơn, phản ánh mức độ nghiêm trọng của các dự đoán sai lệch lớn hơn.
import pandas as pdfrom sklearn.model_selection import train_test_splitimport numpy as np# Tải dữ liệuurl ="https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv"data = pd.read_csv(url, sep=';')# Kiểm tra dữ liệuprint(data.head())print(data.info())# Chia dữ liệu thành tập huấn luyện và tập kiểm traX = data.drop('quality', axis=1)y = data['quality'] -3# Điều chỉnh các giá trị chất lượng# Chia dữ liệu thành tập huấn luyện và tập kiểm traX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Hiển thị một số thông tin về tập huấn luyện và tập kiểm traprint(f"X_train shape: {X_train.shape}, y_train shape: {y_train.shape}")print(f"X_test shape: {X_test.shape}, y_test shape: {y_test.shape}")# Chuyển đổi biến mục tiêu thành dạng ordinaly_train = y_train.astype('category')y_test = y_test.astype('category')
import statsmodels.api as smfrom statsmodels.miscmodels.ordinal_model import OrderedModel# Xây dựng mô hình Ordinal Logistic Regressionmodel = OrderedModel(y_train, X_train, distr='logit')result = model.fit(method='bfgs')# In kết quảprint(result.summary())
c:\Users\binhnn2\anaconda3\envs\rdm\lib\site-packages\statsmodels\miscmodels\ordinal_model.py:206: Warning: the endog has ordered == False, risk of capturing a wrong order for the categories. ordered == True preferred.
warnings.warn("the endog has ordered == False, "
# Dự đoán trên tập kiểm trapred_proba = result.predict(X_test)pred_one_hot = np.eye(len(set(y)))[np.round(pred_proba).astype(int)]# Chuyển đổi one-hot encoding sang mảng một chiềupred = np.argmax(pred_one_hot, axis=1)[:,1]# Chuyển đổi lại y_test thành dạng int để phù hợp với các hàm đánh giáy_test_int = y_test.astype(int).to_numpy()
from sklearn.metrics import cohen_kappa_score, confusion_matrixfrom scipy.stats import spearmanr# Đảm bảo kích thước phù hợpiflen(pred) ==len(y_test_int):# Đánh giá mô hình sử dụng QWK qwk = cohen_kappa_score(y_test_int, pred, weights='quadratic')print("Quadratic Weighted Kappa: ", qwk)# Đánh giá mô hình sử dụng Spearman's Rank Correlation spearman_corr, _ = spearmanr(y_test_int, pred)print("Spearman's Rank Correlation: ", spearman_corr)# Đánh giá mô hình sử dụng Cohen's Kappa cohen_kappa = cohen_kappa_score(y_test_int, pred)print("Cohen's Kappa: ", cohen_kappa)else:print("Error: The size of y_test and pred do not match.")
Bài viết này trên trang DATAtab cung cấp một hướng dẫn chi tiết về cách tính toán và sử dụng chỉ số Kappa của Cohen. Chỉ số này được sử dụng để đo lường mức độ đồng thuận giữa hai hoặc nhiều người đánh giá trong các nhiệm vụ phân loại. Hướng dẫn bao gồm cả lý thuyết cơ bản về chỉ số Kappa và cách tính toán nó với ví dụ minh họa.
Bài viết này giải thích chi tiết về chỉ số Weighted Cohen’s Kappa, một mở rộng của Cohen’s Kappa để xử lý các dữ liệu phân loại có thứ tự. Nội dung bao gồm các công thức tính toán cho trọng số tuyến tính và trọng số bậc hai, cùng với các ví dụ minh họa cụ thể để giúp hiểu rõ hơn về cách áp dụng chỉ số này trong thực tế.
Notebook này trên Kaggle của Lus Fernando Torres thực hiện phân tích khám phá dữ liệu (EDA), xây dựng mô hình dự đoán chất lượng rượu vang và triển khai mô hình. Nó bao gồm các bước xử lý dữ liệu, khám phá dữ liệu trực quan, xây dựng và đánh giá các mô hình học máy khác nhau, cũng như hướng dẫn triển khai mô hình để sử dụng thực tế.
Đây là notebook của người chiến thắng giải nhất trong một cuộc thi Kaggle, sử dụng RAPIDS và XGBoost để xây dựng mô hình. Notebook này chi tiết các bước và chiến lược mà tác giả sử dụng để đạt được kết quả tốt nhất trong cuộc thi, bao gồm xử lý dữ liệu, lựa chọn đặc trưng, và tinh chỉnh mô hình.
Notebook này trên Kaggle của Ryanirl tập trung vào việc xây dựng mô hình mạng nơ-ron nhân tạo (NN) bằng PyTorch cho tập dữ liệu của một cuộc thi Kaggle (PS S03E05). Nội dung bao gồm các bước từ chuẩn bị dữ liệu, xây dựng và huấn luyện mô hình, đến đánh giá và tinh chỉnh mô hình.
Notebook của Tetsutani trên Kaggle thực hiện so sánh giữa ba mô hình học máy phổ biến: XGBoost, LightGBM, và CatBoost trên tập dữ liệu của cuộc thi S3E5. Nó bao gồm các bước chuẩn bị dữ liệu, huấn luyện từng mô hình, và đánh giá hiệu suất của chúng để tìm ra mô hình tốt nhất.
Notebook này của David H Guerrero trên Kaggle trình bày cách giảm chiều dữ liệu bằng phương pháp t-SNE và chọn lọc đặc trưng dựa trên tầm quan trọng của chúng. Tác giả sử dụng phương pháp t-SNE để trực quan hóa dữ liệu và quyết định loại bỏ những đặc trưng không cần thiết, nhằm cải thiện hiệu suất mô hình.
Notebook của Ronen Nakash trên Kaggle giải thích cách xây dựng mô hình hồi quy logistic thứ bậc để giải quyết các bài toán phân loại thứ bậc. Nội dung bao gồm các bước từ chuẩn bị dữ liệu, xây dựng và huấn luyện mô hình, đến đánh giá và tinh chỉnh mô hình, giúp hiểu rõ hơn về việc áp dụng hồi quy logistic thứ bậc trong thực tế.
Bài viết trên trang Statsmodels cung cấp hướng dẫn chi tiết về cách sử dụng lớp OrderedModel cho hồi quy thứ bậc với các phân phối khác nhau (probit, logit, custom). Nội dung bao gồm các bước tải dữ liệu, xây dựng mô hình, diễn giải các hệ số, tính toán các ngưỡng, dự đoán và đánh giá hiệu suất mô hình.
Một số code thực hành
import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.metrics import accuracy_score, cohen_kappa_scoreimport warningsimport lightgbm as lgb# Suppress warningswarnings.filterwarnings('ignore', category=UserWarning)# Load the dataseturl ='https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'data = pd.read_csv(url, sep=';')# Define features and targetX = data.drop('quality', axis=1)y = data['quality'] -3# Split the data into training and test setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Standardize the featuresscaler = StandardScaler()X_train_scaled = scaler.fit_transform(X_train)X_test_scaled = scaler.transform(X_test)# Convert the data into LightGBM Datasetdtrain = lgb.Dataset(X_train_scaled, label=y_train)dtest = lgb.Dataset(X_test_scaled, label=y_test, reference=dtrain)# Set the parameters for LightGBMparams = {'objective': 'multiclass','num_class': len(np.unique(y)), # Number of classes'metric': 'multi_logloss','max_depth': 6,'learning_rate': 0.1,'subsample': 0.8,'colsample_bytree': 0.8,'seed': 42,'verbose': -1}# Train the LightGBM modelbst = lgb.train(params, dtrain, num_boost_round=100, valid_sets=[dtest])# Predict on the test sety_pred_prob = bst.predict(X_test_scaled, num_iteration=bst.best_iteration)y_pred = np.argmax(y_pred_prob, axis=1)# Evaluate the modelaccuracy = accuracy_score(y_test, y_pred)kappa = cohen_kappa_score(y_test, y_pred)qwk = cohen_kappa_score(y_test, y_pred, weights='quadratic')print(f'Test Accuracy: {accuracy:.2f}')print(f'Cohen\'s Kappa: {kappa:.2f}')print(f'Quadratic Weighted Kappa: {qwk:.2f}')
Test Accuracy: 0.68
Cohen's Kappa: 0.48
Quadratic Weighted Kappa: 0.66
Sử dụng kappa evaluation function thay cho multi_logloss
# Custom kappa evaluation functiondef kappa_eval(preds, train_data): y_true = train_data.get_label() y_pred = np.argmax(preds.reshape(len(np.unique(y_true)), -1), axis=0) kappa = cohen_kappa_score(y_true, y_pred, weights='quadratic')return'kappa', kappa, True# Convert the data into LightGBM Datasetdtrain = lgb.Dataset(X_train_scaled, label=y_train)dtest = lgb.Dataset(X_test_scaled, label=y_test, reference=dtrain)# Set the parameters for LightGBMparams = {'objective': 'multiclass','num_class': len(np.unique(y)), # Number of classes'metric': 'multi_logloss', # Default metric'max_depth': 6,'learning_rate': 0.1,'subsample': 0.8,'colsample_bytree': 0.8,'seed': 42,'verbose': -1}# Train the LightGBM model with custom kappa evaluationbst = lgb.train(params, dtrain, num_boost_round=100, valid_sets=[dtest], feval=kappa_eval)# Predict on the test sety_pred_prob = bst.predict(X_test_scaled, num_iteration=bst.best_iteration)y_pred = np.argmax(y_pred_prob, axis=1)# Evaluate the modelaccuracy = accuracy_score(y_test, y_pred)kappa = cohen_kappa_score(y_test, y_pred)qwk = cohen_kappa_score(y_test, y_pred, weights='quadratic')print(f'Test Accuracy: {accuracy:.2f}')print(f'Cohen\'s Kappa: {kappa:.2f}')print(f'Quadratic Weighted Kappa: {qwk:.2f}')
Test Accuracy: 0.68
Cohen's Kappa: 0.48
Quadratic Weighted Kappa: 0.66
Chia dữ liệu thành 3 tập sử dụng kappa evaluation function thay cho multi_logloss
# Split the data into train, eval, and test sets (60% train, 20% eval, 20% test)X_temp, X_test, y_temp, y_test = train_test_split(X, y, test_size=0.2, random_state=42)X_train, X_eval, y_train, y_eval = train_test_split(X_temp, y_temp, test_size=0.25, random_state=42) # 0.25 * 0.8 = 0.2# Standardize the featuresscaler = StandardScaler()X_train_scaled = scaler.fit_transform(X_train)X_eval_scaled = scaler.transform(X_eval)X_test_scaled = scaler.transform(X_test)# Custom kappa evaluation functiondef kappa_eval(preds, train_data): y_true = train_data.get_label() y_pred = np.argmax(preds.reshape(len(np.unique(y_true)), -1), axis=0) kappa = cohen_kappa_score(y_true, y_pred, weights='quadratic')return'kappa', kappa, True# Convert the data into LightGBM Datasetsdtrain = lgb.Dataset(X_train_scaled, label=y_train)deval = lgb.Dataset(X_eval_scaled, label=y_eval, reference=dtrain)dtest = lgb.Dataset(X_test_scaled, label=y_test, reference=dtrain)# Set the parameters for LightGBMparams = {'objective': 'multiclass','num_class': len(np.unique(y)), # Number of classes'metric': 'multi_logloss', # Default metric'max_depth': 6,'learning_rate': 0.1,'subsample': 0.8,'colsample_bytree': 0.8,'seed': 42,'verbose': -1}# Train the LightGBM model with custom kappa evaluationbst = lgb.train(params, dtrain, num_boost_round=100, valid_sets=[deval], feval=kappa_eval)# Predict on the test sety_pred_prob = bst.predict(X_test_scaled, num_iteration=bst.best_iteration)y_pred = np.argmax(y_pred_prob, axis=1)# Evaluate the modelaccuracy = accuracy_score(y_test, y_pred)kappa = cohen_kappa_score(y_test, y_pred)qwk = cohen_kappa_score(y_test, y_pred, weights='quadratic')print(f'Test Accuracy: {accuracy:.2f}')print(f'Cohen\'s Kappa: {kappa:.2f}')print(f'Quadratic Weighted Kappa: {qwk:.2f}')
Test Accuracy: 0.65
Cohen's Kappa: 0.44
Quadratic Weighted Kappa: 0.60
Thay metric = ‘custom’
# Set the parameters for LightGBMparams = {'objective': 'multiclass','num_class': len(np.unique(y)), # Number of classes'metric': 'custom', # Default metrics'max_depth': 6,'learning_rate': 0.1,'subsample': 0.8,'colsample_bytree': 0.8,'seed': 42,'verbose': -1}# Train the LightGBM model with custom kappa evaluationbst = lgb.train(params, dtrain, num_boost_round=100, valid_sets=[deval], feval=kappa_eval)# Predict on the test sety_pred_prob = bst.predict(X_test_scaled, num_iteration=bst.best_iteration)y_pred = np.argmax(y_pred_prob, axis=1)# Evaluate the modelaccuracy = accuracy_score(y_test, y_pred)kappa = cohen_kappa_score(y_test, y_pred)qwk = cohen_kappa_score(y_test, y_pred, weights='quadratic')print(f'Test Accuracy: {accuracy:.2f}')print(f'Cohen\'s Kappa: {kappa:.2f}')print(f'Quadratic Weighted Kappa: {qwk:.2f}')
Test Accuracy: 0.65
Cohen's Kappa: 0.44
Quadratic Weighted Kappa: 0.60
