[Máy học]Learning Combination Features with L1 Regularization

Daisuke Okanohara, Jun'ichi Tsujii

Abstract :
    Khi các máy phân loại tuyến tính không thành công, ta thường sử dụng thêm các "tổ hợp đặc trưng" (combination features) được tạo ra từ những features ban đầu. Việc tìm kiếm những combination features - có hiệu quả cao - cần những kiến thức chuyên ngành và luôn là những việc khó khăn. Nghiên cứu này giới thiệu 1 thuật toán hiệu quả bằng việc sử dụng học máy L1 regularized logistic regression với các combination features (CF). Phương pháp này sử dụng thuật toán grafting để tìm trọng số tối ưu mà không cần liệt kê hết các CF. Bằng việc sử dụng L1, model học máy rất nhỏ gọn và sử dụng ít features.

Ghi chú :
  1. Introduction  :
    • Kernel methods
    • Feature selection : l1 vs l2
    • Online feature selection using grafting
  2. Preliminaries :
    1. Logistic Regression model
    2. Grafting
  3. Extraction of combination features
  4. Expriments
  5. Conclusion
Comments