Thay vì thu nhỏ toàn bộ ma trận hiệp phương sai về một mục tiêu cố định, thu nhỏ phi tuyến giữ lại các vector riêng mẫu và thu nhỏ các giá trị riêng một cách riêng lẻ bằng một bản đồ phi tuyến. Điều này trực tiếp khắc phục vấn đề chính trong các chiều cao.