Danh mục
microsoft/LLMLingua
[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.
Sao6.8klịch sử sao
Hạng#8788snapshot toàn cục
Fork446bản ghi nguồn
Số ngày trending8lịch sử xu hướng
Snapshot chỉ có lịch sử sao đầy đủ của star-history/star-history. Lịch sử thiếu thì không vẽ.
Không có README
Mở repository trên GitHub để đọc.
GitHub ↗