Tokenizator i przycinacz tokenów promptu

Wizualizator tokenów BPE i kompresor promptów usuwający zbędne spacje i ozdobniki w celu obniżenia kosztów API.