Małe prywatne modele
Małe prywatne modele do wąskich, powtarzalnych zadań
Nie każde zadanie wymaga dużego modelu językowego. Przy ekstrakcji, klasyfikacji, rerankingu i maskowaniu danych osobowych mały model zbudowany do jednego zadania działa na Twoim serwerze, kosztuje tyle, co serwer, i zostawia dane tam, gdzie są.
W czym sprawdzają się małe modele?
W wąskich zadaniach powtarzanych tysiące razy, w których tekst jest zbyt zróżnicowany na reguły, ale samo zadanie się nie zmienia:
- Wyciąganie konkretnych danych z tekstu, który nie powinien trafiać do modelu w chmurze
- Klasyfikacja zgłoszeń, dokumentów lub zapytań oraz ich ocena w poszczególnych kategoriach
- Reranking wyników wyszukiwania, żeby najlepszy fragment był na pierwszym miejscu
- Maskowanie imion i nazwisk, numerów PESEL i numerów kont, zanim cokolwiek trafi do modelu w chmurze, i przywracanie ich w odpowiedzi
Za chaotyczne na regex. Za proste na LLM.
W naszych testach mały model po załadowaniu przetwarza przygotowaną partię w niecałą sekundę, a sortowanie i reranking działają szybko nawet w niewielkim kontenerze. Nie ma opłat za tokeny – płacisz tylko za serwer.
Czy możecie wytrenować model pod nasze potrzeby?
Tak, gdy żaden publiczny model nie radzi sobie wystarczająco dobrze z Twoimi dokumentami lub kategoriami. Mowa o małych, wąsko wyspecjalizowanych modelach, a nie o LLM: enkoderach takich jak RoBERTa i BERT, modelach do rozpoznawania nazw własnych (NER) i podobnych. Najpierw szukamy na Hugging Face gotowego otwartego modelu, który już wykonuje to zadanie. Jeśli nie ma dokładnego dopasowania, bierzemy najbliższy i dostrajamy go na Twoich przykładach, a gdy i to nie wystarcza, trenujemy model od zera.
Wytrenowany model należy do Ciebie i działa tam, gdzie są Twoje dane. Projekt z modelem na zamówienie planujemy na maksymalnie 3 miesiące.
Na jakim etapie jesteśmy
Małe modele to główny kierunek rozwoju naszego rdzenia. Powyższe wyniki pochodzą z naszych testów publicznych modeli, a jeszcze nie z wdrożenia u klienta, w którym mały model zastąpiłby LLM. Projekty tego typu zaczniemy od pierwszych klientów, a ich wyniki opublikujemy jako studia przypadku z prawdziwymi liczbami.
| Reguły / regex | Mały prywatny model | Duży model językowy (API) | |
|---|---|---|---|
| Radzi sobie ze zróżnicowanym, nieprzewidywalnym tekstem | Nie | Tak | Tak |
| Szybkość na element | Natychmiastowa | Poniżej sekundy na przygotowaną partię* | Sekundy |
| Koszt działania | Praktycznie zero | Tylko serwer | Opłata za tokeny, rośnie z wolumenem |
| Dane opuszczają Twoją infrastrukturę | Nie | Nie | Tak, chyba że model jest hostowany u Ciebie |
| Najlepsze zastosowanie | Stałe formaty | Wąskie, powtarzalne zadania | Rozumowanie, otwarte pytania, rozmowa |
*Zmierzone w naszych testach na przygotowanym fragmencie tekstu przy już załadowanym modelu; rzeczywista przepustowość zależy od zadania i sprzętu.
Pytania o tę usługę
Czy nasze dane służą do trenowania cudzych modeli?
Nie. Twoje dane trenują wyłącznie Twój model, jeśli go zamówisz. Nigdy naszego modelu ani modeli dostawców.
Ile trwa przygotowanie modelu na zamówienie?
Do 3 miesięcy, zależnie od zadania i liczby dostępnych oznaczonych przykładów. Zaczynamy od sprawdzenia, czy mały model w ogóle radzi sobie z Twoimi dokumentami.
Ile to kosztuje?
Projekty z modelem na zamówienie wyceniamy indywidualnie po pierwszej rozmowie, a stałą cenę ustalamy przed rozpoczęciem prac.
Przynieś nam jeden proces. Powiemy, czego potrzebuje.
30-minutowa rozmowa. Przynieś jeden prawdziwy proces albo przykładowy dokument. Powiemy, czy potrzeba do tego LLM, małego modelu, czy wystarczy skrypt – i czego by to wymagało. Bez slajdów.