słownik automatyzacji

LLM

LLM (Large Language Model) to model uczenia maszynowego wytrenowany na ogromnych zbiorach tekstu, zdolny do rozumienia i generowania języka naturalnego. W automatyzacji procesów LLM pełni rolę elastycznego komponentu do zadań wymagających rozumienia kontekstu: klasyfikacji, ekstrakcji danych, generowania draftów lub tłumaczeń.

Dla każdego zadania, które wcześniej wymagało człowieka ze względu na konieczność "rozumienia" treści, LLM jest kandydatem do automatyzacji. Klasyfikacja emaili przychodzących do helpdesku, wyodrębnienie daty dostawy z nieustrukturyzowanej treści zamówienia, wygenerowanie wstępnej odpowiedzi na reklamację na bazie historii klienta -- to realne zastosowania, które działają w produkcji.

LLM nie jest magiczną skrzynką. Jego słabe strony są dobrze znane: halucynacje (generowanie nieprawdziwych faktów z przekonaniem), wrażliwość na sformułowanie promptu, wysoki koszt przy dużych wolumenach, ograniczone okno kontekstu. Dobre wdrożenie projektuje się z tymi ograniczeniami w głowie, nie mimo nich.

LLM nadaje się do zadań gdzie wymagana jest elastyczność (dane wejściowe są różnorodne i nie da się ich ustrukturyzować z góry) i gdzie błąd ma niski koszt lub jest weryfikowany przez człowieka. Nie nadaje się do zadań wymagających precyzji numerycznej, deterministycznych wyliczeń ani operacji na danych wrażliwych bez odpowiedniego audytu.

W praktyce

W workflow obsługi zgłoszeń klienta LLM robi pierwszą klasyfikację i ekstrakcję: z treści maila wyciąga typ problemu (reklamacja / pytanie o status / prośba o fakturę), priorytet na podstawie tonu i słów kluczowych, numer zamówienia jeśli wspomniany. Te dane trafiają do struktury JSON, która kieruje zgłoszenie do odpowiedniej kolejki i wstępnie uzupełnia formularz w helpdesku. Całość oszczędza 2-3 minuty manualnej pracy przy każdym zgłoszeniu. Przy 50 zgłoszeniach dziennie to ponad godzina.

Powiązane

← Wróć do słownika