Definicja
Etap, w którym wytrenowany model generuje odpowiedź lub wynik.
Najprościej mówiąc
Inference to użycie modelu po treningu: użytkownik wysyła pytanie, a model oblicza odpowiedź.
Przykład użycia
Gdy prosisz ChatGPT o streszczenie tekstu, sam proces tworzenia odpowiedzi jest inferencją.
Najczęstsze nieporozumienie
Inference nie jest trenowaniem modelu. Model nie musi uczyć się na twoim pytaniu, żeby odpowiedzieć.
Dlaczego to ważne?
Koszt i szybkość inferencji decydują o tym, czy narzędzie AI nadaje się do masowego użycia.
