Als Inferenz bezeichnet man den Betrieb eines fertig trainierten Modells – also den Moment, in dem es auf eine Eingabe eine Ausgabe erzeugt. Im Gegensatz zum Training (das einmalig und rechenintensiv ist) fällt Inferenz bei jeder Nutzung an und bestimmt die laufenden Kosten und die Geschwindigkeit.