Was ist Training in der KI?

Training ist die Art, wie ein Modell entsteht. Ihm werden enorme Mengen Material gezeigt, meist Text, oft aber auch Bilder und Code, und seine internen Einstellungen werden angepasst, bis die Vorhersagen sich nicht mehr verbessern. Spätere Stufen formen eher, wie es antwortet, als was es weiß. Erst nach all dem werden die Einstellungen für die Veröffentlichung eingefroren, und nichts, was du in ein Gespräch tippst, ändert sie.

Ein Modell beginnt als Millionen zufällig gesetzter Zahlen und produziert Unsinn. Das Training verdeckt das nächste Wort in einer Passage, vergleicht die Vermutung des Modells mit der richtigen Antwort und schiebt die Zahlen ein wenig in Richtung weniger falsch, ein Verfahren namens stochastischer Gradientenabstieg. Wiederhole das ein paar Billionen Mal, und die Zahlen setzen sich zu etwas, das Sprache gut vorhersagt. Warum nicht die Regeln der Sprache direkt programmieren? Weil niemand sie aussprechen kann: zu erklären, warum „starker Tee“ richtig klingt und „mächtiger Tee“ nicht, würde ein Leben dauern, und das ist eine Wendung von Millionen. Aus Beispielen zu lernen erspart es, überhaupt eine Regel aufzuschreiben. Drei Stufen folgen aufeinander: das Vortraining auf der Masse des Materials, die Feinabstimmung an einem engeren Satz Beispiele, und bestärkendes Lernen aus menschlichem Feedback, bei dem Menschen Antworten sortieren. Das Vortraining ist die teure Stufe und endet lange vor der Veröffentlichung, weshalb jedes Modell einen Wissensstichtag hat.

Einen Ball fangen lernen. Niemand gibt dir die Gleichungen einer Wurfparabel, und sie zu lesen würde auch wenig helfen. Du hältst die Hände hin, greifst daneben, und irgendetwas justiert sich ganz leicht. Ein paar tausend Fänge später kannst du es, und du könntest die gelernte Regel immer noch nicht aufschreiben.