Feinsteuerung von KI-Modellen durch Aktivierungstransport

MÜNCHEN (IT BOLTWISE) – Die Feinsteuerung von generativen Modellen ist entscheidend, um den Erwartungen der Nutzer gerecht zu werden und potenzielle Missbräuche zu verhindern. Apple-Forscher haben eine neue Technik entwickelt, die eine präzise Kontrolle über die Modellverhalten ermöglicht.

Die Entwicklung großer generativer Modelle schreitet stetig voran, und ihre Anwendung in der Produktion wird immer häufiger. Dennoch bleibt die Herausforderung bestehen, diese Modelle exakt nach den Wünschen der Nutzer zu steuern. Eine feingranulare Kontrolle über die Ausgaben dieser Modelle ist essenziell, um den Erwartungen der Nutzer gerecht zu werden und potenzielle Missbräuche zu verhindern. Apple-Forscher haben nun eine neue Technik entwickelt, die eine präzise Kontrolle über das Verhalten der Modelle ermöglicht, ohne dabei die Rechenleistung erheblich zu belasten oder die Fähigkeiten der Modelle zu beeinträchtigen.

Die Methode namens Activation Transport (AcT) basiert auf der Theorie des optimalen Transports und ermöglicht eine allgemeine Steuerung der Aktivierungen. Diese Technik wird auf der ICLR 2025 als Spotlight präsentiert. Im Gegensatz zu ressourcenintensiven Ansätzen wie Reinforcement Learning mit menschlichem Feedback oder Feinabstimmung, die mit zunehmender Komplexität der Modelle immer unpraktikabler werden, bietet AcT eine effiziente Alternative. Sie ermöglicht eine feingranulare Steuerung der Modellaktivierungen, ohne die Modellparameter zu verändern.

Ein häufiges Problem bei der Steuerung generativer Modelle ist die Unvorhersehbarkeit der Ausgaben, selbst bei sorgfältig konstruierten Eingabeaufforderungen. Modelle können oft nicht den gewünschten Nuancen folgen, insbesondere wenn sie angewiesen werden, bestimmte Inhalte nicht zu inkludieren. Hier setzt Activation Transport an, indem es die Aktivierungen von einer Quellverteilung zu einer Zielverteilung transportiert, um die gewünschten Ergebnisse zu erzielen.

Activation Transport nutzt eine neuartige Interventionsmethode, die die bisherigen Einschränkungen der Aktivierungssteuerung überwindet, indem sie die Verteilungen der Quell- und Zielaktivierungen berücksichtigt. Durch die Schätzung einer optimalen Transportkarte zwischen diesen Verteilungen wird sichergestellt, dass die transportierten Aktivierungen mit der Zielverteilung übereinstimmen, was die Dynamik des Modells nicht stört.

Ein bemerkenswerter Aspekt von AcT ist seine Anwendung auf Text-zu-Bild-Diffusionsmodelle. Diese Modelle sind in der Lage, beeindruckende Bilder aus einfachen Textbeschreibungen zu generieren, jedoch ist die feingranulare Kontrolle über Details wie Stil oder Inhalt eine Herausforderung. AcT ermöglicht es, solche Details präzise zu steuern, indem es Aktivierungen zwischen Quell- und Zielverteilungen transportiert.

Die Anwendung von Activation Transport zeigt vielversprechende Ergebnisse in verschiedenen Bereichen, darunter die Reduzierung von toxischen Inhalten und die Förderung von Wahrhaftigkeit in Sprachmodellen. Diese Technik bietet eine effiziente und zuverlässige Möglichkeit, die Ausgaben von generativen Modellen zu steuern, ohne die Einschränkungen herkömmlicher Methoden wie Reinforcement Learning oder Feinabstimmung.

Mit der zunehmenden Verbreitung und den wachsenden Fähigkeiten generativer Modelle wird die Bereitstellung feingranularer Steuerungsmöglichkeiten immer wichtiger. Activation Transport bietet eine innovative Lösung, die es Forschern und Praktikern ermöglicht, die Ausgaben von Sprach- und Bildmodellen präzise zu steuern, ohne die mit anderen Methoden verbundenen Einschränkungen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!

Angebot

2.004 Bewertungen

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

• NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.

169,00 EUR

Bei Amazon kaufen