Regulierungen und Konventionen führen auf dem Feld der technischen Dokumentation zu einer hochdomänenspezifischen Sprache, die beim Verfassen neuer Dokumente konsistent eingehalten werden muss. Heute im Einsatz befindliche Systeme können einheitliche Formulierungen oder Strukturen bisher nur anhand von fest vorgegebene, vorab definierten Regeln erkennen. In einem gemeinsamen Forschungsvorhaben entwickelt LangTec nun als Proof of Concept ein Assistenzsystem, das für einen gegebenen Kontext sinnvolle Satzvervollständigungen anbieten ohne dabei auf ein explizit gepflegtes Regelwerk zurückgreifen zu müssen.

Hauptziel dieses KI-Projekts ist es, technische Redakteur:innen von wiederkehrenden, manuellen Arbeiten zu entlasten. Bei der Erstellung neuer Dokumente soll für angefangene Sätze kontext- und domänensensitiv die passendste Fortsetzung vorgeschlagen werden. Dazu wird LangTec anforderungsgetrieben ein großes Basis-Sprachmodell auswählen, dieses auf Basis einer großen Menge bestehender Dokumente durch Finetuning auf die Domäne anpassen und die Genauigkeit der Vorhersage des resultierenden Modells formal evaluieren.

Um die Suchmaschinenrelevanz von Textextrakten zu erhöhen, untersuchen wir für einen unserer Kunden die Paraphrasierungskompetenz des Sprachmodells ChatGPT. Ziel hierbei ist es, Volltexte automatisiert zu reduzieren (Text Summarisation) und mit Umformulierungen (Paraphrase) Textsnippets zu erzeugen, die von der Suchmaschine als möglichst „unique“ (einzigartig) bewertet werden. Durch die Optimierung der textlichen Uniqueness sollen die Snippets in der Trefferliste in der Websuche möglichst hoch gerankt werden und so zu einer besseren Conversion führen.
Für die Durchführung dieses Projekts hat LangTec eigens ein Maß zur Quantifizierung der textlichen Uniqueness konzipiert und operationalisiert. Auch in diesem Projekt bringt LangTec somit seine computerlinguistische Expertise und langjährige Erfahrung in der automatisierten Generierung von Texten ein.

Für einen Anbieter im Bereich Recruiting haben wir erfolgreich die Generierung von Musterstellenanzeigen mit dem großskaligen Sprachmodell ChatGPT realisiert. Die mit unserer Lösung generierten Mustertexte dienen rekrutierenden Firmen in der Erstellung ihrer Stellenausschreibungen als inhaltlicher Ausgangspunkt für weitere individuelle Anpassungen.
Dazu entwickelte LangTec eine Webapp sowie geeignete Anweisungen, sogenannte „Prompts“, für das Sprachmodell von OpenAI. Die Prompts beinhalteten auch textlich relevante Informationen aus einer domänenspezifischen Datenbank, welche von ChatGPT in der Ausgabe berücksichtigt werden sollen.
Nachdem wir in der Vergangenheit bereits über viele Jahre hinweg mit unserer eigens entwickelten Lösung TextWriter umfangreiche Textgenerierungslösungen auf Basis von templatebasierter Textgenerierung (NLG) umgesetzt haben, freuen wir uns, mit diesem Projekt nun auch generative Sprachmodelle in unseren Projekten zur Textgenerierung einzusetzen.

Anlässlich des 12. Jahrestags der Gründung von LangTec haben wir uns heute zum Brunch bei Pynk Coffee, einem gemütlichen Café in Büronähe, getroffen. Während wir köstliche Macarons, Croissants und Küchlein verkosteten, schwelgten wir in Erinnerungen an vergangene Projekte und teilten ebenso die Vorfreude über bevorstehende Projekte.  All dies begleitet von der einen oder anderen Kaffee- oder Teespezialität, haben wir es uns wirklich gut gehen lassen.

Ziel unseres Kunden ist es, geeignete Investitionsziele bereits im Vorhinein zu qualifizieren. In diesem Projekt, bei dem es um große transformer-basierte Sprachmodelle geht, hat LangTec eine Lösung zur Identifizierung aller relevanten Unternehmenstypen auf der Grundlage von Informationen, die auf den Websites von Unternehmen vorhanden sind, entwickelt. Die zentrale Herausforderung bei dieser Aufgabe ist die Bewältigung großer Mengen von Website-Inhalten, deren Länge die typische Sequenzlängenbeschränkung von transformer-basierten Sprachmodellen überschreitet. Die Lösung von LangTec wurde auf Recall optimiert, d.h. sie wurde so konzipiert, dass sie alle potenziell interessanten Unternehmen in der Trainings- und Testmenge erfasst.

Neben der Entwicklung, dem Training und der Optimierung des Perfect-Recall-Classifiers hat LangTec erfolgreich ein hybrides Sprachmodell trainiert, das die Merkmale eines anderen statistischen Modells ohne neuronale Netze zusammen mit den Merkmalen des transformer-basierten Modells verwendet, um eine gemeinsame Klassifizierungsentscheidung zu treffen. Diese Modellarchitektur ermöglicht es, transformer-basierte Modelle mit anderen Machine-Learning-Modellen in einer hybriden Architektur zu kombinieren.

In einem neuen Kundenprojekt darf LangTec mit seinem Wissen in den Bereichen Data Science, Machine Learning und Big Data glänzen – und das diesmal tatsächlich ganz direkt. Wir freuen uns über den neu erteilten Auftrag, umfangreiche Schulungsunterlagen für ein Erwachsenenweiterbildungsprogramm erstellen zu dürfen. Konkret konzipieren wir Unterlagen für die Module Data-Science, Machine Learning und Big Data.

Sehr gerne stellen wir unsere Expertise in diesen Bereichen allen Interessierten bereit, die in diesem spannenden Bereich Fuß fassen und fortgeschrittene Techniken erlernen möchten.

Den Nikolaustag haben wir mit reichlich Schokolade gefeiert!

Das ganze Kilogramm haben wir zwar nicht geschafft, aber die Weihnachtszeit ist ja glücklicherweise noch nicht vorbei.. 🙂

Herzlichen Glückwunsch an Lang.Tec zum Gewinn der öffentlichen Ausschreibung für ein großes Projekt in der deutschen Tourismusbranche! Ein Teil des Projekts beinhaltet die Verbesserung und Erweiterung eines Open Data Knowledge Graph. Die zusätzlichen Informationen werden durch Extraktion aus unstrukturierten Beschreibungstexten zu verschiedenen Entitäten wie Hotels, Veranstaltungen, Restaurants, Touren und anderen gewonnen.

Um dies zu erreichen, wird Lang.Tec modernste Techniken der natürlichen Sprachverarbeitung (NLP) einsetzen, um touristisch relevante Informationen zu extrahieren und in strukturierter Form in den Knowledge Graph einzufügen. Dadurch kann der zugehörige Chatbot auf eine Fülle zusätzlicher strukturierter Informationen zugreifen, die es ihm ermöglichen, den Nutzern nützlichere und genauere Antworten zu geben.

Neben der Verbesserung des Knowledge Graphs wird Lang.Tec auch ein auf maschinellem Lernen basierendes Modul zur Beantwortung komplexer Nutzerfragen entwickeln. Dieses Modul wird den Chatbot dabei unterstützen, den Kontext und die Intention der Nutzerfragen zu verstehen, so dass er relevantere und hilfreichere Antworten auf diese Fragen geben kann.

Insgesamt wird die Arbeit von Lang.Tec am German Tourismus-Projekt dazu beitragen, die datengesteuerten Fähigkeiten des Chatbots zu verbessern und ihn zu einer wertvollen Ressource für Reisende und Tourismusfachkräfte in Deutschland zu machen. Wir freuen uns sehr auf die positiven Auswirkungen, die dies auf die Chatbot-Nutzererfahrung haben wird.

Seit November haben wir Verstärkung durch unseren neuen Werkstudierenden Kilian!

Das im Masterstudium ‘Data Science & Artificial Intelligence’ an der Fachhochschule Wedel erlernte Wissen, kann Kilian bei LangTec einbringen und weiterentwickeln. Aktuell im Rahmen eines Projektes, in dem wir Schulungsunterlagen für ein Erwachsenenweiterbildungsprogramm entwickeln und im kommenden Jahr dann auch im Rahmen der Masterarbeit.

Wir freuen uns auf die Zusammenarbeit und wünschen Dir einen guten Start bei LangTec!