Let op je taalgebruik

Om een ​​gespecialiseerde chatbot te bouwen, had het programma domeinspecifieke tekst nodig:taal uit de gebieden waarop de bot zich moet concentreren. In dit geval betreft het wetenschappelijke publicaties. Domeinspecifieke tekst helpt het AI-model nieuwe terminologie en definities te begrijpen en introduceert grensverleggende wetenschappelijke concepten. Het allerbelangrijkste is dat deze samengestelde reeks documenten het AI-model in staat stelt zijn redenering te onderbouwen met behulp van betrouwbare feiten.

Om de natuurlijke menselijke taal na te bootsen, worden AI-modellen getraind op bestaande tekst, waardoor ze de structuur van taal kunnen leren, verschillende feiten kunnen onthouden en een primitief soort redenering kunnen ontwikkelen. In plaats van het AI-model moeizaam te herscholen op basis van nanowetenschapsteksten, gaf Yager het de mogelijkheid om relevante informatie op te zoeken in een samengestelde reeks publicaties. Het voorzien van een bibliotheek met relevante gegevens was slechts de helft van de strijd. Om deze tekst nauwkeurig en effectief te gebruiken, heeft de bot een manier nodig om de juiste context te ontcijferen.

"Een uitdaging die veel voorkomt bij taalmodellen is dat ze soms plausibel klinkende maar onware dingen 'hallucineren'", legt Yager uit. "Dit was een kernprobleem dat moest worden opgelost voor een chatbot die in onderzoek wordt gebruikt, in tegenstelling tot een chatbot die zoiets doet als het schrijven van poëzie. We willen niet dat deze feiten of citaten verzint. Dit moest worden aangepakt. De oplossing hiervoor was iets dat we noemen we 'embedding', een manier om informatie achter de schermen snel te categoriseren en te koppelen."

Inbedding is een proces dat woorden en zinsdelen omzet in numerieke waarden. De resulterende "inbeddingsvector" kwantificeert de betekenis van de tekst. Wanneer een gebruiker de chatbot een vraag stelt, wordt deze ook naar het ML-inbeddingsmodel gestuurd om de vectorwaarde ervan te berekenen. Deze vector wordt gebruikt om te zoeken in een vooraf berekende database met tekstfragmenten uit wetenschappelijke artikelen die op vergelijkbare wijze zijn ingebed. De bot gebruikt vervolgens gevonden tekstfragmenten die semantisch gerelateerd zijn aan de vraag om een ​​vollediger inzicht in de context te krijgen.

De zoekopdracht van de gebruiker en de tekstfragmenten worden gecombineerd tot een "prompt" die naar een groot taalmodel wordt gestuurd, een uitgebreid programma dat tekst creëert die is gemodelleerd naar natuurlijke menselijke taal en dat het uiteindelijke antwoord genereert. De inbedding zorgt ervoor dat de tekst die wordt opgehaald relevant is in de context van de vraag van de gebruiker. Door tekstfragmenten uit de hoofdtekst van vertrouwde documenten aan te bieden, genereert de chatbot antwoorden die feitelijk en afkomstig zijn.

"Het programma moet een soort referentiebibliothecaris zijn", zegt Yager. “Het moet sterk afhankelijk zijn van de documenten om gefundeerde antwoorden te geven. Het moet nauwkeurig kunnen interpreteren wat mensen vragen en in staat zijn om de context van die vragen effectief samen te voegen om de meest relevante informatie te achterhalen. Hoewel de antwoorden dat misschien niet zijn Als het nog niet perfect is, kan het al uitdagende vragen beantwoorden en interessante gedachten opwekken terwijl je nieuwe projecten en onderzoek plant."

Bots die mensen sterker maken

CFN ontwikkelt AI/ML-systemen als hulpmiddelen die menselijke onderzoekers de tijd kunnen geven om aan meer uitdagende en interessante problemen te werken en meer uit hun beperkte tijd te halen, terwijl computers repetitieve taken op de achtergrond automatiseren. Er zijn nog veel onduidelijkheden over deze nieuwe manier van werken, maar deze vragen vormen het begin van belangrijke discussies die wetenschappers momenteel voeren om ervoor te zorgen dat het gebruik van AI/ML veilig en ethisch is.

"Er zijn een aantal taken die een domeinspecifieke chatbot als deze zou kunnen ontnemen aan de werklast van een wetenschapper. Het classificeren en organiseren van documenten, het samenvatten van publicaties, het aanwijzen van relevante informatie en het op de hoogte raken van een nieuw onderwerp zijn slechts enkele mogelijkheden. toepassingen”, merkte Yager op. "Ik ben echter benieuwd waar dit allemaal naartoe zal gaan. Drie jaar geleden hadden we ons nooit kunnen voorstellen waar we nu staan, en ik kijk er naar uit waar we over drie jaar zullen staan."

Voor onderzoekers die deze software zelf willen uitproberen:de broncode voor de chatbot van CFN en de bijbehorende tools is te vinden in deze GitHub-repository.

Meer informatie: Kevin G. Yager, Domeinspecifieke chatbots voor de wetenschap met behulp van insluitingen, Digital Discovery (2023). DOI:10.1039/D3DD00112A

Geleverd door Brookhaven National Laboratory