Gdy pojawia się nowy system sztucznej inteligencji, większość uwagi skupia się na jego możliwościach. Porównuje się liczbę parametrów, szybkość działania, wyniki testów i jakość generowanych odpowiedzi. Znacznie rzadziej mówi się o tym, co znajduje się pod powierzchnią: zbiorach danych wykorzystanych do treningu, ich pochodzeniu, aktualności, kompletności oraz sposobie selekcji. Tymczasem to właśnie dane, a nie sam model, coraz częściej stają się najważniejszym ograniczeniem rozwoju sztucznej inteligencji.
Nawet najbardziej zaawansowany algorytm nie potrafi nauczyć się informacji, których nigdy nie otrzymał. Nie rozpozna również automatycznie, że część materiałów treningowych zawiera błędy, nieaktualne twierdzenia, powielone treści albo jednostronny obraz rzeczywistości. Może za to nauczyć się tych niedoskonałości i później odtwarzać je w sposób przekonujący dla użytkownika.
Model jest widoczny, dane pozostają w cieniu
Użytkownik korzystający z narzędzia AI widzi gotowy produkt: okno rozmowy, generator obrazów, system rekomendacji lub asystenta wspomagającego pracę. Nie widzi natomiast milionów albo miliardów materiałów, na podstawie których system nauczył się rozpoznawać wzorce.
Dane treningowe mogą pochodzić między innymi ze stron internetowych, książek, dokumentacji technicznej, kodu źródłowego, opisów produktów, forów, artykułów naukowych, zdjęć, nagrań oraz materiałów przygotowanych specjalnie na potrzeby danego modelu. Przed wykorzystaniem są zwykle filtrowane, klasyfikowane, oczyszczane i pozbawiane części powtórzeń. Już sam zakres prac związanych z przetwarzaniem danych pokazuje, że nie są one jedynie paliwem wrzucanym do algorytmu. Stanowią jeden z najważniejszych elementów całego systemu.
OpenAI opisuje proces przygotowywania danych jako obejmujący między innymi ich syntezę, filtrowanie, deduplikację, kontrolę jakości i tokenizację. Oznacza to, że wynik działania modelu zależy nie tylko od ilości dostępnych treści, ale także od decyzji dotyczących tego, które materiały zostaną zachowane, odrzucone lub uznane za wartościowe.
Problem polega na tym, że użytkownik zwykle nie zna pełnego składu takiego zbioru. Nie wie, jakie źródła dominowały, które języki były najlepiej reprezentowane, z jakich lat pochodziły materiały ani jakie błędy przedostały się przez system filtrowania. Otrzymuje odpowiedź, ale nie ma pełnego wglądu w doświadczenie, na podstawie którego została ona wygenerowana.
Więcej danych nie zawsze oznacza lepszą sztuczną inteligencję
Przez wiele lat rozwój modeli opierał się w znacznej mierze na skalowaniu. Większe zbiory danych, większa moc obliczeniowa i większe modele zazwyczaj prowadziły do poprawy rezultatów. Ten mechanizm nadal działa, ale nie jest pozbawiony ograniczeń.
Stanford AI Index wskazywał, że rozmiary zbiorów wykorzystywanych do trenowania dużych modeli językowych rosły niezwykle szybko. Jednocześnie zwiększało się zapotrzebowanie na moc obliczeniową i energię. W pewnym momencie dokładanie kolejnych danych może jednak dawać coraz mniejszą poprawę, szczególnie wtedy, gdy nowe materiały są podobne do tych, które model już wcześniej widział.
Badania Google DeepMind nad modelami łączącymi obraz i język pokazały, że trenowanie na zbiorze liczącym nawet 100 miliardów przykładów nie poprawiało bez końca wyników we wszystkich popularnych testach. W części zadań rezultaty zaczynały się stabilizować. Większa skala przynosiła natomiast wyraźniejsze korzyści w przypadku mniej popularnych pojęć oraz bardziej zróżnicowanych kontekstów kulturowych.
To ważna obserwacja. O wartości zbioru nie decyduje wyłącznie jego rozmiar. Liczy się również to, czy zawiera informacje rzadkie, różnorodne i reprezentujące sytuacje, których nie ma w dominującej części internetu. Miliard niemal identycznych przykładów może być mniej użyteczny niż znacznie mniejszy, ale starannie dobrany zbiór pokazujący wiele sposobów rozwiązania tego samego problemu.
Internet nie jest neutralnym obrazem świata
Duża część danych dostępnych w internecie nie powstała z myślą o trenowaniu sztucznej inteligencji. Treści publikowano po to, aby sprzedawać produkty, przekonywać odbiorców, zdobywać widoczność w wyszukiwarkach, komentować wydarzenia albo dokumentować określone doświadczenia. W efekcie internet nie stanowi idealnego przekroju wiedzy i poglądów społeczeństwa.
Niektóre grupy, języki i regiony są reprezentowane bardzo szeroko, inne znacznie słabiej. Część tematów opisują tysiące podobnych artykułów, podczas gdy specjalistyczne zagadnienia lokalne mogą występować jedynie w kilku dokumentach. Jeżeli model uczy się głównie na podstawie treści łatwo dostępnych, może później traktować najczęściej występujący punkt widzenia jako najbardziej prawdopodobny.
Problem jest szczególnie widoczny w systemach rozpoznawania obrazów i zastosowaniach medycznych. Badania nad zbiorami danych używanymi do oceny systemów wizyjnych wskazują, że brak różnorodności może utrwalać istniejące uprzedzenia, a materiały bywają gromadzone bez wystarczającego uwzględnienia zgody osób, których dotyczą.
Podobne ryzyko występuje w medycynie. Jeżeli w danych treningowych brakuje pacjentów z określonych grup demograficznych, system może działać gorzej właśnie w ich przypadku. Zróżnicowane dane pomagają modelom lepiej radzić sobie z nowymi przypadkami, których nie widziały podczas treningu.
Nie oznacza to, że każdy model będzie automatycznie dyskryminujący. Pokazuje jednak, że błąd w danych może zostać zamieniony w błąd działający na dużą skalę. Jeżeli taki system obsługuje miliony użytkowników, nawet niewielka nierównowaga może mieć realne konsekwencje.
Dane mogą być poprawne, ale nieaktualne
Kolejnym ograniczeniem jest czas. Model trenowany na zbiorze zakończonym w określonym momencie nie posiada automatycznie wiedzy o późniejszych wydarzeniach. Zmieniają się przepisy, ceny, stanowiska publiczne, wersje oprogramowania, wyniki badań, regulaminy usług i sytuacja na rynkach.
Wiedza zapisana w parametrach modelu przypomina rozbudowane archiwum wzorców. Nie jest jednak stale aktualizowaną bazą danych. Dlatego system może poprawnie wyjaśniać ogólne pojęcie, a jednocześnie podawać nieaktualne informacje dotyczące konkretnego produktu, osoby lub obowiązującego prawa.
Jednym ze sposobów ograniczania tego problemu jest łączenie modeli z wyszukiwaniem i zewnętrznymi bazami wiedzy. Zamiast polegać wyłącznie na informacjach zapamiętanych podczas treningu, system może odszukać aktualne dokumenty i oprzeć odpowiedź na ich treści. Google DeepMind już wcześniej wykazywał, że zwiększanie skali bazy dokumentów dostępnych podczas wyszukiwania może poprawiać działanie modeli językowych.
Takie rozwiązanie nie eliminuje jednak wszystkich trudności. Model musi jeszcze prawidłowo wybrać źródła, zrozumieć ich treść i odróżnić materiał wiarygodny od tekstu błędnego, zmanipulowanego albo wyrwanego z kontekstu.
Skąd biorą się halucynacje modeli AI?
Halucynacją nazywa się sytuację, w której model generuje informację brzmiącą wiarygodnie, lecz niezgodną z faktami. Może wymyślić nazwę publikacji, pomylić datę, przypisać wypowiedź niewłaściwej osobie lub stworzyć nieistniejący przepis.
Nie zawsze wynika to bezpośrednio z błędnych danych. Duży model językowy jest przede wszystkim systemem przewidującym kolejne elementy wypowiedzi. Jego zadaniem jest wygenerowanie odpowiedzi pasującej do kontekstu, a nie automatyczne sprawdzenie każdego zdania w niezależnym źródle.
Gdy w danych znajduje się wiele podobnych wzorców, ale brakuje dokładnej odpowiedzi na pytanie, model może stworzyć najbardziej prawdopodobną kombinację. Im płynniejszy język generuje, tym łatwiej użytkownikowi uznać taką odpowiedź za prawdziwą.
Z tego powodu rozwijane są testy oceniające nie tylko ogólną sprawność modeli, ale również zgodność odpowiedzi z dostarczonymi źródłami. Przykładem jest benchmark FACTS Grounding przygotowany przez Google DeepMind do badania, czy model potrafi tworzyć odpowiedzi oparte na wskazanych dokumentach.
Dane syntetyczne mają pomóc, ale tworzą nowe ryzyko
Ponieważ zasoby wartościowych danych tworzonych przez ludzi są ograniczone, firmy coraz częściej wykorzystują dane syntetyczne. Są to przykłady wygenerowane przez inne modele albo stworzone automatycznie według określonych zasad.
W niektórych dziedzinach takie podejście przynosi bardzo dobre rezultaty. System AlphaGeometry opracowany przez Google DeepMind został wytrenowany między innymi na ogromnym zbiorze syntetycznych problemów geometrycznych. Pozwoliło to ograniczyć problem niedoboru odpowiednio przygotowanych przykładów tworzonych przez ludzi.
Dane syntetyczne można łatwo skalować, kontrolować i dopasowywać do konkretnego zadania. Pozwalają również tworzyć rzadkie sytuacje, których trudno byłoby szukać w rzeczywistych materiałach. Nie są jednak rozwiązaniem idealnym.
Jeżeli model generujący dane popełnia błędy lub ma określone uprzedzenia, może przenieść je do nowego zbioru. Kolejny model nauczy się wtedy nie tylko poprawnych wzorców, ale również ograniczeń swojego poprzednika. Przy wielokrotnym powtarzaniu tego procesu sztuczna inteligencja mogłaby coraz częściej uczyć się na treściach stworzonych przez inne systemy, a coraz rzadziej na bezpośrednim opisie rzeczywistości.
Dlatego dane syntetyczne wymagają kontroli, walidacji i porównywania z materiałami pochodzącymi ze świata rzeczywistego. Ich wartość zależy od tego, czy rozszerzają wiedzę modelu, czy jedynie powielają to, co wcześniejszy system już potrafił wygenerować.
Najcenniejsze dane nie zawsze są publicznie dostępne
Internet zawiera ogromną ilość informacji, ale niekoniecznie tych, które są najbardziej potrzebne do stworzenia użytecznego systemu. Wysokiej jakości dokumentacja wewnętrzna, dane przemysłowe, historie napraw, wyniki eksperymentów, opisy rzadkich przypadków medycznych czy szczegółowe procesy biznesowe często pozostają poza publiczną siecią.
To właśnie takie materiały mogą mieć największą wartość dla wyspecjalizowanej sztucznej inteligencji. Model ogólny może dobrze pisać, streszczać i odpowiadać na popularne pytania, ale bez danych branżowych nie stanie się automatycznie ekspertem od konkretnego przedsiębiorstwa, maszyny czy procedury.
W praktyce przewagę mogą więc zdobywać nie tylko firmy posiadające największe modele, lecz także organizacje dysponujące najlepszymi, uporządkowanymi i legalnie pozyskanymi danymi. Dotyczy to szczególnie medycyny, finansów, przemysłu, energetyki i administracji.
Firma może korzystać z powszechnie dostępnego modelu, a następnie połączyć go z własnymi dokumentami, bazami produktów i procedurami. W takim układzie wartość systemu nie wynika wyłącznie z samej technologii AI, ale z jakości informacji, do których technologia otrzymała dostęp.
Przyszłość AI będzie zależeć od jakości, nie tylko od skali
Rozwój sztucznej inteligencji nadal będzie wymagał lepszych modeli i większej mocy obliczeniowej. Coraz trudniej jednak zakładać, że każdy kolejny przełom nastąpi wyłącznie dzięki zwiększeniu liczby parametrów.
Kluczowe stają się inne pytania: czy dane są aktualne, różnorodne i zgodne z prawem? Czy można ustalić ich pochodzenie? Czy zawierają wystarczająco dużo rzadkich przypadków? Czy nie zostały zdominowane przez automatycznie generowane treści? Czy wyniki modelu można zweryfikować na podstawie wiarygodnych źródeł?
Największy problem AI rzeczywiście może nie znajdować się w samych modelach. Może być ukryty w zbiorach danych, których użytkownik nigdy nie zobaczy, choć to one w dużej mierze decydują o tym, jak system rozumie świat.
Dlatego przyszłość sztucznej inteligencji będzie zależała nie tylko od tworzenia potężniejszych algorytmów. Równie ważne stanie się budowanie lepszej infrastruktury danych: bardziej przejrzystej, aktualnej, reprezentatywnej i możliwej do kontrolowania. Model może bowiem być tak dobry, jak dobre są wzorce, które miał szansę poznać.
