Temelji
Neuronska mreža
Računalni sustav slojevitih umjetnih neurona koji uči obrasce iz podataka; temelj gotovo cijelog suvremenog strojnog učenja, uključujući LLM-ove.
Neuronska mreža je računalni model labavo inspiriran mozgom. Sastoji se od slojeva jednostavnih jedinica — umjetnih neurona — koji primaju ponderirane ulaze, primjenjuju nelinearnu aktivacijsku funkciju i rezultat prosljeđuju idućem sloju. Podešavanjem težina kroz treniranje na označenim ili samonadziranim podacima, mreža uči preslikati ulaze (piksele, audio, tekstualne tokene) u izlaze (klase, predviđanja, embeddinge).
Tipična mreža ima ulazni sloj, jedan ili više skrivenih slojeva i izlazni sloj. Kada je skriveni dio dubok — desetine do stotine slojeva — područje se zove duboko učenje. Treniranje počiva na backpropagationu: greška na izlazu se diferencira kroz mrežu i korištena je da svaku težinu pomakne u pravom smjeru kroz stohastički gradijentni spust.
Suvremene neuronske mreže dolaze u raznim oblicima: konvolucijske za slike, rekurentne za vremenske nizove, grafovske za relacijske podatke, a najvažnije je transformer koji je u osnovi današnjih velikih jezičnih modela. Ista temeljna ideja — slaganje jednostavnih diferencijabilnih jedinica u učivu cjevovod — pogoni sustave za vid, govor, robotiku, otkrivanje lijekova i generiranje koda.