Parametreler, bir modelin içindeki ve eğitim süresince otomatik olarak ayarlanan sayılardır. Sinir ağlarında bunlar esas olarak nöronlar arasındaki bağlantıların ağırlıkları ve sapma (bias) değerleridir. Modelin "bildiği" her şey aslında bu sayıların aldığı değerlerde saklıdır.
Büyük dil modellerinin boyutundan bahsedilirken genellikle parametre sayısı kullanılır. Daha fazla parametre, modelin daha karmaşık örüntüleri öğrenebilmesini sağlayabilir, ancak daha fazla veri, bellek ve hesaplama gücü de gerektirir. Parametre sayısı tek başına bir modelin kalitesini belirlemez; veri kalitesi ve eğitim yöntemi de çok önemlidir.
Parametreler, eğitimden önce insanlar tarafından seçilen "hiperparametreler" ile karıştırılmamalıdır. Öğrenme hızı ya da katman sayısı gibi ayarlar hiperparametredir.
Pour les enfants
Çocuğunuza nasıl anlatırsınız?
Bir radyonun frekans, ses, bas ve tiz düğmelerini düşün. Doğru istasyonu net duymak için bu düğmeleri ayarlarsın. Bir yapay zeka modelinde bu düğmelerden milyonlarca, hatta milyarlarca vardır ve eğitim sırasında hepsi tek tek, en iyi sonucu verecek şekilde ayarlanır.
Gündelik bir örnek
"7B" ya da "70B" gibi ifadeler, bir dil modelinin yaklaşık 7 milyar ya da 70 milyar parametresi olduğunu anlatır.