About the author

Author: https://t.me/ahillary

Resources

Channel: https://t.me/semolina_code_python

Chat: https://t.me/python_with_ahillary

YouTube: https://www.youtube.com/@semolinacode

Coding training: https://t.me/how_to_code_web3

Prop trading: https://t.me/semolina_prop

Что выдаёт команда ollama show

Выбор модели – это всегда поиск баланса между качеством, скоростью и стоимостью (в железе и времени).

Ниже – системная "карта местности": какие характеристики есть у моделей, что они означают на практике, как они влияют на результаты и на что смотреть при выборе под свою задачу. Примеры будем разбирать на типичном паспорте модели (получен через ollama show):

Model
  architecture        gemma3
  parameters          4.3B
  context length      131072
  embedding length    2560
  quantization        Q4_K_M

Capabilities
  completion
  vision

Parameters
  temperature         1
  top_k               64
  top_p               0.95
  stop                "<end_of_turn>"

License
  Gemma Terms of Use
  Last modified: Feb 21, 2024

И отдельно поговорим про "биты" (квантование).

Architecture (архитектура)

Архитектура – это нейросети, то есть то, как именно она устроена внутри: какие у неё есть слои, как они связаны между собой, как проходит информация и где принимаются решения. Проще говоря, если модель – это человек, то архитектура – это его анатомия: форма мозга, количество нейронов и способ, как они обмениваются сигналами.