Взгляд Anderson

Установки пакетов Python в качестве индекса местного внедрения ИИ

mm
Добавьте Unite.AI в избранные источники в Google
AI-generated article illustration (GPT-2): an orthographic, game-like view of a suburban street is bordered by a yellow frame labeled “AI FANTASY INSIDE” and “REALITY OUTSIDE.” Round wicker baskets sit outside each house. Near the center, one basket has its lid displaced and a python is emerging, raising its head above the rim.

Трудно количественно оценить рост загрузок пакетов для Python, но если вы знаете, где искать, они рассказывают историю распространения ИИ.

 

Мнение Кто бы ни исследовал потенциал местного ИИ, к этому моменту уже потерял значительное количество места на диске не только из-за гигантских моделей, но и из-за связанных с ними пакетов Python и подобных систем, которые управляют выводом, обучением и сотнями других потенциальных применений – не в последнюю очередь, в создании местных автоматизированных систем.

Этот последний случай является наиболее распространенным среди различных машин в моей локальной сети, где я использовал ИИ для создания плоских, основанных на Python, автоматизированных процедур, таких как резервное копирование, периодические проверки, администрирование моего веб-сайта и десятка других применений.

Практически все, что я хочу достичь во время этих сессий программирования, требует новой библиотеки Python, до такой степени, что PIP (установщик пакетов Python) является одним из самых больших потребителей места на диске среди моих машин в локальной сети:

Небольшое присутствие PIP в CLI и GUI скрывает его влияние на файловую систему. Кэш может достигать очень высоких, даже системных, размеров файлов.

Небольшое присутствие PIP в CLI и GUI скрывает его влияние на файловую систему. Кэш может достигать очень высоких, даже системных, размеров файлов.

Эксперименты с местным ИИ меняют существенную избыточность местных компьютеров, предшествующую эпохе дефицита оперативной памяти в текущую эпоху. Если у вас было щедрое количество оперативной памяти, оно будет съедено при выгрузке на GPU; терабайт дискового пространства быстро заполнится высокообъемными моделями, квантованными или нет; и даже если, как я сделал, у вас есть 24 ГБ видеопамяти (новый минимум…), система все равно потребует различных обходных путей и трюков для запуска вывода в разумные сроки.

Установленные пакеты PyPi (Python Package Index) не отображаются в стандартных GUI “Установленные программы” в основной операционной системе и должны быть явно извлечены через Python, например, с помощью команды PowerShell pip freeze --all.

Список может быть удивительно длинным:

Пакет Версия Пакет Версия Пакет Версия
absl-py 2.3.0 Jinja2 3.1.4 pip 25.1.1
attrs 25.3.0 jsonpatch 1.33 platformdirs 4.3.8
beets 2.5.1 jsonpointer 3.0.0 protobuf 4.25.8
certifi 2025.11.12 kiwisolver 1.4.8 psutil 7.2.1
cffi 1.17.1 lap 0.5.12 pybrisque 1.0
charset-normalizer 3.4.4 lazy_loader 0.4 pycparser 2.22
click 8.2.1 libsvm 3.23.0.4 pyparsing 3.2.3
colorama 0.4.6 Markdown 3.8.2 python-dateutil 2.9.0.post0
confuse 2.1.0 MarkupSafe 2.1.5 PyYAML 6.0.2
contourpy 1.3.2 matplotlib 3.10.3 pyyaml_env_tag 1.1
cycler 0.12.1 mediafile 0.13.0 requests 2.32.5
dlib 20.0.0 mediapipe 0.10.21 scikit-image 0.25.2
face-recognition 1.3.0 mergedeep 1.3.4 scipy 1.16.0
face_recognition_models 0.3.0 mkdocs 1.6.1 sentencepiece 0.2.0
filelock 3.13.1 mkdocs-get-deps 0.2.0 setuptools 65.5.0
filetype 1.2.0 ml_dtypes 0.5.1 six 1.17.0
flatbuffers 25.2.10 mpmath 1.3.0 sounddevice 0.5.2
fonttools 4.58.4 musicbrainzngs 0.7.1 sympy 1.13.1
fsspec 2024.6.1 mutagen 1.47.0 tifffile 2025.6.11
ghp-import 2.1.0 networkx 3.3 torch 2.5.1+cu118
idna 3.11 numpy 2.1.2 torchvision 0.20.1+cu118
image-quality 1.2.7 opencv-contrib-python 4.11.0.86 tqdm 4.67.1
imageio 2.37.0 opencv-python 4.11.0.86 typing_extensions 4.12.2
internetarchive 5.7.1 opt_einsum 3.4.0 Unidecode 1.4.0
jax 0.6.2 packaging 25.0 urllib3 2.6.2
jaxlib 0.6.2 pathspec 0.12.1 watchdog 6.0.0
jellyfish 1.2.1 pillow 11.0.0

Свамп установки PyPi на одной из моих занятых машин. Некоторые из этих маленьких слов скрывают гигабайты дискового пространства – особенно все, что связано с Torch/PyTorch.

Короче говоря, местный ИИ может вернуть ваш опыт работы с компьютером в начало 1990-х годов, чуть позже периода, когда программа, такая как Word, должна была быть загружена в несколько килобайт оперативной памяти, один большой диск за раз; но до того, как выделение места на жестком диске дало вам немного места для дыхания.

Поиск подводных течений

Я был любопытен, может ли рост установки пакетов PyPi за последние несколько лет служить индексом внедрения местного ИИ, который, в целом, довольно трудно отслеживать, кроме как через интуицию при участии в различных сообществах ИИ и отметке, какие платформы и пакеты привлекают внимание.

Беглый взгляд на сайт статистики PyPi показывает разочаровывающе узкий диапазон дат, все из которых, однако, указывают на постоянный рост загрузок:

Рост загрузок всех пакетов Python с начала 2026 года – хотя доступный диапазон дат очень узок. Источник - https://pypistats.org/packages/__all__

Рост загрузок всех пакетов Python с начала 2026 года – хотя доступный диапазон дат очень узок. Источник

Было бы замечательно расширить этот диапазон дат до 2020 года и увидеть, остается ли рост постоянным, или (как можно было бы подозревать), он увеличился более резко в 2024-26 году – если только из-за неограниченных действий агентных систем ИИ.

К сожалению, официальные источники PyPi утверждают, что статистика загрузок PyPi не доступна, по различным причинам, включая накладные расходы на кэширование CDN, неточные счетчики загрузок, вызванные кэшем, зеркалами, неофициальным инфляцией загрузок и историческими проблемами качества данных – и, согласно сайту Python, их ограниченная полезность в качестве меры качества пакета.

Не так быстро

Однако PyPi предоставляет компоненты, необходимые для других анализов тенденций загрузок; поэтому существуют различные веб-сайты, которые позволяют просматривать более чем месячный диапазон, такие как PepySite – но большинство из них требуют подписки, и вам необходимо заплатить, чтобы увидеть более длительные тенденции и статистику (до $490 USD в месяц в одном случае, за пакет “VC”).

Есть ли что-то, что мы можем узнать, тогда, о Python в качестве индекса ускорения ИИ, подальше от дорогостоящих API, которые раскладывают эти тенденции для состоятельных?

Хотя PyPiStats является ресурсом с открытым исходным кодом, он по какой-то причине предлагает только статистику за последний месяц, и этот диапазон не может быть расширен даже за плату.

К счастью, один сайт более щедрый – на ClickPy можно хотя бы поискать историю принятия отдельных пакетов, даже если сумма этих не оркестрируется в обзор, который легко дает более широкие, скоординированные тенденции. Здесь, например, показан путь библиотеки Transformers с 2016 года (хотя только с 2019 года с момента запуска):

Метеоритный рост трансформеров. Источник - https://arxiv.org/abs/1910.03771

Метеоритный рост трансформеров. Источник

Что касается почитаемого Torch, выпущенного впервые в 2002 году, но не предназначенного для мучения домашних энтузиастов ИИ до его развития в PyTorch, и роста трансформерных VLM и генеративного ИИ, связанного с изображениями и видео..?

Загрузки Torch с 2017 года, с крутым наклоном вверх за последние 2-3 года.

Загрузки Torch с 2017 года, с крутым наклоном вверх за последние 2-3 года.

PyTorch за тот же период, с плато и иногда пиками над стабильной базой.

PyTorch за тот же период, с плато и иногда пиками над стабильной базой.

Более интересно, например, в случае PyTorch (см. изображение прямо выше), является обзор принятия различных версий Python с 2017 года:

Загрузки PyTorch за время с 2017 года, по версиям Python, предоставляющие дополнительное измерение прозрения в принятие с момента 'горячей' эпохи этой третьей революции ИИ.

Загрузки PyTorch за время с 2017 года, по версиям Python, предоставляющие дополнительное измерение прозрения в принятие с момента ‘горячей’ эпохи этой третьей революции ИИ.

Если статистика выше освещает рост принятия с момента появления真正ких LLM и VLM систем, это становится еще более очевидным, когда просматривается по системе:

Принятие PyTorch с 2017 года, интерпретированное по операционной системе.

Принятие PyTorch с 2017 года, интерпретированное по операционной системе.

Это похоже на историю с пакетом accelerate – одним из самых необходимых библиотек для пользователей ИИ, страдающих от нехватки видеопамяти, пытающихся выжать как можно больше из ограничений своих систем:

Восхождение 'accelerate', по операционной системе.

Восхождение ‘accelerate’, по операционной системе.

Таким образом, это происходит с любым количеством пакетов или библиотек, которые вы исследуете на ClickPy, и было бы интересно создать обзор вместо поиска отдельных фрагментов.

Одна вещь, которая становится очевидной из графиков ‘по операционной системе’, является рост принятия Linux. Хотя принятие Linux на рабочем столе происходит стабильным, но медленным темпом перед лицом непопулярных стратегий Windows, использование среды Linux явно находится в значительном подъеме.

Например, я запускаю Ubuntu в виртуальной среде на WSL2 в Windows для различных контейнеров Docker, где Docker может использовать настоящую систему Linux на тех же условиях, что и (предположительно родная для Linux) разработчики. Это два активных Linux-системы в полностью Windows-локальной сети (с точки зрения голого металла), с родной Linux-ноутбуком, ожидая в крыльях для более расслабленных времен.

Заключение

В плане загрузок пакетов в командной строке интересно отметить, как эта очень техническая область стала востребованной в свете ИИ.

Рост потребления пакетов начинает становиться угрозой безопасности, с появлением slopsquatting. Поскольку ИИ склонен к галлюцинациям пакетов, они, вероятно, будут отправлять запросы на вымышленные пакеты. Из-за сходства сходимости вымышленные пакеты, вероятно, будут повторяться в других вызовах библиотек, до такой степени, что будет выгодно для злоумышленников фактически создать эти вымышленные пакеты для будущих запросов – конечно, с вредоносной нагрузкой:

Из статьи 'We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs' - AI-управляемая генерация кода расширяет поверхность атаки цепочки поставок. ИИ часто галлюцинирует несуществующие имена пакетов, создавая уязвимости 'slopsquatting', которые злоумышленники используют, когда автоматизированные конвейеры слепо вытягивают непроверенные зависимости. Источник - https://arxiv.org/pdf/2406.10279

Из статьи ‘We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs’ – AI-управляемая генерация кода расширяет поверхность атаки цепочки поставок. ИИ часто галлюцинирует несуществующие имена пакетов, создавая уязвимости ‘slopsquatting’, которые злоумышленники используют, когда автоматизированные конвейеры слепо вытягивают непроверенные зависимости. Источник

 

Опубликовано впервые в пятницу, 24 июля 2026 года

Писатель о машинном обучении, специалист в области синтеза человеческих изображений. Бывший руководитель контента исследований в Metaphysic.ai, до его распада в DNEG's Brahma.ai.
Портфолио сайт: martinanderson.ai
Контакт: [email protected]