Sudut Anderson

Instalasi Paket Python sebagai Indeks Adopsi AI Lokal

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google
AI-generated article illustration (GPT-2): an orthographic, game-like view of a suburban street is bordered by a yellow frame labeled “AI FANTASY INSIDE” and “REALITY OUTSIDE.” Round wicker baskets sit outside each house. Near the center, one basket has its lid displaced and a python is emerging, raising its head above the rim.

Pertumbuhan paket Python yang sulit diukur menunjukkan cerita tentang difusi AI, jika Anda tahu di mana harus mencari.

 

Opini Siapa pun yang telah mengeksplorasi potensi AI lokal akan kehilangan sejumlah besar ruang disk, tidak hanya karena model gargantuan yang terlibat, tetapi juga karena sistem Python dan sistem lain yang terkait yang mengatur inferensi, pelatihan, dan ratusan penggunaan lainnya – tidak terkecuali, dalam menghasilkan sistem otomasi lokal.

Kasus penggunaan terakhir ini adalah yang paling umum di berbagai mesin di jaringan lokal saya, di mana saya telah menggunakan AI untuk mengatur rutinitas otomatis berbasis Python, seperti backup, pemeriksaan berkala, administrasi situs web saya, dan dozen penggunaan lainnya.

Secara praktis, hampir semua yang saya ingin capai selama sesi pengkodean ini memerlukan perpustakaan Python baru, sehingga PIP (Package Installer for Python) adalah salah satu pengguna ruang terbesar di mesin jaringan lokal saya:

PIP's diminutive presence in the CLI and GUIs bely its impact on your filesystem. The cache can reach very high, even system-crippling file-sizes.

PIP’s diminutive presence in the CLI and GUIs belie its impact on your filesystem. The cache can reach very high, even system-crippling file-sizes.

Eksperimen dengan AI lokal membalikkan redundansi mewah komputer lokal sebelum era AI saat ini. Jika Anda memiliki alokasi RAM yang murah, itu akan dimakan oleh GPU offloading; terabyte ruang disk keras, juga akan cepat terisi dengan volume model yang tinggi, kuantum atau tidak; dan bahkan jika, seperti saya, Anda telah memasang 24GB VRAM (minimum baru..?), sistem masih memerlukan berbagai shortcut dan trik untuk menjalankan inferensi dalam waktu yang wajar.

Paket PyPi yang terinstal tidak muncul di GUI “Program Terinstal” standar di OS mainstream, dan perlu diambil secara eksplisit, melalui Python, misalnya dengan perintah PowerShell pip freeze --all.

Daftar paket dapat sangat panjang:

Package Version Package Version Package Version
absl-py 2.3.0 Jinja2 3.1.4 pip 25.1.1
attrs 25.3.0 jsonpatch 1.33 platformdirs 4.3.8
beets 2.5.1 jsonpointer 3.0.0 protobuf 4.25.8
certifi 2025.11.12 kiwisolver 1.4.8 psutil 7.2.1
cffi 1.17.1 lap 0.5.12 pybrisque 1.0
charset-normalizer 3.4.4 lazy_loader 0.4 pycparser 2.22
click 8.2.1 libsvm 3.23.0.4 pyparsing 3.2.3
colorama 0.4.6 Markdown 3.8.2 python-dateutil 2.9.0.post0
confuse 2.1.0 MarkupSafe 2.1.5 PyYAML 6.0.2
contourpy 1.3.2 matplotlib 3.10.3 pyyaml_env_tag 1.1
cycler 0.12.1 mediafile 0.13.0 requests 2.32.5
dlib 20.0.0 mediapipe 0.10.21 scikit-image 0.25.2
face-recognition 1.3.0 mergedeep 1.3.4 scipy 1.16.0
face_recognition_models 0.3.0 mkdocs 1.6.1 sentencepiece 0.2.0
filelock 3.13.1 mkdocs-get-deps 0.2.0 setuptools 65.5.0
filetype 1.2.0 ml_dtypes 0.5.1 six 1.17.0
flatbuffers 25.2.10 mpmath 1.3.0 sounddevice 0.5.2
fonttools 4.58.4 musicbrainzngs 0.7.1 sympy 1.13.1
fsspec 2024.6.1 mutagen 1.47.0 tifffile 2025.6.11
ghp-import 2.1.0 networkx 3.3 torch 2.5.1+cu118
idna 3.11 numpy 2.1.2 torchvision 0.20.1+cu118
image-quality 1.2.7 opencv-contrib-python 4.11.0.86 tqdm 4.67.1
imageio 2.37.0 opencv-python 4.11.0.86 typing_extensions 4.12.2
internetarchive 5.7.1 opt_einsum 3.4.0 Unidecode 1.4.0
jax 0.6.2 packaging 25.0 urllib3 2.6.2
jaxlib 0.6.2 pathspec 0.12.1 watchdog 6.0.0
jellyfish 1.2.1 pillow 11.0.0

A dump of PyPi installations on one of my busier machines. Some of these tiny words hide gigabytes of disk space – notably anything Torch/PyTorch-related.

Dalam singkat, AI lokal dapat membawa pengalaman komputasi Anda kembali ke awal 1990-an, sedikit setelah periode di mana program seperti Word harus dimuat ke dalam beberapa KB RAM, satu disk floppy besar pada satu waktu; tetapi sebelum alokasi disk keras memberikan Anda ruang untuk bernapas.

Mencari Arus Bawah

Saya penasaran apakah lonjakan instalasi PyPi selama beberapa tahun terakhir dapat berfungsi sebagai indeks adopsi AI lokal, yang pada umumnya cukup sulit untuk dilacak, kecuali melalui intuisi ketika berpartisipasi dalam berbagai komunitas AI dan mencatat platform dan paket mana yang mendapatkan perhatian.

Secara kasual, melihat situs statistik PyPi menunjukkan kisaran tanggal yang sangat sempit, semua tanggal tersebut menunjukkan pertumbuhan unduhan yang konstan:

Rise in download across all Python packages since the start of 2026 – though the available range of dates is very narrow. Source - https://www.unite.ai/what-caused-the-current-ram-shortage/

Rise in download across all Python packages since the start of 2026 – though the available range of dates is very narrow. Source

Sangat menarik untuk memperluas kisaran tanggal ini ke 2020 dan melihat apakah pertumbuhan tersebut tetap konstan, atau (seperti yang mungkin diduga), meningkat lebih tajam pada 2024-26 – jika tidak hanya karena tindakan agentic AI yang tidak diawasi.

Sayangnya, sumber resmi PyPi menyatakan bahwa statistik unduhan PyPi tidak tersedia, karena berbagai alasan, termasuk biaya caching CDN, hitungan unduhan yang tidak akurat karena cache, mirror, inflasi unduhan tidak resmi, dan masalah kualitas data historis – dan, menurut situs Python, keterbatasan kegunaannya sebagai ukuran kualitas paket.

Tidak Terlalu Cepat

Namun, PyPi memberikan komponen yang diperlukan untuk orang lain menganalisis tren unduhan; ada beberapa situs web yang memungkinkan lebih dari satu bulan rentang, seperti PepySite – tetapi sebagian besar berbasis langganan, dan Anda harus membayar untuk melihat tren dan statistik jangka panjang (hingga $490 USD per bulan dalam satu kasus, untuk paket ‘VC’).

Apakah ada yang dapat kita ketahui, maka, tentang Python sebagai indeks percepatan AI, jauh dari API berbayar yang menampilkan tren-tren ini untuk mereka yang mampu?

PyPiStats adalah sumber daya FOSS, tetapi untuk beberapa alasan hanya menawarkan statistik bulan terakhir, dan kisaran ini tidak dapat diperpanjang bahkan dengan membayar.

Beruntung, satu situs lebih dermawan – di ClickPy, Anda dapat mencari sejarah adopsi paket individual, bahkan jika jumlahnya tidak diatur menjadi gambaran yang mudah menghasilkan tren yang lebih luas dan terkoordinasi. Di sini, misalnya, adalah jalur perpustakaan Transformers sejak 2016 (meskipun hanya valid sejak peluncurannya pada 2019):

The meteoric rise of transformers. Source - https://packaging.python.org/en/latest/guides/analyzing-pypi-package-downloads/

The meteoric rise of transformers. Source

Apa tentang Torch yang terhormat, pertama kali dirilis pada 2002, tetapi tidak ditakdirkan untuk menyiksa penggemar AI rumahan sampai pengembangannya menjadi PyTorch, dan munculnya VLM berbasis Transformer dan AI generatif yang terkait dengan gambar dan video..?

Torch downloads since 2017, with a steep incline upwards over the last 2-3 years.

Torch downloads since 2017, with a steep incline upwards over the last 2-3 years.

PyTorch over the same period, plateauing and then spiking sometimes over a stable base.

PyTorch over the same period, plateauing and then spiking sometimes over a stable base.

Lebih menarik, misalnya, dalam kasus PyTorch (lihat gambar langsung di atas), adalah gambaran adopsi di berbagai versi Python sejak 2017:

Downloads of PyTorch over time since 2017, by Python version, supplying an extra dimension of insight into uptake since the 'hot' era of this third AI revolution.

Downloads of PyTorch over time since 2017, by Python version, supplying an extra dimension of insight into uptake since the ‘hot’ era of this third AI revolution.

Jika statistik di atas menerangi lonjakan adopsi sejak munculnya sistem LLM dan VLM yang sangat mampu, ini menjadi lebih jelas ketika dilihat oleh sistem:

Adoption of PyTorch since 2017, interpreted by operating system.

Adoption of PyTorch since 2017, interpreted by operating system.

Ini adalah cerita yang sama untuk paket accelerate – salah satu perpustakaan yang paling dibutuhkan untuk pengguna AI yang kekurangan VRAM dan ingin mendapatkan hasil maksimal dari keterbatasan sistem mereka:

The ascent of accelerate, by OS.

The ascent of ‘accelerate’, by OS.

Demikian pula untuk berbagai paket atau perpustakaan yang Anda teliti di ClickPy, dan tentu saja akan menarik untuk membuat gambaran umum alih-alih melihat potongan-potongan satu per satu.

Satu hal yang menjadi jelas dari grafik “oleh OS” adalah peningkatan adopsi Linux. Sementara adopsi desktop Linux membuat peningkatan yang stabil dalam menghadapi strategi Windows yang tidak populer, penggunaan lingkungan Linux jelas dalam peningkatan yang signifikan.

Untuk contoh, saya menjalankan Ubuntu virtualized pada WSL2 di Windows untuk berbagai kontainer Docker, di mana Docker dapat menggunakan sistem Linux asli dengan cara yang sama seperti yang dilihat oleh pengembang. Itu dua sistem Linux aktif di jaringan Windows (dari sudut pandang perangkat keras), dengan laptop Linux asli menunggu di sayap untuk waktu yang lebih santai.

Kesimpulan

Dalam hal unduhan paket berbasis CLI, menarik untuk melihat seberapa giat dan dikejar ruang ini telah menjadi dalam bangkitnya AI.

Peningkatan konsumsi paket mulai menjadi bahaya keamanan di hilir, dengan munculnya slopsquatting. Karena LLMs cenderung menghalusinasi paket, mereka kemungkinan akan mengirimkan permintaan untuk paket yang tidak ada. Karena kesamaan konvergensi, paket palsu kemungkinan akan muncul kembali dalam panggilan perpustakaan lain, sehingga layak bagi pelaku jahat untuk membuat paket palsu tersebut tersedia untuk pull/call di masa depan – tentu saja, dengan payload berbahaya:

From the paper 'We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs' - AI-driven code generation expanding the supply-chain attack surface. LLMs frequently hallucinate nonexistent package names, creating 'slopsquatting' vulnerabilities that bad actors exploit when automated pipelines blindly pull unverified dependencies.   Source - https://www.unite.ai/wp-content/uploads/2026/07/pytorch-downloads-by-system-over-time.jpg

From the paper ‘We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs’ – AI-driven code generation expanding the supply-chain attack surface. LLMs frequently hallucinate nonexistent package names, creating ‘slopsquatting’ vulnerabilities that bad actors exploit when automated pipelines blindly pull unverified dependencies.   Source

 

Dipublikasikan pertama kali pada hari Jumat, 24 Juli 2026

Penulis tentang pembelajaran mesin, spesialis domain sintesis gambar manusia. Mantan kepala konten penelitian di Metaphysic.ai, hingga pembubarannya ke dalam Brahma.ai DNEG.
Portfolio site: martinanderson.ai
Contact: [email protected]