Topik kelima AI & Machine Learning: Multimodal AI

[xtheoputra]

Ringkas

Ini topik kelima bidang AI & Machine Learning: Multimodal AI, ditulis dengan gaya hangat dan bercerita. Lemari arsip perpustakaan penuh foto stiker tanpa label, katalog PDF hasil pindaian, dan rekaman suara, lalu seorang peneliti bertanya, "Ada foto stiker segitiga biru?" Dari cerita itu pembaca:

• melatih dua encoder ala CLIP yang menaruh gambar dan kalimat di ruang makna yang sama;
• menggolongkan gambar tanpa contoh (zero-shot), termasuk kombinasi bentuk dan warna yang tak pernah dilihat saat latihan, lalu mencari foto dengan kalimat;
• melihat sendiri kenapa encoder "kantong kata" tak bisa membedakan "lingkaran merah dan segitiga biru" dari "lingkaran biru dan segitiga merah";
• mengenal cara gambar disambungkan ke model bahasa (LLaVA, Flamingo), mengirim PDF dan beberapa foto ke Claude, mengubah suara menjadi spektrogram (Whisper), dan proses maju difusi;
• mengukur halusinasi (POPE), tolok ukur MMMU, serta batas dan bias CLIP.

Isinya:

• 12 langkah (3.450 kata), 5 diagram SVG (3 digambar langsung dari keluaran kode), 2 video tersemat, 19 sumber, dan 2 proyek mini.
• requires: ["computer-vision", "natural-language-processing"]. Keduanya sudah tayang di produksi.
• Alat di katalog: pytorch dan anthropic-python-sdk, nama dan ringkasannya disalin persis dari main. Tak ada alat baru.
• Tanpa migrasi, tanpa perubahan kode API atau web.

Sumber primer yang dibaca saat menulis

• Makalah (PDF dibaca utuh lewat pdftotext): CLIP (pseudocode loss, suhu 0,07, batas 100, 400 juta pasangan, batch 32.768, ImageNet 76,2%, templat +1,3%, 80 templat +3,5%, batas MNIST 88%, uji bias FairFace), ARO/NegCLIP (BLIP 81%, 62→71%, 46→86%), LLaVA (proyeksi W, 595K, 158K), Flamingo (gerbang tanh mulai 0, Perceiver Resampler 64 token), Whisper (16 kHz, jendela 25 ms dan langkah 10 ms, 80 pita Mel, 680.000/117.000/125.000 jam), DDPM (T = 1000, β 1e-4 → 0,02), Latent Diffusion, POPE, dan MMMU.
• Dokumentasi Claude (.md resminya): PDF support (setiap halaman jadi gambar + teks, 32 MB, 600 halaman atau 100 bila konteks di bawah 1 juta token, 1.500–3.000 token teks per halaman, PDF sebelum teks), Vision (label "Image 1:", Claude tak bisa membuat gambar), dan Features overview.
• Video: Computerphile (CLIP, April 2024) dan 3Blue1Brown/Welch Labs (difusi dan CLIP, Juli 2025). Keduanya oEmbed 200 dan playableInEmbed: true. Kuliah CS231N Spring 2025 Vision and Language tak bisa disematkan (oEmbed 401, playableInEmbed: false), jadi hanya dicantumkan sebagai tautan sumber.

Semua 20 URL unik menjawab 200.

Temuan dari percobaan sendiri

• Zero-shot pada kombinasi yang tak pernah dilihat (segitiga biru, wajik merah, lingkaran kuning, persegi ungu): 91,0% rata-rata lima benih, dengan rentang 85,0–95,5%. Kombinasi yang dilatih 99,6%.
• Efek templat kalimat tidak konsisten di dunia kecil ini: −6,0 sampai +10,5 poin, tergantung benih. Halaman menuliskannya apa adanya sebagai pelajaran tentang benih acak, tidak sebagai pengulangan klaim CLIP.
• Pola salah tebak: dari 90 tebakan salah pada kombinasi baru di kelima benih, 88 keliru bentuk (warnanya benar), dan 78 di antaranya wajik merah yang ditebak lingkaran merah, kombinasi yang dikenal model.
• Kantong kata: 0 menang dan 0 kalah dari 500 foto. Selisih kemiripan paling jauh 1,8 × 10⁻⁷. GRU 99,8%, dan GRU + kalimat tertukar 100%.
• ⚖️ Yang tidak saya klaim: di dunia kecil ini GRU sudah 99,8% tanpa negatif sulit, walau batch-nya tak pernah memuat kembaran tertukar. Jadi percobaan ini hanya membuktikan bagian arsitektur (kantong kata tak mampu). Bagian data, yaitu kenapa CLIP sungguhan tetap berperilaku seperti kantong kata, dikutip dari makalah ARO, bukan dari percobaan ini.

Verifikasi tanpa biaya

Venv uji di luar repo (%TEMP%\tv-evals\uji-mm), PyTorch 2.14.1 CPU, anthropic 1.12.1:

Uji	ok
uji_mm.py: data, loss = pseudocode CLIP versi NumPy, batas pengali 100, NegCLIP (baris 2n, kolom n), kantong kata = vektor identik untuk kalimat tertukar, batch tanpa kembaran, 256/576 tambalan, gerbang Flamingo (keluaran sama persis di awal, gradien alfa tidak nol), bentuk spektrogram dan puncak 880/660 Hz, jadwal DDPM dan rekonstruksi x0, Claude PDF + dua foto lewat transport tiruan (urutan blok, base64 utuh, stop_reason)	43
cek_isi.py: 10 blok Python = potongan persis berkas uji, setiap angka di halaman = hasil.json / salah_tebak.json, angka makalah	28
mypy --strict pada 8 berkas kode halaman	lolos

Semua latihan diulang dengan lima benih. Keseluruhan percobaan memakan 482 detik di CPU.

Gerbang lokal:

• .\run.ps1 isi: sah (12 topik).
• .\run.ps1 gerbang-isi: HIJAU.
• Halaman lokal (API Release + next start di atas basis data sekali pakai): 200, dengan 12 judul langkah, 10 blok kode, 6 tabel, 5 gambar (semuanya 200), dan 2 bingkai video. Tautan prasyarat CV dan NLP tampil, dan halaman CV/NLP menampilkan Multimodal AI di "dibutuhkan oleh".
• Pemindai ADR-024: 31 halaman, 0 kena.
• Kelima SVG dirender lewat sharp dan saya lihat sendiri. Ada empat cacat tata letak, termasuk bunyi "klik" di spektrogram karena nada berganti mendadak; semuanya diperbaiki sebelum commit.
• .\run.ps1 verify: semua hijau (65 detik).

Belum diverifikasi (tanpa Chrome): bingkai video di origin https, dan luberan 390 px. Secara struktur, tabel dan blok kode punya overflow-x: auto.

Sesudah merge

Pasang isi multimodal-ai tanpa ganti, sha=e262bb1 (citra API yang tayang, karena PR ini tak menyentuh jalur API). Prasyaratnya, CV dan NLP, sudah ada di produksi. Sesudahnya, ukur /api/v1/technologies/multimodal-ai dan /teknologi/multimodal-ai (cache halaman 300 detik).

Tidak bergantung pada #113. Keduanya menyentuh berkas berbeda dan bisa di-merge dengan urutan apa pun.

🤖 Generated with Claude Code

[vercel]

The latest updates on your projects. Learn more about Vercel for GitHub.

Project	Deployment	Actions	Updated
techverse-x-web	Ready	Preview	Oct 12, 2026 4:18am UTC

1 Skipped Deployment

Project	Deployment	Actions	Updated
techverse-x-api	Ignored		Oct 12, 2026 4:18am UTC