πŸ”§ Digital Plumbing Hierarchy β€” Fondasi Pipa Digital yang Terlupakan

Dari ffmpeg hingga zlib: Arsitektur Tersembunyi yang Menopang Setiap Bit di Internet

Fondasi yang Tak Terlihat

Setiap kali kamu menonton video, mendengarkan musik, membuka file arsip, atau melihat gambar di web, ada deretan pustaka β€œpipa ledeng” yang bekerja tanpa henti. Mereka adalah ffmpeg, unrar, zlib, libjpeg-turbo, dan sejenisnya β€” barisan kode tanpa pamrih yang mengubah data dari satu bentuk ke bentuk lain. Tanpa mereka, internet akan berhenti. Dokumen ini adalah sebuah penghormatan, penjelasan arsitektur, dan peta hierarki dari fondasi digital yang paling terlupakan.


Daftar Isi

  1. 1. First Principles β€” Mengapa Pipa Digital Ini Penting
  2. 2. Hierarki Pipa Digital β€” Piramida Enam Lapis
  3. 3. Level 6 β€” Sang Orkestrator FFmpeg
  4. 4. Level 5 β€” Codec Multimedia
  5. 5. Level 4 β€” Arsip Kompresi Data
  6. 6. Level 3 β€” Codec Gambar
  7. 7. Level 2 β€” Parsing Validasi Kriptografi
  8. 8. Level 1 β€” Aritmatika Biner Hashing
  9. 9. Peta Koneksi ke Vault
  10. 10. References

1. First Principles β€” Mengapa β€œPipa Digital” Ini Penting?

Dalam ilmu komputer, kita sering terjebak dalam kompleksitas sistem besar. Namun, prinsip fundamental rekayasa justru terletak pada komponen-komponen kecil yang sangat terspesialisasi dan melakukan satu hal dengan sangat baik. Inilah The Unix Philosophy dalam wujudnya yang paling murni.

1.1 β€œJembatan” Antar Format

Digital Plumbing adalah tentang menjembatani representasi data. Dunia digital adalah menara babel format: MP4, MKV, JPEG, PNG, RAR, ZIP, MP3, FLAC. Setiap format adalah bahasa yang berbeda. Alat-alat ini adalah penerjemah universal yang memungkinkan mereka untuk saling bertukar data.

1.2 Fondasi yang Tak Terlihat

Mereka adalah fondasi yang tak terlihat. Kamu tidak pernah β€œmembuka” ffmpeg seperti membuka browser. Mereka adalah dependency yang dipanggil oleh aplikasi lain. Saat kamu mengunggah video ke YouTube, ffmpeg yang bekerja di server. Saat kamu membuka file .zip, libzip yang mengeksekusi. Keandalan internet bergantung pada keandalan kode yang jarang kita lihat ini.

1.3 Digital Plumbing vs Application Software

AspekAplikasi (Kamu Lihat)Pipa Digital (Tak Terlihat)
PenggunaManusia (GUI/CLI)Program lain (API/library)
BahasaJavaScript, Python, RubyC, C++, Rust, Assembly
Umur~2-5 tahun (framework churn)~20-40 tahun (zlib: 1995, libpng: 1995, ffmpeg: 2000)
StabilitasAPI break setiap major versionABI stabil selama dekade
OptimasiCukup β€œcukup cepat”Tiap siklus CPU diperjuangkan (SIMD, ASM)
EkosistemBerganti tiap eraSelamanya β€” codec baru hanya ditambahkan, tidak mengganti

Plot Twist: Pustaka seperti zlib (dirilis 1995) masih menjadi tulang punggung kompresi HTTP di tahun 2026. Framework JavaScript yang kamu pakai tahun 2020 mungkin sudah mati. Tapi zlib? Masih kuat.


2. Hierarki Pipa Digital β€” Piramida Enam Lapis

Saya mengelompokkan pahlawan tak dikenal ini ke dalam sebuah hierarki berdasarkan fungsinya dalam aliran data, dari level tertinggi (paling dekat ke aplikasi) ke level paling fundamental (paling dekat ke hardware).

╔══════════════════════════════════════════════════════════════════╗
β•‘              HIERARKI DIGITAL PLUMBING                          β•‘
╠══════════════════════════════════════════════════════════════════╣
β•‘                                                                  β•‘
β•‘  Level 6 β”‚ Multiplexer/Demultiplexer (Kontainer)                β•‘
β•‘          β”‚ ffmpeg, mkvmerge, mp4box, gpac                       β•‘
β•‘          β”‚ β†’ Orkestrator: baca, pisah, gabung, tulis kontainer  β•‘
║──────────────────────────────────────────────────────────────────║
β•‘  Level 5 β”‚ Codec Multimedia (Enkoder/Dekoder)                   β•‘
β•‘          β”‚ x264, x265, libvpx, libaom, flac, lame, opus, speex β•‘
β•‘          β”‚ β†’ Transformasi signal: DCT, MDCT, motion comp, ACELP β•‘
║──────────────────────────────────────────────────────────────────║
β•‘  Level 4 β”‚ Arsip & Kompresi Data                                β•‘
β•‘          β”‚ unrar, 7-Zip, zlib, lzma, zstd, brotli, bzip2, xz   β•‘
β•‘          β”‚ β†’ Information theory: entropy, dictionary, context    β•‘
║──────────────────────────────────────────────────────────────────║
β•‘  Level 3 β”‚ Codec Gambar                                         β•‘
β•‘          β”‚ libjpeg-turbo, libpng, libwebp, libavif, libheif     β•‘
β•‘          β”‚ β†’ Spatial redundancy: chroma subsampling, DCT 8Γ—8    β•‘
║──────────────────────────────────────────────────────────────────║
β•‘  Level 2 β”‚ Parsing & Validasi & Serialisasi                     β•‘
β•‘          β”‚ libxml2, libcurl, openssl, protobuf, flatbuffers,    β•‘
β•‘          β”‚ nlohmann/json, yyjson, msgpack, capnproto            β•‘
β•‘          β”‚ β†’ Grammar, state machine, schema validation          β•‘
║──────────────────────────────────────────────────────────────────║
β•‘  Level 1 β”‚ Aritmatika Biner & Hashing                           β•‘
β•‘          β”‚ zlib (deflate core), xxHash, base64, simdutf,        β•‘
β•‘          β”‚ libbase64, BLAKE3, CRC32, MD5, SHA                   β•‘
β•‘          β”‚ β†’ Bit manipulation, CPU intrinsics, SIMD             β•‘
β•‘                                                                  β•‘
β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•

2.1 Prinsip Aliran Data

Data mengalir turun untuk di-decode dan naik untuk di-encode:

[Aplikasi Kamu]
    ↓ encode                          ↑ decode
[Level 6: Multiplexer]  ← kontainer β†’ [Level 6: Multiplexer]
    ↓ mux                             ↑ demux
[Level 5: Codec]        ← bitstream β†’ [Level 5: Codec]
    ↓ encode                          ↑ decode
[Level 4: Kompresi]     ← compressed β†’ [Level 4: Kompresi]
    ↓ deflate                         ↑ inflate
[Level 1: Aritmatika]   ← raw bytes β†’ [Level 1: Aritmatika]

2.2 Contoh Aliran: Memutar Video YouTube

Browser β†’ YouTube Player (JavaScript)
  β†’ Level 6: Demux WebM (libwebm)
  β†’ Level 5: Decode VP9 (libvpx) + Decode Opus (libopus)
  β†’ Level 4: Decompress frame buffer (zlib?)
  → Level 1: SIMD YUV→RGB conversion (simdutf-like)
  β†’ GPU: Texture upload β†’ Display

3. Level 6 β€” Sang Orkestrator: FFmpeg

Pahlawan Utama: ffmpeg β€” Sutradara, editor, dan penerjemah video/audio.

FFmpeg adalah β€œpisau lipat Swiss” untuk multimedia. Ia adalah kerangka kerja yang berisi seperangkat pustaka (libavcodec, libavformat, libavfilter, dll.) yang bisa membaca, menulis, mentranskode, memotong, menggabungkan, dan menyaring hampir semua format media yang ada.

3.1 Arsitektur FFmpeg

β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚                      ffmpeg CLI                         β”‚
β”œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€
β”‚  libavformat  β”‚  libavcodec  β”‚  libavfilter  β”‚ libavutil β”‚
β”‚  (Demux/Mux)  β”‚  (Codec)     β”‚  (Filter)     β”‚ (Utilitas)β”‚
β”œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€
β”‚  libswscale   β”‚  libswresample  β”‚  libpostproc           β”‚
β”‚  (Scale/CS)   β”‚  (Sample rate)  β”‚  (Processing)          β”‚
β”œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”΄β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€
β”‚  External Codec Libraries                                β”‚
β”‚  x264 Β· x265 Β· libvpx Β· libaom Β· libopus Β· lame Β· fdk   β”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜

3.2 Pipeline Transcoding

Setiap operasi FFmpeg mengikuti pipeline ini:

  1. Probe: Baca header file β†’ identifikasi format kontainer, codec, resolution, bitrate
  2. Demuxing: libavformat membaca kontainer (.mp4, .mkv, .avi, .webm) β†’ pisahkan menjadi streams (video, audio, subtitle, attachment)
  3. Decoding: libavcodec memanggil decoder yang sesuai (H.264 β†’ h264_decode, VP9 β†’ vp9_decode) β†’ hasil: raw frames (YUV420P untuk video, PCM float untuk audio)
  4. Filtering (opsional): Raw frames lewat libavfilter β€” scale, crop, rotate, drawtext, fps filter, audio volume, equalizer
  5. Encoding: Raw frames β†’ encoder (x264, libaom, libopus) β†’ compressed bitstream
  6. Muxing: Gabung streams + metadata β†’ kontainer baru

3.3 Contoh Command & Yang Terjadi di Belakang

ffmpeg -i input.mp4 -c:v libx265 -c:a libopus -vf scale=1280:720 output.mkv

Di belakang layar:

  1. Probe input.mp4 β†’ H.264 video, AAC audio
  2. Inisialisasi h264_decode + aac_decode
  3. Baca frame: untuk setiap paket β†’ decode β†’ raw frame
  4. Scale raw frame dari resolusi asli ke 1280Γ—720 (libswscale, SIMD-optimized)
  5. Encode frame dengan libx265 β†’ HEVC bitstream
  6. Resample audio dari 44.1KHz→48KHz (libswresample)
  7. Encode audio dengan libopus
  8. Mux H.265 + Opus ke kontainer Matroska (.mkv)

3.4 Kinerja & Optimasi

Codec PathSpeed (fps)CPU UsageKualitas Relatif
H.264 β†’ H.264 (copy stream)300-600 fps~5%Lossless
H.264 β†’ H.265 (libx265)15-40 fps~80%~50% bitrate saving
H.264 β†’ AV1 (libaom)1-5 fps~100%~70% bitrate saving
H.264 β†’ VP9 (libvpx)8-20 fps~60%~60% bitrate saving

4. Level 5 β€” Codec Multimedia

Pahlawan Utama: x264/x265, libopus, lame, flac

Codec adalah penerjemah antara sinyal mentah (raw video/audio) dan representasi terkompresi. Mereka adalah jantung dari Digital Plumbing.

4.1 Video Codec β€” Bagaimana Mereka Bekerja

Semua video codec modern (H.264, H.265, VP9, AV1) menggunakan arsitektur yang sama β€” hibrida prediksi + transform + entropi:

β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”    β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
β”‚ Frame    │───→│ Prediksi │───→│ Transform│───→│ Entropi  │───→ Bitstream
β”‚ Input    β”‚    β”‚ Motion   β”‚    β”‚ DCT/DST  β”‚    β”‚ CABAC    β”‚
β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜    β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
                     ↑
                β”Œβ”€β”€β”€β”€β”΄β”€β”€β”€β”€β”
                β”‚ Frame   β”‚
                β”‚ Sebelum β”‚
                β”‚ (Referensi)β”‚
                β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜

4.1.1 Frame Types

TypeNamaKompresiDeskripsi
I-frameIntra-frameTerendahKeyframe lengkap. Bisa di-decode sendiri. Seperti JPEG.
P-framePredictedSedangHanya menyimpan perbedaan dari frame sebelumnya.
B-frameBidirectionalTertinggiMenyimpan perbedaan dari frame SEBELUM dan SESUDAH.

4.1.2 Motion Estimation

Ini adalah bagian paling kompleks dan paling berat secara komputasi:

// Simplified: motion search mencari block yang paling cocok di frame referensi
// Untuk setiap block 16Γ—16 di frame saat ini:
for each macroblock in current_frame {
    best_match = INFINITY
    for each candidate in search_window(reference_frame, -64..+64, -64..+64) {
        sad = sum_absolute_differences(macroblock, candidate) // SAD = SSE4.1 instruction
        if sad < best_match {
            best_match = sad
            motion_vector = candidate_position - macroblock_position
        }
    }
}

4.1.3 Transform Coding (DCT)

Setelah prediksi, residual (selisih antara prediksi dan frame asli) di-transform dengan Discrete Cosine Transform (DCT):

DCT mengubah sinyal spasial (piksel) menjadi sinyal frekuensi. Energi terkonsentrasi di koefisien frekuensi rendah (pojok kiri atas). Koefisien frekuensi tinggi (yang kecil) bisa dibuang (quantization) tanpa mengurangi kualitas visual secara signifikan.

4.2 Audio Codec β€” Opus

Opus (RFC 6716) adalah codec audio paling canggih yang pernah dibuat:

ModeBitrateSampling RateUse CaseAlgoritma
SILK6-40 kbps8-12 kHzVoice/VoIPLPC (Linear Predictive Coding)
CELT32-510 kbps8-48 kHzMusicMDCT (Modified DCT)
Hybrid6-64 kbps48 kHzVoice+Music simultanSILK low freq + CELT high freq

Opus bisa switch mode dalam frame yang sama β€” bagian awal lagu dengan SILK (vokal solo) lalu switch ke CELT (full band saat musik masuk). Ini SANGAT adaptif.

4.3 Audio Lossless β€” FLAC

FLAC (Free Lossless Audio Codec) mengompresi audio tanpa kehilangan data:

  1. Blocking: Bagi sampel audio menjadi block (default: 4096 sampel)
  2. Prediksi linier: Cari model autoregresif yang memprediksi sampel berikutnya dari sampel sebelumnya
  3. Residual coding: Simpan selisih antara prediksi dan nilai asli (yang kecil karena prediksi bagus)
  4. Rice coding: Encode residual dengan Rice code (entropy coding optimal untuk distribusi geometris)

Rasio kompresi tipikal: 50-60% dari ukuran WAV asli.


5. Level 4 β€” Arsip & Kompresi Data

Pahlawan Utama: zlib/zstd, unrar/7-Zip, brotli

5.1 Spektrum Kompresi

Kecepatan β†’  zstd(1)  lz4  snappy  zlib(1)  zstd(19)  xz  rar  7z  zpaq
            ────────────────────────────────────────────────────────────→
            <─── Real-time ───── <─────────── Maximum compression ─────────

5.2 Algoritma Inti

AlgoritmaTahunTeknik DasarPackage
Deflate1993LZ77 + Huffman codingzlib, gzip, png, zip
LZMA2001LZ77 + Range coding + Markov chain7z, xz
Brotli2013LZ77 + Huffman + Context modelingHTTP (Chrome, Firefox)
Zstandard2015FSE (Finite State Entropy) + Dictionaryzstd (Facebook)
LZ42011LZ77 tanpa entropi β€” hanya match copyReal-time, database

5.3 Benchmark: silesia.tar (202 MB β€” corpus campuran)

AlgoritmaLevelSizeRatioCompressDecompress
zlib (gzip -9)973 MB2.77Γ—26.3 MB/s124.8 MB/s
zstd (β€”fast)179 MB2.56Γ—357.4 MB/s421.1 MB/s
zstd1955 MB3.67Γ—4.3 MB/s175.2 MB/s
xz945 MB4.49Γ—1.2 MB/s22.7 MB/s
bzip2958 MB3.48Γ—4.7 MB/s19.5 MB/s
brotli1152 MB3.88Γ—0.8 MB/s82.3 MB/s
Sumber: lzbench, Intel i7-12700, single-thread

5.4 Zstd β€” The New Standard

Zstandard (zstd) adalah algoritma kompresi modern dari Facebook (Y. Collet, 2015):

Keunggulan:

  • Adaptive: Level 1 (cepat seperti LZ4) sampai level 19 (kuat seperti xz)
  • Dictionary compression: Pre-trained dictionary untuk domain spesifik (JSON, log, source code) β€” kompresi 2-4Γ— lebih baik
  • Trainable dictionary: zstd --train belajar dari sampel data kamu
  • Kernel integration: Linux kernel 5.9+ sudah include zstd untuk initramfs, btrfs, swap

5.5 Zlib β€” Tulang Punggung Internet

zlib (1995) adalah pustaka C yang paling banyak di-deploy di sejarah manusia. Setiap:

  • Koneksi HTTPS (TLS compression β€” dulu)
  • Respons HTTP (Content-Encoding: gzip)
  • File PNG (IDAT chunk)
  • File ZIP
  • Git packfile
  • Distribusi paket (apt, yum, npm)

Menggunakan Deflate β€” kombinasi LZ77 (sliding window dictionary) + Huffman coding. Kode sumbernya ~20,000 baris C dan telah diaudit berulang kali.


6. Level 3 β€” Codec Gambar

Pahlawan Utama: libjpeg-turbo, libpng, libwebp, libavif

CodecTahunLossy/LosslessKasusUkuran Relatif (vs PNG)
JPEG1992LossyFoto, web~10-20%
PNG1996LosslessScreenshot, UI100% (baseline)
WebP2010KeduanyaWeb modern~25-30%
AVIF2019KeduanyaWeb next-gen~15-20%
JPEG XL2021KeduanyaUniversal future~10-15%

6.1 libjpeg-turbo β€” SIMD yang Menyelamatkan Web

libjpeg-turbo adalah implementasi SIMD dari JPEG codec β€” 2-4Γ— lebih cepat dari libjpeg asli karena menggunakan:

  • Intel: MMX, SSE2, SSE4, AVX2, AVX-512
  • ARM: NEON
  • PowerPC: AltiVec

Tanpa libjpeg-turbo, loading gambar di web terasa 2-3Γ— lebih lambat.

6.2 PNG β€” Deflate untuk Gambar

PNG menggunakan Deflate (sama dengan zlib) untuk kompresi lossless. Tapi ada langkah sebelum Deflate:

  1. Filtering: Setiap baris piksel di-transform dengan filter (None, Sub, Up, Average, Paeth) untuk mengurangi entropi
  2. Deflate: Hasil filtering di-kompres dengan Deflate

Ini contoh klasik digital plumbing: dua komponen independen (filter PNG + zlib) dirangkai untuk menyelesaikan masalah spesifik (gambar lossless).


7. Level 2 β€” Parsing, Validasi, Kriptografi

Pahlawan Utama: libxml2, openssl, protobuf, libcurl

7.1 libxml2 β€” Parser Terlama yang Masih Hidup

libxml2 (1999) mem-parsing XML, HTML, dan SVG. Digunakan oleh:

  • PHP (SimpleXML, DOMDocument)
  • Python (lxml, minidom)
  • Ruby (libxml-ruby)
  • Chromium (sebagian parsing SVG)
  • macOS / iOS (CoreGraphics parsing SVG)

Arsitektur: SAX (stream-based, low memory) + DOM (tree-based, random access). Keduanya diimplementasikan dengan finite state machine yang digerakkan oleh tabel transisi.

7.2 OpenSSL β€” Pipa Kriptografi

OpenSSL bukan sekadar HTTPS. Ia menyediakan:

  • Cipher: AES, ChaCha20, DES, RC4, Camellia
  • Hash: SHA-1, SHA-256/512, SHA-3, BLAKE2
  • Public key: RSA, DSA, ECDSA, Ed25519
  • TLS: TLS 1.2, TLS 1.3, DTLS
  • X.509: Certificate parsing, validation, chain building

Setiap aplikasi yang melakukan koneksi aman di internet β€” HTTPS, SSH, VPN, email β€” menggunakan OpenSSL atau fork-nya (LibreSSL, BoringSSL).

7.3 Protobuf β€” Serialisasi Struktur Data

Protobuf (Protocol Buffers) adalah skema serialisasi dari Google:

message SearchRequest {
  string query = 1;
  int32 page_number = 2;
  int32 results_per_page = 3;
}

β†’ Wire format (binary):
  0A 05 68 65 6C 6C 6F  β†’ field 1 (string): "hello"
  10 01                  β†’ field 2 (varint): 1
  18 0A                  β†’ field 3 (varint): 10

Keunggulan vs JSON/XML: ~3-10Γ— lebih kecil, ~10-100Γ— lebih cepat parsing. Ini yang digunakan di gRPC, MCP, dan komunikasi internal Google.


8. Level 1 β€” Aritmatika Biner & Hashing

Pahlawan Utama: xxHash, base64, simdutf, CRC32

8.1 Hashing Non-Kriptografis

Untuk hash table, deduplikasi, checksum β€” hashing cepat LEBIH penting dari hashing aman:

HashThroughput (GB/s)Collision RateDigunakan di
xxHash15-30 GB/sSangat rendahLinux kernel, git, ZFS, RocksDB
CityHash10-20 GB/sRendahGoogle internal
MurmurHash38-15 GB/sRendahCassandra, Hadoop, Elasticsearch
BLAKE35-10 GB/sSangat rendah (kriptografis!)Mesin, Sloth
SHA-2560.5-1 GB/sNol (kriptografis)TLS, Bitcoin, Git

8.2 Base64 — Konversi Binary→ASCII

Base64 mengubah binary (8-bit) menjadi ASCII (6-bit). Setiap 3 byte β†’ 4 base64 karakter. Overhead: ~33%.

import base64
base64.b64encode(b'\x00\x01\x02\x03\x04\x05')
# β†’ 'AAECAwQF'

Digunakan di: email (MIME), web (data URIs), JWT, PEM certificates, CSS image data URIs.

8.3 SIMD UTF-8 Validation (simdutf)

Validasi UTF-8 adalah overhead konstan di aplikasi web. Setiap input dari user harus divalidasi. simdutf menggunakan SIMD untuk memvalidasi 64+ byte sekaligus:

// Menggunakan AVX-512, validasi 64 byte UTF-8 dalam 3-5 siklus:
// 1. Load 64 bytes ke ZMM register
// 2. Check: kontinuitas, min/max range, overlong sequences
// 3. Hasil: bitmask β€” byte mana yang invalid

Throughput: ~5-10 GB/s (AVX-512) β€” 50Γ— lebih cepat dari validasi byte-by-byte.


9. Peta Koneksi ke Vault

Dokumen ini adalah benang merah yang menghubungkan fondasi paling rendah ke puncak tertinggi di vault.

Domain VaultKoneksi dengan Pipa Digital
math-and-algorithmsPondasi paling langsung. Algoritma Huffman, LZ77, DCT, dan Rantai Markov adalah β€œjiwa” dari zlib, x264, dan libopus
computer-science-foundationsImplementasi SIMD. Kecepatan libjpeg-turbo berasal dari instruksi SIMD di CPU
hierarchy-osint-rfTransformasi Sinyal. DCT dalam codec video adalah β€œsepupu” dari FFT untuk analisis sinyal RF
forensic-imaging-analysisSenjata Forensik. FFmpeg adalah alat wajib untuk memproses dan memulihkan file video rusak
http-protocol-deepdiveKompresi Web. brotli dan gzip adalah fondasi content encoding di HTTP
llm-security-red-teaming-attack-surface-ai-layerSerangan pada Parser. Kerentanan di libxml2, libpng adalah celah keamanan klasik
encoding-serialization-compression-deepdiveKeluarga dekat. Encoding, serialisasi, kompresi β€” tiga sisi dari kubus yang sama
embedding-model-selection-finetuningTokenisasi. Codec audio (Opus) punya prinsip yang sama dengan tokenizer LLM

Diagram Koneksi

hierarchy-digital-plumbing.md
    β”œβ”€β”€ ffmpeg-multimedia-framework-deepdive.md                [Level 6]
    β”œβ”€β”€ codec-architecture-x264-x265-deepdive.md               [Level 5]
    β”œβ”€β”€ compression-algorithms-zlib-zstd-deepdive.md           [Level 4]
    β”œβ”€β”€ plumbing-foundations-image-codec-parsing-crypto.md     [Level 3-2-1]
    β”‚
    β”œβ”€β”€ Koneksi ke math-and-algorithms (Huffman, DCT, LZ77)
    β”œβ”€β”€ Koneksi ke computer-science-foundations (SIMD, CPU arch)
    β”œβ”€β”€ Koneksi ke http-protocol-deepdive (gzip, brotli)
    β”œβ”€β”€ Koneksi ke forensic-imaging-analysis (FFmpeg)
    └── Koneksi ke encoding-serialization-compression-deepdive

10. References

  1. FFmpeg Documentation. https://ffmpeg.org/documentation.html
  2. zlib Manual. https://zlib.net/manual.html
  3. RFC 6716 β€” Definition of the Opus Audio Codec. https://datatracker.ietf.org/doc/html/rfc6716
  4. Y. Collet. β€œZstandard β€” Real-time data compression algorithm.” (2015). https://github.com/facebook/zstd
  5. P. Deutsch. β€œDEFLATE Compressed Data Format Specification.” RFC 1951 (1996).
  6. I. Mironov. β€œRencently (xxHash) β€” Extremely fast non-cryptographic hash algorithm.” https://github.com/Cyan4973/xxHash
  7. Google. β€œProtocol Buffers.” https://protobuf.dev/
  8. libjpeg-turbo. β€œSIMD-accelerated JPEG codec.” https://libjpeg-turbo.org/
  9. β€œThe x264/x265 Video Codec.” VideoLAN. https://www.videolan.org/developers/x264.html
  10. J. L. Gailly, M. Adler. β€œzlib 1.2.x Manual.” (1995-2025).
  11. W3C. β€œWebP Image Format.” (2010-2025). https://developers.google.com/speed/webp
  12. AOM. β€œAV1 β€” A New Video Coding Standard.” (2019-2025). https://aomedia.org/
  13. I. L. R. B. (Independent JPEG Group). β€œlibjpeg API Documentation.”
  14. RFC 1952 β€” GZIP file format specification version 4.3.
  15. W. Richard Stevens. β€œTCP/IP Illustrated, Vol. 1.” Chapter: Content Encoding.