Masa Depan Data: Modul Optik 400g

 

 

Perang Faktor Bentuk Tidak Ada yang Membicarakannya Secara Jujur

 

Kunjungi konferensi jaringan optik mana pun dan Anda akan mendengar perdebatan QSFP-DD versus OSFP yang dibingkai sebagai perbandingan teknis. Bukan itu. Ini adalah pertarungan politik yang dibalut dalam lembar spesifikasi.

QSFP-DD memenangkan pertarungan volume sebelum switch 400G pertama dikirimkan. Kompatibilitas mundur dengan kandang QSFP28 berarti setiap operator jaringan secara teoritis dapat melakukan peningkatan tanpa merusak infrastruktur yang ada. Hal ini "secara teoritis" merupakan pekerjaan yang berat-Saya telah menyaksikan para insinyur menghabiskan seluruh akhir pekan mencoba membuat firmware saklar lama mengenali modul kepadatan-ganda yang cocok secara fisik tetapi tidak berfungsi secara elektrik.

OSFP datang dari kubu Arista dengan nada yang lugas: modul yang lebih besar, termal yang lebih baik, dirancang untuk 400G dari awal alih-alih memaksakan delapan jalur ke dalam sangkar yang dibuat untuk empat orang. Heatsink terintegrasi mampu menangani daya 15-20 watt tanpa mengeluarkan banyak tenaga. QSFP-DD pada 12 watt? Sudah melampaui batas termal dalam penerapan kepadatan tinggi.

Industri tetap memilih QSFP-DD. Kompatibilitas menang. Selalu begitu.

Namun inilah yang tidak pernah disebutkan dalam artikel perbandingan faktor bentuk: perbedaan kapasitas termal bertambah secara dramatis dalam skala besar. Sakelar 32-port 400G yang diisi penuh dengan modul QSFP-DD menghabiskan sekitar 640 watt dari optik saja. Itu sebelum saklar ASIC, control plane, fan, power supply. Kita berbicara tentang total 1,5-2 kilowatt dalam sasis 1RU. Rekayasa aliran udara diperlukan untuk menjaga modul-modul tersebut di bawah batas suhu persimpangan sesuai dengan desain ruang angkasa.

 

PAM4 Membuat Segalanya Lebih Sulit

 

Semua orang merayakan PAM4 karena menggandakan efisiensi spektral. Tidak ada yang menyebutkan mimpi buruk rekayasa yang ditimbulkannya.

NRZ itu sederhana. Dua level tegangan. Sinyalnya mewakili satu atau nol. Diagram mata Anda memiliki satu bukaan. Jika bersih, Anda emas.

PAM4 mentransmisikan dua bit per simbol menggunakan empat tingkat amplitudo. Tiga bukaan mata bertumpuk. Setiap mata kira-kira berukuran-sepertiga tinggi mata NRZ yang setara. Margin kebisingan runtuh. Tiba-tiba setiap milimeter jejak PCB penting. Setiap via menciptakan refleksi. Setiap diskontinuitas impedansi antara host ASIC dan sangkar modul optik menjadi masalah keandalan.

Saya menghabiskan enam bulan untuk men-debug penerapan 400G di mana kesalahan CRC acak muncul pada port tertentu. Akar penyebabnya? Konektor yang sedikit-di luar-spesifikasi pada papan host menyebabkan return loss yang cukup untuk merusak mata PAM4 terendah. Baik-baik saja untuk lalu lintas 100G. Bencana untuk 400G.

Tanggapan industri adalah wajibnya FEC. Anda tidak dapat menjalankan optik 400G PAM4 tanpa koreksi kesalahan maju-BER mentah melebihi ambang batas yang dapat digunakan. RS(544.514) menambahkan latensi sekitar 300 nanodetik. Tidak besar. Namun sampaikan hal tersebut pada klaster HPC yang menjalankan tugas MPI di mana setiap mikrodetik latensi ekor memengaruhi waktu penyelesaian tugas.

 

 

Silicon Photonics Seharusnya Menyelamatkan Kita

 

Nada untuk fotonik silikon terdengar sempurna di atas kertas. Manfaatkan investasi hebat CMOS selama puluhan tahun. Integrasikan modulator, fotodetektor, dan pandu gelombang ke dalam satu chip. Mencapai skala ekonomi yang tidak dapat dicapai oleh komponen InP dan GaAs yang terpisah. Konsumsi daya turun 20-30%. Biaya pada akhirnya mencapai keseimbangan dan kemudian melemahkan pendekatan tradisional.

Intel mengirimkan lebih dari tiga juta transceiver fotonik silikon 100G. Alibaba menerapkan modul fotonik silikon 400G DR4 di seluruh jaringan cloud mereka mulai tahun 2020. Teknologi ini berhasil.

Namun fotonik silikon mempunyai rahasia kotor: sumber cahayanya tetap tidak bisa dari silikon.

Anda memerlukan laser eksternal-biasanya cetakan indium fosfida-yang diikat ke PIC silikon atau digabungkan melalui serat. Integrasi hibrida tersebut menambah kompleksitas manufaktur. Hasil panen menderita. Keuntungan biaya yang dijanjikan semua orang terus tersingkir dari generasi berikutnya.

Perusahaan-perusahaan yang menggandakan fotonik silikon untuk 400G mencakup beberapa orang yang sangat pintar yang membuat taruhan yang sangat mahal. Akuisisi Cisco atas Luxtera dan Acacia berjumlah $3,26 miliar. Itu bukan uang anggaran penelitian dan pengembangan. Itu adalah investasi infrastruktur strategis.

Data pangsa pasar menceritakan kisah yang lebih rumit. Menurut LightCounting, modul fotonik silikon masih mewakili kurang dari 10% dari total pengiriman 400G meskipun telah dihebohkan selama bertahun-tahun. Transceiver berbasis EML-tradisional mendominasi aplikasi DR4 dan FR4. Transisi teknologi terjadi lebih lambat dari yang diperkirakan dalam siaran pers.

 

Apa yang Disembunyikan Lembar Spesifikasi Tentang Jangkauan

 

Konvensi penamaan IEEE untuk optik 400G tampaknya berguna sampai Anda mencoba membeli modul.

400G-SR8: 100 meter melalui serat multimode. Delapan jalur paralel pada 850nm. Baik untuk koneksi dalam-rak. Mengerikan untuk hal lain.

400G-DR4: 500 meter melalui serat-mode tunggal. Empat jalur paralel pada 1310nm. Pekerja keras untuk sebagian besar interkoneksi pusat data.

400G-FR4: 2 kilometer, mode-tunggal, panjang gelombang CWDM digandakan ke dalam satu pasangan serat. Menggunakan laser modulasi eksternal yang mahal.

400G-LR4: 10 kilometer. Skema panjang gelombang yang sama seperti FR4 tetapi dengan amplifikasi optik untuk memperluas jangkauan.

Cukup sederhana. Kecuali produsen bermain cepat dan longgar dengan sebutan ini terus-menerus.

Saya telah melihat modul "kompatibel dengan DR4" yang mencapai jarak 500 meter dalam kondisi laboratorium dan gagal pada jarak 300 meter dengan pabrik serat sebenarnya yang kehilangan konektornya sedikit meningkat. Spesifikasinya mengatakan 500 meter dengan link budget 7dB. Perhitungannya berjalan dengan sempurna dengan asumsi koneksi murni di mana-mana. Kenyataannya mencakup konektor yang kotor, sambungan yang tidak sempurna, dan jalur serat yang membutuhkan jalur sedikit lebih panjang melalui langit-langit daripada yang ditunjukkan dalam gambar manajemen kabel.

Jangkauan FR4 sepanjang 2 km terdengar cukup sampai Anda menghubungkan gedung-gedung di kampus dan menemukan jalur fiber Anda berukuran 2,3 kilometer. Sekarang Anda memerlukan modul LR4 dengan biaya tiga kali lipat, atau Anda berkreasi dengan amplifikasi, atau Anda menerima bahwa tautan ini tidak akan berfungsi.

 

Keputusan DR4 Versus FR4

 

Hal ini sebenarnya penting untuk penerapan nyata dan tidak ada yang menjelaskannya dengan baik.

DR4 menggunakan empat serat paralel untuk mengirim dan empat untuk menerima. Total delapan serat. Konektor MPO-12 dengan empat posisi yang tidak terpakai. Maksimal mencapai 500 meter. Konsumsi daya biasanya 8-10 watt. Biaya modul sekitar 60% dari FR4 yang setara.

FR4 menggunakan multiplexing pembagian panjang gelombang untuk menempatkan keempat jalur pada satu pasangan serat. Konektor LC dupleks. Maksimum mencapai 2 kilometer. Konsumsi daya biasanya 10-12 watt. Harga premium karena laser EML tidak murah.

Topologi fiber menentukan segalanya.

Pusat data Greenfield dengan kabel terstruktur yang Anda tentukan? Serat paralel masuk akal. Jalankan kabel trunk MPO antar baris. Gunakan DR4 di mana saja. Biaya optik yang lebih rendah mengimbangi serat ekstra.

Lingkungan Brownfield dengan pabrik serat dupleks yang ada? FR4 atau Anda menarik kabel baru.

Lingkungan campuran dengan beberapa proses paralel dan beberapa pabrik warisan dupleks? Selamat datang di mimpi buruk kompatibilitas. Anda akan mendapatkan kedua jenis modul, gaya konektor yang berbeda, dan setidaknya satu kabinet tempat seseorang menggunakan kabel patch yang salah dan menghabiskan empat jam memecahkan masalah peringatan "tautan ke bawah".

 

Pertanyaan Terobosan

 

Modul 400G-DR4 berisi empat jalur 100G. Setiap jalur beroperasi secara independen pada lapisan optik. Hal ini memungkinkan breakout-menghubungkan satu port switch 400G ke empat perangkat 100G terpisah menggunakan rakitan serat breakout.

Perekonomian terdengar menarik. Satu port 400G. Empat server 100G. Tidak perlu port switch tambahan.

Kenyataannya lebih rumit.

Switch ASIC tidak selalu mendukung konfigurasi breakout sewenang-wenang. Beberapa platform memerlukan firmware khusus. Lainnya hanya mengizinkan breakout pada grup port tertentu. Beberapa menerapkan terobosan pada perangkat keras tetapi tumpukan perangkat lunak tidak menampilkan opsi konfigurasi.

Lebih buruk lagi: kabel yang putus menimbulkan mimpi buruk bagi dukungan. Apakah masalahnya adalah modul 400G, unit breakout, atau salah satu dari empat port perangkat 100G? Pemecahan masalah memerlukan pertukaran kabel, pengujian setiap kaki secara independen, dan berdoa agar masalah tersebut dapat direproduksi.

Saya telah melihat organisasi melakukan standarisasi pada 100G asli di mana pun khususnya untuk menghindari kompleksitas terobosan. Optiknya lebih mahal. Kepadatan port switch menurun. Namun kesederhanaan operasionallah yang menang.

 

 

Realitas Konsumsi Daya

 

Setiap lembar data modul 400G mencantumkan konsumsi daya. Angka-angka tersebut secara teknis akurat dan praktis tidak berguna.

QSFP-DD DR4 mungkin memiliki spesifikasi rata-rata 8,5 watt. Itu adalah gambar modul dari rel 3.3V sakelar dalam kondisi pengoperasian normal. Ini tidak termasuk daya tambahan yang dikonsumsi ASIC saat menggerakkan delapan jalur PAM4 50G tersebut. Hal ini tidak memperhitungkan overhead manajemen termal-kipas yang lebih bertenaga, aliran udara tambahan, dan mungkin pendinginan tambahan.

Dengan 32 port per switch, perbedaan antara modul 8 watt dan 12 watt bertambah menjadi 128 watt. Hal ini bukanlah hal yang sepele ketika Anda merencanakan distribusi daya untuk seluruh baris rak.

Peralihan dari 100G ke 400G tidak meningkatkan konsumsi daya per port sebanyak empat kali lipat-peningkatan efisiensi dari integrasi dan peningkatan DSP membantu. Namun daya agregat per saklar benar-benar meningkat. Pusat data yang merencanakan infrastruktur listrik dan pendingin dengan kepadatan sekitar 100G menghadapi kendala kapasitas ketika meningkatkan ke 400G pada populasi penuh.

 

Kompatibilitas Bukan Biner

 

Vendor senang mengklaim "kompatibel dengan semua platform switch utama". Pernyataan ini secara teknis dapat dipertahankan dan secara praktis menyesatkan.

Kompatibilitas modul optik tidak hanya bergantung pada kesesuaian fisik dan sinyal listrik. Protokol DOM (Digital Optical Monitoring) berbeda-beda antar vendor. Implementasi CMIS (Spesifikasi Antarmuka Manajemen Umum) memiliki fleksibilitas yang cukup sehingga dua implementasi yang "sesuai" mungkin tidak dapat beroperasi dengan baik. Beberapa switch memeriksa kode ID vendor dan menolak menyalakan seluruh modul yang tidak dikenal.

Pasar abu-abu untuk optik 400G yang "kompatibel" meledak justru karena modul-bermerek berharga 3-5x lebih mahal dibandingkan alternatif pihak ketiga. Beberapa dari alternatif tersebut bekerja dengan sempurna. Lainnya menyebabkan masalah halus yang hanya muncul dalam pola lalu lintas tertentu atau setelah berjalan selama berminggu-minggu.

Saya pribadi telah menguji modul{0}}400G DR4 pihak ketiga yang lulus setiap pengukuran kesesuaian di lab dan kemudian menghasilkan kesalahan FEC yang tidak dapat diperbaiki pada 2% lalu lintas di bawah beban produksi. Suhu di dalam modul dalam operasi-bandwidth tinggi yang berkelanjutan melebihi kemampuan komponen optik. Modulnya berfungsi. Sampai ternyata tidak.

 

Apa Arti 800G bagi 400G

 

Transisi 800G sudah berlangsung. Hyperscaler menerapkan 800G hari ini. Industri lainnya akan menyusul dalam waktu 18-24 bulan.

Hal ini tidak membuat 400G menjadi usang-modul akan dikirimkan selama bertahun-tahun-tetapi hal ini mengubah nilai ekonomi.

800G menggunakan delapan jalur 100G, bukan delapan jalur 50G di 400G. Modulasi PAM4 yang sama, kecepatan simbol per jalur lebih tinggi. Fisika menjadi lebih sulit. Selubung termal mendorong hingga 20-25 watt per modul. Keunggulan ruang kepala termal OSFP menjadi lebih relevan pada tingkat daya ini.

Lebih penting lagi, modul 800G dapat dibagi menjadi konfigurasi ganda 400G. Satu modul 800G-2xDR4 menyediakan dua tautan 400G independen. Untuk lingkungan dengan persyaratan campuran 400G dan 800G, kemampuan terobosan ini menyederhanakan manajemen inventaris.

Operator pusat data yang saya ajak bicara sebagian besar menggunakan 400G untuk konektivitas{1}}sebagian besar sembari mengevaluasi 800G untuk interkoneksi cluster GPU yang kepadatan bandwidthnya paling penting. Beban kerja pelatihan AI dengan-ke-semua pola komunikasi benar-benar menekankan tautan 400G dengan cara yang tidak pernah dilakukan oleh lalu lintas utara-selatan tradisional.

 

Cakrawala Optik yang Dipaketkan Bersama

 

Semua orang di industri tahu bahwa CPO akan datang. Transceiver optik terintegrasi langsung dengan ASIC sakelar. Tidak ada modul yang dapat dicolokkan sama sekali. Konsumsi daya turun dari 15 pikojoule per bit menjadi mungkin 5, berpotensi di bawah 1 pikojoule seiring dengan semakin matangnya teknologi.

NVIDIA telah mengumumkan rencana CPO untuk perangkat keras 2025/2026. Meta dan Microsoft telah mendemonstrasikan prototipe. OIF adalah standarisasi antarmuka.

Pertanyaannya bukan apakah CPO akan terjadi. Masalahnya adalah apakah hal tersebut terjadi cukup cepat sehingga berpengaruh pada siklus perencanaan Anda saat ini.

Bacaan saya: optik yang dapat dicolokkan mendominasi setidaknya hingga tahun 2028 untuk sebagian besar penerapan. CPO mungkin muncul di custom build hyperscaler sebelumnya. Fleksibilitas operasional dari-modul yang dapat ditukar-kemampuan untuk mengganti optik yang rusak tanpa mematikan sakelar-sangat penting untuk lingkungan tanpa N+1 redundansi di mana pun.

Rencanakan 400G dan 800G yang dapat dicolokkan hari ini. Anggaran untuk evaluasi CPO dalam tiga tahun. Jangan biarkan slide peta jalan vendor mempercepat jadwal yang tidak dapat didukung oleh realitas manufaktur.

 

Panduan Praktis yang Sebenarnya Membantu

 

Untuk versi baru: standarisasi pada DR4 dengan infrastruktur serat paralel. Penghematan biaya dibandingkan gabungan FR4 di ribuan modul. Rencanakan daya dan pendinginan untuk 10 watt per modul meskipun lembar spesifikasi menjanjikan 8.

Untuk peningkatan: audit pabrik fiber Anda yang ada secara obsesif. Ketahui kerugian terukur sebenarnya pada setiap segmen. Temukan pelanggaran batas DR4 400 meter sebelum optik Anda tiba.

Untuk klaster AI: 800G sudah menjadi jawaban yang tepat. Tuntutan bandwidth membenarkan premi. Jangan setengah-setengah-melangkah ke 400G jika beban kerja Anda akan melampauinya dalam 18 bulan.

Untuk semua orang: uji-optik pihak ketiga secara ekstensif sebelum penerapan volume. Penghematan biaya itu nyata. Begitu pula dengan kegagalannya. Validasi dengan platform switch spesifik Anda di bawah beban realistis sebelum melakukan inventarisasi dolar.

Teknologinya berhasil. Dua puluh juta modul 400G dan 800G dikirimkan pada tahun 2024 karena suatu alasan. Namun transisi dari 100G memerlukan perhatian terhadap detail yang sering diabaikan dalam lembar spesifikasi dan materi pemasaran. Fisika tidak peduli dengan garis waktu penerapan Anda.