Semakin beragamnya layanan informasi, tuntutan kehandalan jaringan yang memadai, dan persaingan antar pemberi layanan telekomunikasi yang semakin ketat berakibat pada meningkatnya tuntutan sistem transmisi yang memiliki kapasitas bandwidth besar dan kualitas yang tinggi. Untuk sebagian besar kasus, multiplexing pembagian panjang gelombang (WDM) tampaknya menjadi solusi yang menjanjikan. Pilihan penguat optik, seperti Hybrid Amplifier yang tepat dapat meningkatkan sistem komunikasi serat optik Dense Wavelength Division Multiplexing (DWDM). Penelitian ini bertujuan untuk mengetahui performa sistem komunikasi serat optik DWDM terhadap pengaruh nonlinearitas Four Wave Mixing (FWM) menggunakan Hybrid Optical Amplifier dan tanpa Hybrid Optical Amplifier. Efek non-linear seperti FWM menyebabkan interferensi antara gelombang optik, yang mengakibatkan noise tambahan dan gangguan pada sinyal yang dapat mempengaruhi kualitas transmisi. Penelitian ini menggunakan metode simulasi menggunakan software optysistem. Hasil simulasi menunjukkan bahwa jarak yang mengahasilkan Q-Factor yang paling baik yaitu 13,35 pada jarak 30 km dan nilai BER yang paling baik yaitu pada jarak 30 km menggunakan Hybrid Optical Amplifier sesuai dengan standarisasi ITU-T, sementara hasil yang paling buruk yaitu pada jarak 180 km hingga 200 km.