Порт указан правильно?
Попробуй запустить minicom и убедиться, что хоть терминалка нормально работает...
Раз вываливается в самом начале, значит не туда пишешь (не тот порт).
На каком порту эта радость у тебя висит? Модем, кстати, настоящий, комовский (не winmodem, не USB)?
P.S. Что такое /dev/cua0? /dev/ttyS0, наверное?
Эх, давно я уже не имел дела с модемами...