Могу посоветовать убрать графический интерфейс пользователя. Сразу куча места освободится. Правда, тогда компьютером придётся управлять через командную строку. Если умеете, дерзайте!
p.s. и Apt тоже придётся управлять через командную строку, то есть без Synaptic’а.
И кажется без dpkg не льзя будет устанавливать пакеты. Для Live CD это конечно не критично, но тогда если вы пожелаете установить с него систему на сам компьютер, то скорее всего это будет невозможно.
И вот ёщё. Почему вам не подходят готовые образы Live CD с сайта Debian’а? Слишком большие? Тогда вам возможно лучше попробовать другие дистрибутивы. Например Knoppix, он специально сделан для Live CD.