Amigo, eu vou fazer minha primeira instalação, porem pelo tanto que já li ambos possuem vantagens e desvantagens.
Com o cabo de rede você pode levar a câmera a uma distancia maior e com mais qualidade, é possível com um só cabo ligar 4(caso não use nenhum par para alimentação) câmeras o que vai diminuir a quantidade de cabos na obra, porem será necessário o uso de baluns.
O cabo coaxial tem um custo maior na metragem, porem não precisa dos baluns, caso use em uma distancia longa, vai ter perda e provavelmente vai precisar de um amplificador de sinal.
A grosso modo acho que é isso, porem eu nunca fiz uma instalação.