Silverlight:
Quando for desenvolver aplicativos principalmente de negócios, com interface mais simples, sem gráficos pesados, vetores 2D ou 3D.
XNA:
Esse framework é utilizado para o desenvolvimento de jogos.
Procure usar quando for criar um aplicativo gráfico pesado, jogos e animações.
Silverlight + XNA:
Os dois podem ser usados no mesmo projeto, como por exemplo, no desenvolvimento de um jogo.
Onde a tela de abertura, as configurações e estatísticas do jogo podem ser desenvolvidas usando o Silverlight e o jogo em si, usando o XNA.
Conclusão:
Ambas podem ser usadas, inclusive na mesma aplicação. Apenas devemos levar em contas suas devidas utilizações basicamente descritas acima.
Link do App Hub para mais detalhes:
http://create.msdn.com/en-US/education/catalog/article/which_product_for_windows_phone