Quando você quebra uma referência, ela apenas pára de fazer o apontamento entre o nome da variável e o conteúdo. Mas isto não significa que o conteúdo da variável será destruído. Por exemplo:
<?php
$a = 1;
$b =& $a;
unset ($a);
?>
Novamente, é mais fácil pensar em analogia ao comando UNIX unlink.