「tensorflow」なんて環境名にしてしまったが、別にこれだけに使うわけでもないので不適切...。
Google グループによると安易なリネームは環境を破壊するようだが、createの--cloneオプションを使えば良いとのこと。
Managing environments — Conda documentationを参考に、
$ conda create -n py35 --clone tensorflow
して、
$ conda remove -n tensorflow --all
した。事実上のリネームができた。