Det började fungera när jag kommenterade ut default raden som innehåller contrib non-free. Min source.list ser ut så här efter ändringen
#deb
http://mirrordirector.raspbian.org/raspbian/ wheezy main contrib non-free rpi
deb
http://mirrordirector.raspbian.org/raspbian/ wheezy main rpi
Ingen aning varför det skulle lösa problemet. Känns ju som att jag är mera restriktiv när jag både plockar bort contrib och non-free. Det här var en raspberry pi som jag hade gjort i somras. Gjorde sedan en update och upgrade före installationen.