Quanto mais você ouvir, melhor ouvirá. Mas de nada adianta sair correndo e tirar as legendas completamente se você começou a estudar inglês ontem. Ouvir inglês com legendas em português no começo é uma excelente ferramenta: dá mais segurança, já que você está compreendendo o contexto; e permite focar em palavras isoladas. 

Com o tempo, troque as legendas de português para inglês, e futuramente, assista sem legendas. É possível, mas é preciso tempo, paciência, e acima de tudo, prática.

Você provavelmente não vai entender tudo logo de cara; e nem é preciso. O contexto é mais importante do que as palavras que você não conhece. 

Ouvir videos curtos é uma boa maneira de não deixar o exercício cansativo nem difícil demais; dessa maneira, as chances de desistir diminuem.

Algumas ferramentas ótimas para listening: