O nome é máscara de corte,como a própria denominação entrega serve para cortar a máscara que está com a setinha,como o Tysav falou acima, se você pegar uma imagem clicar com o botão direito e selecionar "máscara de corte"você vai cortar essa camada,ou seja ,todo conteúdo que está abaixo dela é sobreposto.
Como assim?
Se tiver uma camada de texto embaixo a camada da imagem que tem a máscara de corte tomará a forma do texto(foi meio inútil isso,já tem uma imagem ali representando,enfim),mas essa não é a única função ,pode ser usada também para fazer sombras quando você não quer que ela "escape"para fora da render.
Mais alguma dúvida?