Стоит ли дальше углубляться в JS или лучше глубже изучать фреймворки?

Вы не сможете "глубже" изучать JS-фреймворки, если у вас нет серьёзной подготовки в самом языке. Авторы самых мейнстримных JS-фреймворков подразумевают, что вы знаете всю базу языка и добавляют сверху своих сложностей. У вас просто нет выбора в этом вопросе.

Если вы не понимаете, как можно в свойство объекта присвоить анонимную функцию, вы вообще не сможете понять примеры из документации Vue.js

Если для вас фраза dependency injection это бессвязный набор слов, вы вообще не сможете пользоваться Angularjs на серьёзном уровне. К тому же в ангуляре половина книги GoF'ов использована, наверное. Это не яваскрипт per se, а уже просто уровень квалификации разработчика ПО.

Если вы не способны бегло ориентироваться в цепных вызовах и функциях высших порядков, вам незачем даже открывать документацию по RxJS, это всё равно что китайский. Или cycle.js, на ту же тему.

React.js изуродует вам мозг, если вы не знаете механику работы this в яваскрипте.

Кроме специфичных для каждого фреймворка фич, все они без исключения подразумевают, что вы способны сами настроить весь тулчейн и уверенно ориентируетесь в консоли, знаете, что такое npm, package.json, транспиляция и зачем она нужна, чем отличаются папки src от build и какую из них нужно отправлять в удалённый репозитарий git, и многие другие ответы на вопросы, связанные с экосистемой разработки на Javascript, а не с самим языком как таковым.