Всё зависит от того, на сколько сложно вы хотите изъясняться, то есть чем больше вы захотите (или же вам понадобится) вклинивать в речь различные специфические слова и выражения, тем больше шанс оказаться непонятым в первую очередь из-за отсутствующих и тем более неправильных тонов.
Что касается "контекста", то по своему опыту могу сказать, что он не всегда всем ясен (особенно учитывая то, как иногда разно мыслят русскоговорящие и китайцы). Более того, специфичные термины и выражения требуют соотвествуюшего контекста, а я сомневаюсь, что человек, который не уверен хотя бы в тонах, способен воспроизвести такой " контекст", который бы помог китайцам его прекрасно понять и осмыслить. А у таких, кто так умеет, не возникает подобных вопросов касательно тонов
Прошу заметить, под "специфичным" в китайском языке не всегда подразумеваются профессионализмы, сленг или прочие термины, но в том числе даже бытовуха и домашние вопросы.
Как итог, важно решить, как вы хотите пользоваться языком: для общения с вашей женой и знакомства с семьёй можете не забивать голову такими тонкостями языка, если же вам захочется вести разговоры на обычные темы, высказывать своё мнение и быть услышанным, то придётся принять тоны как данное