Ёлка своими руками дети

Ёлка своими руками дети
Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Это очень трудно с точки зрения подготовки и измерения.

Даже если не брать А/В-тестирование, а разобрать «простой» пример, когда вы просто хотите добавить еще один рекламный баннер себе на сайт и измерить изменения в показателях.

Вы его добавили, и он стал приносить деньги. Что стало с другими баннерами и их конверсией? Вы стали больше получать денег? Через месяц вы можете выяснить, что другие баннеры просели и вы глобально уронили свой доход. А может это было связано с тем, что у вас изменились поставщики трафика и он стал другого качества? Нужно хорошо разобраться в возможных внешних причинах.

Тем более, что это означает что у вас должна быть очень круто настроена аналитика. Мы в своем проекте помимо Google Analytics и Яндекс. Метрики еще использовали серверную самописную аналитику и выгружали сырые данные в Excel для ручного подсчета. Как мне известно, крупные e-commerce проекты живут примерно так же (когда-то читал про аналитику lamoda). Они измеряют все в нескольких системах, так как они считают по-разному и дают разную погрешность. У одного и того же сайта данные посещений по ЯМ и GA могут сильно отличаться. По-настоящему сложные задачи эти системы решать не умеют.

А может так получиться, что с новым баннером вы за месяц заработаете чуть больше. Но в баннере ли дело? Может это сезонность сыграла или PR-компания в соц. сети? Пока вы тестируете, компания живет и развивается, очень трудно найти «чистый» месяц, который был бы без влияния маркетинга, портящего эксперимент.

А еще может получиться так, что кликать на баннер стали больше и ваш доход вырос, но ядро аудитории стало больше «раздражаться» и ее возвращаемость (или ретеншен) стал падать. То есть, через несколько месяцев вы потеряете аудиторию и, опять же, на круг заработаете меньше.

К чему я веду? К тому, что чисто статистически, учесть все причины и правильно измерить результат изменения очень трудно. Методологически (и математически) правильно считать естественную погрешность показателей, и если изменение дает рост больше погрешности — то это повод все перепроверить и убедиться, что у вас через квартал не упадут показатели.

Естественное колебание показателей может достигать 10%-20%, так что если вы поставили баннер и получили рост или падение прибыли на 5% — это ничего не значит.

А/В-тестирование — это очень затратно с точки зрения времени и денег.

А давайте одновременно показывать разные варианты разным людям, тогда мы не будем зависеть от изменчивости трафика, исключим сезонность и маркетинг?

Отличная идея. Казалось бы.

Если у проекта есть какая-то история и high-load, то есть настроено кэширование, разные сервера для контента и еще много всяких радостей, то вряд ли этот проект изначально затачивался на разветление продакшена. То есть архитектурно, проект не готов к тесту. Это значит что если вы придете к backend-программисту и скажете: «Коля, а давай мы 8% аудитории будем показывать вот эту верстку, причем они еще могут регистрироваться, нам нужно дать им отдельные куки, редиректы и все такое» — он озадачится.

Ваш первый А/В-тест будет полон технических сюрпризов и веселых моментов, особенно, если что-то отвалится, и вы перемешаете аудиторию. Конечно, в идеальных проектах такого нет, но в реальности встречается постоянно.

Когда вы с этим справитесь и даже потестируете что-нибудь, вы поймете что небольшие изменения дают небольшой результат. То есть если я на кнопке сделаю скругление краев и поменяю цвет с синего на зеленый — большинство пользователей или не заметят этого или вообще не обратят внимание, так как пришли в первый раз. Если вы хотите нормальный результат — делайте «крупные» изменения. Если у вас было 12 полей ввода для регистрации, а осталось 4 — то это существенное изменение. Только вот, если можете обойтись 4мя полями — это очевидно лучше и даст большую, для этого не нужен А/В-тест или дорогой UX-специалист.

Когда мне клиенты говорят что хотят А/В-тесты и это супер модно и круто, я им говорю что мы можем, только стоимость дизайна и верстки вырастет для них в полтора раза. А что? Вы же хотите 2 макета вместо одного. Выхлоп очень сомнительный по сравнению с затратами.

Другими словами, если вы просто сделали нормальный дизайн, продумали сценарий использования, посидели над текстами, нарисовали приятную графику — вы уже достигли «90% эффективности». Достичь оставшиеся 10% за счет интерфейсных улучшений очень и очень непросто.

Другие действия дают больше пользы.

Окончательным гвоздем в крышку А/В-тестирования является тот интересный факт, что вам проще поменять рекламодателя, провести конкурс в соц. сети, купить трафик в другом месте, оптимизировать кампанию в директе, запилить новую фичу в продукте или поправить баги — в общем заняться чем-то полезным, не трогая сайт. По себестоимости времени и денег вы окупите свои действия с большей эффективностью, чем занимаясь А/В тестами.

Почему тогда А/В-тесты так популярны?

Я думаю, потому, что крупные компании (Яндекс, Mail.Ru или Касперский) их используют и постоянно их пиарят. Для них они необходимы, так как эти компании уже попробовали все для своих продуктов и они «выжимают» камень в поисках крупиц пользы. У них есть на это ресурсы, деньги и желание.

Вот Яндекс. Музыка использует eye-tracking — целый набор инструментов, которые изучают куда смотрит глаз человека во время использования мобильного приложения. Да, штука полезная, когда у тебя есть бюджет. Не рекомендовать же это всем?

Отсюда вывод про кнопки и интерфейсы — делайте просто аккуратно, удобно и со вкусом. Этого будет достаточно. Если ваш продукт так себе, ни один интерфейс не исправит ситуацию.

Основа продажи — хороший продукт и здоровая коммуникация.



Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети

Ёлка своими руками дети