Интерактивная технология дерево решений

Обновлено: 15.09.2024

ИНТЕРАКТИВНОЕ ОБУЧЕНИЕ / ДЕРЕВО РЕШЕНИЙ / АУДИТ / ПРИНЯТИЕ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ / УСЛОВИЯ НЕОПРЕДЕЛЕННОСТИ / INTERACTIVE TRAINING / A TREE OF DECISIONS / AUDIT / ACCEPTANCE OF ADMINISTRATIVE DECISIONS / CONDITIONS OF UNCERTAINTY

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Ильичева О. В.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Ильичева О. В.

Риск необнаружения при проведении аудита налоговой отчетности как показатель повышения эффективности бизнес-процессов

Annotation. Purpose of registration policy consists in neatly to explain to users of the accounting and tax reporting, on the basis of which rules the reporting of the organizations of agrarian and industrial complex is generated. In fact the registration policy represents text explanatories to the reporting, serving to specifications of ways of the account applied by the organization.

The keywords: the registration policy, bookkeeping, primary registration documents, formation, normative documents, methods, the plan of accounts, the agricultural organizations.

Ключевые слова: интерактивное обучение, дерево решений, аудит, принятие управленческих решений, условия неопределенности.

(действовать). Процесс обучения осуществляется в условиях постоянного, активного взаимодействия всех учащихся. Студент и преподаватель являются равноправными субъектами обучения [2, с. 281.

Дерево решений - представляет собой графическое изображение процесса принятия решений, в котором отражены альтернативные решения, альтернативные состояния среды, соответствующие вероятности и выигрыши для любых комбинаций альтернатив и состояний среды [1, с. 96].

Рисуют деревья слева направо:

Рис. 1. Схема построения дерева решений

- условие задачи или ситуации; | | - места, где принимаются решения; СЗ - места появления исходов;

Метод дерева решений может применяться при индивидуальном и при групповом принятии решений (когда студенческая группа делиться на 2 •- 3 подгруппы). Он используется для решения сложных проблем, характеризующихся большой неопределенностью и требующих точной последовательности решений. Каждое решение может иметь несколько возможных исходов, причем каждый, исход имеет свою вероятность наступления. Каждое последующее множество возможных решений зависит от конкретного исхода предыдущего решения. Дерево решений представляет собой схематичное изображение процесса принятия последовательных решений и состоит из ветвей -

вариантов решений и узлов - соответствующих им исходов. Для каждого исхода рассчитывается вероятность его наступления и величина выигрыша (дохода), которая может быть получена с учетом этой вероятности. Расходы связанные с каждым решением, проставляются на соответствующей ветви. Эти расходы вычитаются из ожидаемого дохода для определения величины чистого дохода. Расчеты основаны на данных, характеризующих проблемную ситуацию (решаемую задачу) и условия, в которых она воз никла.

Расчет ведется по каждому вектору решений от начального узла принятия решений к конечному узлу соответствующего исхода с отбором ветви, приводящей к максимальному выигрышу и возвратом к предыдущему узлу принятия решений, которому присваивается это значение выигрыша. Альтернативные ветви (с меньшими значениями выигрыша) перечеркиваются.

После последовательного расчета всех векторов решений выбирается оптимальный вектор решений, ведущий к максимальной величине чистого выигрыша при условии, что события пойдут так, как предполагается.

Студентам на практическом занятии дается задание, которое необходимо решить с помощью дерева решений. Для каждой альтернативы студенты рассчитывают ожидаемую стоимостную оценку (ЕМУ) - максимальную из сумм оценок выигрышей, умноженных на вероятность реализации выигрышей, для всех возможных вариантов.

Нарушает, если компаньоны не работают совместно в одной группе; сведения используются аудитором в личных целях

Не нарушает, если они работают совместно в одной группе и проводят проверку у одного клиента

В результате анализа данных студенты вычисляют вероятности возможных исходов, учитывающих рекомендацию аудиторской фирмы (выдавать или не выдавать кредит) и возврат или невозврат клиентом ссуды.

Ветви схемы имеют следующее содержание: 1-А -проведение аудиторской проверки; 1-4 - отсутствие аудиторской проверки; А-2 - выдача ссуды рекомендована; А-3

- выдача ссуды не рекомендована; 2-Б, 3-Г, 4-Е - ссуда выдается; 2-В, 3-Д, 4-Ж - ссуда не выдается; Б-3, Г-Л, Е-0 -деньги возвращены при 15 % годовых; Б-И, Г-М, Е-П -деньги не возвращены; В-К, Д-Н, Ж-Р - деньги вложены при 9 % годовых. В правом крайнем столбце указаны суммы, которые могут быть получены в конце года.

На схеме стрелками показана последовательность решений, ведущая к максимальному чистому доходу: В квадрате 1 воспользуемся аудиторской проверкой. Если выдача кредита рекомендуется фирмой, тогда в квадрате 2

- выдать ссуду, если не рекомендуется, то в квадрате 3 - не выдавать ссуду, а инвестировать эти деньги под стабильные 9 % годовых.

Таким образом, множество основных методических инноваций связано в настоящее время с применением интерактивных методов обучения. Необходимо признать, что интерактивное обучение - это специальная форма организации познавательной деятельности. Она имеет в виду вполне конкретные и прогнозируемые цели. Одна из таких целей состоит в создании комфортных условий обучения, таких, при которых студент чувствует свою успешность, свою интеллектуальную состоятельность, что делает продуктивным сам процесс обучения.

Учебный процесс организуется таким образом, чтобы практически все учащиеся оказались вовлеченными в процесс познания, они имеют возможность понимать и рефлектировать по поводу того, что они знают и думают. Причем, происходит это в атмосфере доброжелательности и взаимной поддержки, что позволяет не только получать новое знание, но и развивает саму познавательную дея-

тельность, переводит её на более высокие формы кооперации и сотрудничества.

2. Суворова, Н. Интерактивное обучение: Новые подходы. - М.: Феникс, 2005. -- 458 с.

The keywords: interactive training, a tree of decisions, audit, acceptance of administrative decisions, conditions of uncertainty.

Свидетельство и скидка на обучение каждому участнику

Современные интерактивные методы воспитательного процесса:

Интерактивные технологии — это специальная форма организации познавательной и коммуникативной деятельности, в которой все участники охвачены общением (каждый свободно взаимодействует с каждым, участвует в равноправном обсуждении проблемы).

Во время интерактивного обучения дети активно общаются, спорят, не соглашаются с собеседником, доказывают свое мнение.

Как педагогу, так и ученикам необходимо привыкнуть к интерактивным методам обучения и получить определённый опыт их использования. Использование интерактивных методов – не самоцель. Это лишь средство к достижению той атмосферы в классе, которая лучше всего способствует пониманию духа сотрудниче ства, взаимопонимания, доброжелательности.

Участники делятся на две равные подгруппы (если количество участников нечетное, то к одной из подгрупп присоединяется ведущий). Те, кто попал в первую подгруппу , садятся во внутренний круг лицом к наружному кругу; те, кто во вторую, — занимают места во внешнем круге, лицом к ним. Таким образом все оказываются разбиты на пары. Потом ведущий дает тему для обсуждения и распределяет роли: например, те, кто сидит во внутреннем круге, принимают пассивную роль (слушают, задают уточняющие вопросы), а те, кто во внешнем, — активную (рассказывают, отвечают на поставленные вопросы). Через 1,5–2 мин по команде ведущего внешний круг сдвигается относительно внутреннего на одного человека вправо или влево (т. е. меняется состав пар) и меняется распределение ролей: те, кто слушал, теперь рассказывают, а кто рассказывал — слушают. Потом внешний круг опять сдвигается относительно внутреннего, меняются активная и пассивная роли и задается новая тема для обсуждения.

Таким образом, они успевают проговорить за несколько минут несколько тем и стараются убедить в своей правоте собеседника . Ребята увлеченно беседуют, занятие проходит динамично и результативно.

2. Листки с записями в режиме дефицита времени передаются по кругу по часовой стрелке соседям по микрогруппе. При получении листка с записями каждый участник должен сделать

новую запись, не повторяя имеющиеся. Работа заканчивается, когда каждому вернется его листок. На этом этапе записи не анализируются и не оцениваются .

4. Обмен результатами наработок микрогрупп. Все микрогруппы предлагают по очереди свои формулировки из итогового списка. Если формулировка не встречает возражений других групп, она включается в окончательный общий список

В этом методе класс разбивается на малые группы и каждой группе выдается большой лист бумаги с проблемными вопросами вверху листа.

В течение короткого периода времени каждая группа набрасывает по своей теме максимальное число идей. Затем группы обмениваются листами и продолжают работать над следующими темами, и так продолжается, пока каждая группа не внесет свой вклад в разработку всех тем. В конце мозгового штурма все листы предъявляются классу, и ученики могут посмотреть на результаты общей работы. В продолжение обсуждения каждая группа может получить обратно лист, с которого они начинали работу, чтобы осмыслить все предложения, выдвинутые по данной теме.

Дерево решений – графический метод, позволяющий увязать точки принятия решения, возможные стратегии , их последствия, с возможными факторами, условиями внешней среды. Его применяют тогда, когда необходимо принимать последовательный ряд решений.

Данный метод можно использовать на уроках и классных часах во время решения проблемных вопросов и обсуждении тем, не имеющих однозначного решения.

Учитель задаёт вопросы:

Как вы думаете, действительно ли эта проблема так важна, и надо ли ее решать?

Какие способы решения этой проблемы можете предложить вы?

Выявить самое оптимальное, правильное на ваш взгляд решение

Проводится дискуссия, иногда перерастающая в прения сторон (особенно при обсуждении каких-то спорных или противоречивых вопросов). В этом методе можно использовать одну проблему в 2 группах, обсуждая плюсы (одна группа) и минусы (вторая группа) какого-то вопроса.

Дерево решений — метод автоматического анализа больших массивов данных. В этой статье рассмотрим общие принципы работы и области применения.

Дерево решений — эффективный инструмент интеллектуального анализа данных и предсказательной аналитики. Он помогает в решении задач по классификации и регрессии.

Правила генерируются за счет обобщения множества отдельных наблюдений (обучающих примеров), описывающих предметную область. Поэтому их называют индуктивными правилами, а сам процесс обучения — индукцией деревьев решений.

В обучающем множестве для примеров должно быть задано целевое значение, так как деревья решений — модели, создаваемые на основе обучения с учителем. По типу переменной выделяют два типа деревьев:

дерево классификации — когда целевая переменная дискретная;

дерево регрессии — когда целевая переменная непрерывная.

Развитие инструмента началось в 1950-х годах. Тогда были предложены основные идеи в области исследований моделирования человеческого поведения с помощью компьютерных систем.

Дальнейшее развитие деревьев решений как самообучающихся моделей для анализа данных связано с Джоном Р. Куинленом (автором алгоритма ID3 и последующих модификаций С4.5 и С5.0) и Лео Брейманом, предложившим алгоритм CART и метод случайного леса.

Структура дерева решений

Рассмотрим понятие более подробно. Дерево решений — метод представления решающих правил в определенной иерархии, включающей в себя элементы двух типов — узлов (node) и листьев (leaf). Узлы включают в себя решающие правила и производят проверку примеров на соответствие выбранного атрибута обучающего множества.

Простой случай: примеры попадают в узел, проходят проверку и разбиваются на два подмножества:

первое — те, которые удовлетворяют установленное правило;

второе — те, которые не удовлетворяют установленное правило.

Далее к каждому подмножеству снова применяется правило, процедура повторяется. Это продолжается, пока не будет достигнуто условие остановки алгоритма. Последний узел, когда не осуществляется проверка и разбиение, становится листом.

Лист определяет решение для каждого попавшего в него примера. Для дерева классификации — это класс, ассоциируемый с узлом, а для дерева регрессии — соответствующий листу модальный интервал целевой переменной. В листе содержится не правило, а подмножество объектов, удовлетворяющих всем правилам ветви, которая заканчивается этим листом.

Пример попадает в лист, если соответствует всем правилам на пути к нему. К каждому листу есть только один путь. Таким образом, пример может попасть только в один лист, что обеспечивает единственность решения.

Терминология

Изучите основные понятия, которые используются в теории деревьев решений, чтобы в дальнейшем было проще усваивать новый материал.

Какие задачи решает дерево решений?

Его применяют для поддержки процессов принятия управленческих решений, используемых в статистистике, анализе данных и машинном обучении. Инструмент помогает решать следующие задачи:

Классификация. Отнесение объектов к одному из заранее известных классов. Целевая переменная должна иметь дискретные задачи.

Регрессия (численное предсказание). Предсказание числового значения независимой переменной для заданного входного вектора.

Описание объектов. Набор правил в дереве решений позволяет компактно описывать объекты. Поэтому вместо сложных структур, используемых для описания объектов, можно хранить деревья решений.

Процесс построения дерева решений

Основная задача при построении дерева решений — последовательно и рекурсивно разбить обучающее множество на подмножества с применением решающих правил в узлах. Но как долго надо разбивать? Этот процесс продолжают до того, пока все узлы в конце ветвей не станут листами.

Узел становится листом в двух случаях:

естественным образом — когда он содержит единственный объект или объект только одного класса;

после достижения заданного условия остановки алгоритм — например, минимально допустимое число примеров в узле или максимальная глубина дерева.

n примеров, для каждого из которых задана метка класса Ci(i = 1..k);

m атрибутов Aj(j = 1..m), которые определяют принадлежность объекта к тому или иному классу.

Тогда возможно три случая:

Множество S — пустое множество без примеров. Для него сформируется лист, класс которого выберется из другого множества. Например, самый распространенный из родительского множества класс.

Множество S состоит из обучающих примеров всех классов Ck. В таком случае множество разбивается на подмножества в соответствии с классами. Для этого выбирают один из атрибутов Aj множества S, состоящий из двух и более уникальных значений: a1, a2, …, ap), где p — число уникальных значений признака. Множество S разбивают на p подмножеств (S1, S2, …, Sp), состоящих из примеров с соответствующим значением атрибута. Процесс разбиения продолжается, но уже со следующим атрибутом. Он будет повторяться, пока все примеры в результирующих подмножества не окажутся одного класса.

Третья применяется в большинстве алгоритмов, используемых для построения деревьев решений. Эта методика формирует дерево сверху вниз, то есть от корневого узла к листьям.

Сегодня существует много алгоритмов обучения: ID3, CART, C4.5, C5.0, NewId, ITrule, CHAID, CN2 и другие. Самыми популярными считаются:

ID3 (Iterative Dichotomizer 3). Алгоритм позволяет работать только с дискретной целевой переменной. Деревья решений, построенные на основе ID3, получаются квалифицирующими. Число потомков в узле неограниченно. Алгоритм не работает с пропущенными данными.

CART (Classification and Regression Tree). Алгоритм решает задачи классификации и регрессии, так как позволяет использовать дискретную и непрерывную целевые переменные. CART строит деревья, в каждом узле которых только два потомка.

Основные этапы построения дерева решений

Построение осуществляется в 4 этапа:

Выбрать атрибут для осуществления разбиения в данном узле.

Определить критерий остановки обучения.

Выбрать метод отсечения ветвей.

Оценить точность построенного дерева.

Далее рассмотрим каждый подробнее.

Выбор атрибута разбиения

Разбиение должно осуществляться по определенному правилу, для которого и выбирают атрибут. Причем выбранный атрибут должен разбить множество наблюдений в узле так, чтобы результирующие подмножества содержали примеры с одинаковыми метками класса или были максимально приближены к этому. Иными словами — количество объектов из других классов в каждом из этих множеств должно быть как можно меньше.

Критериев существует много, но наибольшей популярностью пользуются теоретико-информационный и статистический.

Теоретико-информационный критерий

В основе критерия лежит информационная энтропия:

где n — число классов в исходном подмножестве, Ni — число примеров i-го класса, N — общее число примеров в подмножестве.

Энтропия рассматривается как мера неоднородности подмножества по представленным в нем классам. И даже если классы представлены в равных долях, а неопределенность классификации наибольшая, то энтропия тоже максимальная. Логарифм от единицы будет обращать энтропию в ноль, если все примеры узла относятся к одному классу.

Если выбранный атрибут разбиения Aj обеспечивает максимальное снижение энтропии результирующего подмножества относительно родительского, его можно считать наилучшим.

Но на деле об энтропии говорят редко. Специалисты уделяют внимание обратной величине — информации. В таком случае лучшим атрибутом будет тот, который обеспечит максимальный прирост информации результирующего узла относительно исходного:

где Info(S) — информация, связанная с подмножеством S до разбиения, Info(Sa) — информация, связанная с подмножеством, полученным при разбиении атрибута A.

Задача выбора атрибута в такой ситуации заключается в максимизации величины Gain(A), которую называют приростом информации. Поэтому теоретико-информационный подход также известен под название «критерий прироста информации.

Статистический подход

В основе этого метода лежит использования индекса Джини. Он показывает, как часто случайно выбранный пример обучающего множества будет распознан неправильно. Важное условие — целевые значения должны браться из определенного статистического распределения.

Если говорить проще, то индекс Джини показывает расстояние между распределениями целевых значений и предсказаниями модели. Минимальное значение показателя говорит о хорошей работе модели.

Индекс Джини рассчитывается по формуле:

где Q — результирующее множество, n — число классов в нем, pi — вероятность i-го класса (выраженная как относительная частота примеров соответствующего класса).

Значение показателя меняется от 0 до 1. Если индекс равен 0, значит, все примеры результирующего множества относятся к одному классу. Если равен 1, значит, классы представлены в равных пропорциях и равновероятны. Оптимальным считают то разбиение, для которого значение индекса Джини минимально.

Критерий остановки алгоритма

Переобучение в случае дерева решений имеет схожие с нейронными сетями последствия. Оно будет точно распознавать примеры из обучения, но не сможет работать с новыми данными. Еще один минус — структура переобученного дерева сложна и плохо поддается интерпретации.

Для этого используют несколько подходов:

Ранняя остановка. Алгоритм останавливается после достижения заданного значения критерия (например, процентной доли правильно распознанных примеров). Преимущество метода — сокращение временных затрат на обучение. Главный недостаток — ранняя остановка негативно сказывается на точности дерева. Из-за этого многие специалисты советуют отдавать предпочтение отсечению ветей.

Ограничение глубины дерева. Алгоритм останавливается после достижения установленного числа разбиений в ветвях. Этот подход также негативно сказывается на точности дерева.

Задание минимально допустимого числа примеров в узле. Устанавливается ограничение на создание узлов с числом примером меньше заданного (например, 7). В таком случае не будут создаваться тривиальные разбиения и малозначимые правила.

Этими подходами пользуются редко, потому что они не гарантируют лучшего результата. Чаще всего, они работают только в каких-то определенных случаях. Рекомендаций по использованию какого-либо метода нет, поэтому аналитикам приходится набирать практический опыт путем проб и ошибок.

Отсечение ветвей

Поэтому многие специалисты отдают предпочтение альтернативному варианту — построить все возможные деревья, а потом выбрать те, которые при разумной глубине обеспечивают приемлемый уровень ошибки распознавания. Основная задача в такой ситуации — поиск наиболее выгодного баланса между сложностью и точностью дерева.

Но и тут есть проблема: такая задача относится к классу NP-полных задач, а они, как известно, эффективных решений не имеют. Поэтому прибегают к методу отсечения ветвей, который реализуется в 3 шага:

Строительство полного дерева, в котором листья содержат примеры одного класса.

Определение двух показателей: относительную точность модели (отношение числа правильно распознанных примеров к общему числу примеров) и абсолютную ошибку (число неправильно классифицированных примеров).

Удаление листов и узлов, потеря которых минимально скажется на точности модели и увеличении ошибки.

Отсечение ветвей проводят противоположно росту дерева, то есть снизу вверх, путем последовательного преобразования узлов в листья.

Извлечение правил

Иногда упрощения дерева недостаточно, чтобы оно легко воспринималось и интерпретировалось. Тогда специалисты извлекают из дерева решающие правила и составляют из них наборы, описывающие классы.

Для извлечения правил нужно отслеживать все пути от корневого узла к листьям дерева. Каждый путь дает правило с множеством условий, представляющих собой проверку в каждом узле пути.

Если представить сложное дерево решений в виде решающих правил (вместо иерархической структуры узлов), оно будет проще восприниматься и интерпретироваться.

Преимущества и недостатки дерева решений

Преимущества:

Формируют четкие и понятные правила классификации. Например, «если возраст

Ключевые слова

ДЕРЕВО РЕШЕНИЙ, МИКРОФОН, ПОПС-ФОРМУЛА, ПОЗНАВАТЕЛЬНАЯ ДЕЯТЕЛЬНОСТЬ, МОЗГОВОЙ ШТУРМ, ОБУЧЕНИЕ, СИНКВЕЙН, ВЫБЕРИ ПОЗИЦИЮ, ЧЕТЫРЕ – ВМЕСТЕ, ДВА, МЕТОД ШЕСТИ ШЛЯП, ИНТЕРАКТИВНЫЕ МЕТОДЫ ОБУЧЕНИЯ

Текст научной работы

В настоящее время одной из острых проблем в обучении является пассивность учащихся. Причины этого не только сугубо педагогические, но и социальные:

  • информационный переизбыток, доступность различной информации формируют привычку получать всё в готовом виде, не прилагая собственных умственных усилий;
  • отсутствие мотивации к обучению, непристижность успешности учебной деятельности в молодежной среде;
  • неадекватная самооценка своих знаний и умений;
  • негативное отношение к труду (не только умственному, но и физическому);
  • падение авторитета профессии учителя в обществе и др.

В данной ситуации диаметрально противоположными выступают требования к портрету выпускника: образование должно быть нацелено на воспитание высоконравственного, творческого, компетентного гражданина, который способен брать на себя ответственность при решении возникающих проблем, проявлять самостоятельность в конкретизации задач и их решении, обучаться на протяжении всей жизни.

В связи с вышесказанным, очевидным представляется необходимость изменения всех составляющих учебного процесса: содержания, методов обучения и контроля усвоенного материала.

В данной работе мы рассмотрим методы обучения, которые наиболее востребованы сегодня в педагогической практике [5, 7]. Речь пойдет об интерактивных методах обучения.

Интерактивные методы обучения ориентированы на широкое взаимодействие учащихся не только с учителем, но и с друг другом (рис. 1), которое нацелено на активную познавательную деятельность учащихся и расширение их субъектного опыта посредством новой самостоятельной добытой информации. Роль учителя при этом заключается в направлении учащихся на изучение нового материала, привнесение в учебный процесс своих знаний и опыта деятельности [6].

Сущность интерактивных методов обучения

Рисунок 1. Сущность интерактивных методов обучения

Успешность взаимодействия учащихся и учителя при интерактивных методах обучения зависит от реализации следующих условий:

  • мотивация учебно-познавательной деятельности учащихся;
  • демократический стиль общения;
  • опора на субъектный опыт учащихся;
  • многообразие форм и методов представления информации, форм организации деятельности учащихся.

Интерактивных методов обучения в педагогической науке достаточно много, все они связаны с организацией коллективной или групповой работы учащихся при решении творческих, нестандартных задач. Основой интерактивных подходов являются интерактивные упражнения и задания, которые направлены не только и не столько на закрепление уже изученного материала, сколько на изучение нового [1].

Рассмотрим те интерактивные методы, которые не требуют выделения большого объема учебного времени, а потому могут широко использоваться в обучении [2].

Схема дерева решений для трех вариантов

Рисунок 2. Схема дерева решений для трех вариантов

  1. Существительное (название темы);
  2. Два прилагательных (определение темы);
  3. Три глагола, показывающие действия в рамках темы;
  4. Фраза из 4 слов, содержащая отношение автора к теме;
  5. Вывод, завершение темы, выраженной любой частью речи.

Рассмотренные интерактивные методы обучения не охватывают всего многообразия методов данной направленности, но позволяют понять специфику организации учебной деятельности учащихся в ходе ориентации на интерактивное взаимодействие участников учебного процесса. Они требуют от учащихся активности при решении учебно-познавательной задачи, обращению к субъектному опыту. Интерактивные методы обучения учат учащихся эффективно работать в команде, обогащают их субъектный опыт личностно значимыми знаниями.

В контексте вышесказанного важно выделить ещё одно направление организации интерактивного обучения — это использование компьютерных интерактивных технологий [3, 4]. Компьютерные интерактивные технологии предоставляют широкий спектр средств визуализации учебного материала, поддерживающих возможность взаимодействия с ним учащихся, как в индивидуальном режиме, так и групповом.

Таким образом, интерактивные методы обучения выступают средством активизации познавательной деятельности обучающихся, позволяют вовлечь учащихся в процесс открытия новых знаний, активизируя при этом их личную заинтересованность и накопленный субъектный опыт, способствуют формированию направленности на самообучение и саморазвитие.

Список литературы

Цитировать

Читайте также: