Instituto de Estadstica y Sistemas Computadorizados de Informacin Facultad de Administracin de Empresas

Informe Parcial de Assessment Sistemas Computadorizados de Informacin

Sometido a Oficina de Evaluacin del Aprendizaje Centro para la Excelencia Acadmica Decanato de Asuntos Acadmicos

21 de diciembre de 2009

Instituto de Estadstica y Sistemas Computadorizados de Informacin Informe Parcial de Assessment

Introduccin La concentracin en Sistemas Computadorizados de Informacin que ofrece el Instituto de Estadstica de la Facultad de Administracin de Empresas est preparndose para solicitar la acreditacin de ABET (Accreditation Board for Engineering and Technology). El componente ms importante del proceso de acreditacin de un programa acadmico, y el que ms tiempo toma, es el proceso de avalo. Este proceso pretende determinar hasta qu punto el egresado ha alcanzado los logros, o resultados, asociados al programa. En trminos de ABET, esos logros se refieren especficamente a lo que el estudiante debe conocer, poder hacer y valorar al momento de su graduacin. Para viabilizar un proceso de acreditacin altamente participativo, el Instituto nombr un comit compuesto por cuatro miembros, conocido como Comit ABET. Este comit se rene con frecuencia para discutir las tareas, revisar documentos producidos y tomar decisiones sobre avalo y acreditacin. Otros profesores son invitados a las reuniones del comit dependiendo de los temas a ser discutidos. ABET (Accreditation Board for Engineering and Technology) ABET es una federacin de 28 asociaciones profesionales y tcnicas, con ms de setenta aos de existencia. Est reconocida como una muy importante organizacin acreditadora en Ciencias Aplicadas, Computacin, Ingeniera y Tecnologa. Actualmente acredita unos 2,700 programas en sobre 550 instituciones universitarias. ABET lleva a cabo sus trabajos mediante comits y comisiones. La Computing Accreditation Commission es la unidad encargada de acreditar los programas de Ciencias de Cmputos y de Sistemas de Informacin. ABET define los conceptos relacionados con los logros de un programa acadmico de la siguiente manera: 1. Metas (Educational objectives). ABET se refiere a las metas como educational objectives. Las mismas establecen de forma bien general lo que el estudiante debe lograr en los primeros aos (tres a cinco) de su carrera profesional. Ntese que las metas no se logran al momento del estudiante graduarse, sino que se necesitarn algunos aos de experiencia para que el egresado pueda lograrlas. ABET recomienda que las metas o educational objectives no sean ms de cuatro o cinco, y que sean compatibles con la misin del programa y de la institucin.

Informe Parcial de Assessment 22 de diciembre de 2009

p. 2

2.

Objetivos (Student outcomes). ABET se refiere a los objetivos como student outcomes. Los mismos establecen lo que el estudiante debe conocer, poder hacer y valorar al momento de la graduacin. Los objetivos estn estrechamente relacionados con (o constituyen) el perfil del egresado, pues indican lo que el estudiante debe conocer, ser capaz de hacer, valorar y apreciar al momento de su graduacin. En la medida en que los estudiantes logren los objetivos al momento de graduarse, se entiende que estn preparados para lograr las metas luego de varios aos de experiencia. Criterios para medir el cumplimiento con los objetivos (Performance criteria). ABET se refiere a dichos criterios como performance criteria. Los mismos establecen lo que el estudiante debe poder hacer o producir para demostrar que cumple con los objetivos. Puesto que su funcin es medir el cumplimiento con los objetivos, los criterios deben ser especficos y deben poder evidenciarse de alguna manera. El proceso de assessment utilizar estos criterios al preparar instrumentos y mtodos para recopilar los datos que apoyarn dicho proceso. El contenido, las estrategias y las prcticas educativas en los cursos debern estar alineadas con los criterios.

3.

Es importante sealar que el avalo que requiere ABET para el programa acadmico es de naturaleza sumativa. Es decir, el avalo de ABET lo que persigue es determinar cun bien se estn logrando los objetivos (student outcomes) utilizando datos recopilados sobre los criterios de desempeo (performance criteria). ABET no requiere que se lleve a cabo un avalo formativo en cada uno de los cursos para determinar el cumplimiento con los objetivos particulares de los mismos. Metodologa para avaluar la concentracin en SICI Segn establecido en la propuesta para el rediseo de la concentracin en SICI1, para llevar a cabo el proceso de avalo estamos utilizando la metodologa y los enfoques de ABET. Como estamos aspirando a la acreditacin de esta agencia, es lgico seguir su metodologa y sus enfoques de avalo. Los objetivos (student outcomes) de nuestra concentracin, y los criterios para medir el logro de los mismos, constituyen la base para el proceso de avalo. La orientacin hacia el estudiante que tienen estos objetivos, unida a la existencia de unos criterios especficos, viabiliz y provey un alto grado de estructura a este proceso. A base de los criterios, identificamos mtodos y preparamos rbricas para facilitar la recopilacin de los datos que apoyarn el proceso. Una de las estrategias instruccionales de nuestra concentracin es el uso de Project based learning. Como consecuencia, los mtodos utilizados consisten en su mayor parte de proyectos integradores (capstone projects), los cuales han sido especialmente diseados para
1

Ramos, A. (Mayo 2008), Propuesta para el Rediseo de la Concentracin en Sistemas Computadorizados de Informacin (SICI) (Segn las Guas del Senado Acadmico)

Informe Parcial de Assessment 22 de diciembre de 2009

p. 3

apoyar el logro de los objetivos (student outcomes) del programa. Estos proyectos se asignan a los estudiantes en la parte final de los cursos en los que hacemos avalo. Cada uno de los cursos tiene como parte de sus objetivos generales los criterios de desempeo con los cuales el curso tiene que cumplir. De esta manera nos aseguramos de que los cursos estn debidamente asociados a estos criterios, los que a su vez estn asociados a los objetivos, los cuales finalmente estn asociados a las metas. Planificamos hacer avalo de dos objetivos (student outcomes) por semestre, lo que implica que necesitaramos cinco semestres (dos aos y medio) para completar un ciclo de avalo. ABET recomienda un ciclo de unos tres aos. En el apndice A aparece el informe Metodologa para avaluar la concentracin en Sistemas Computadorizados de Informacin (Documento explicativo)

Dominios de la misin del Recinto El proceso de avalo que estamos llevando a cabo apoya varios de los dominios de la misin del Recinto. Los dominios sobre los cuales la OEA requiere se informe sobre al menos dos de los siguientes cuatro: capacidad crtica, la comunicacin efectiva, responsabilidad social, investigacin y creacin. Los dos seleccionados en este informe son la capacidad crtica y la comunicacin efectiva.

Objetivos del aprendizaje estudiantil Los objetivos del aprendizaje estudiantil se conocen como student outcomes en la metodologa de ABET. Hemos definido diez de estos objetivos para nuestra concentracin, los cuales se encuentran en la columna dos de la siguiente tabla (SICI Constitutional Table).

Informe Parcial de Assessment 22 de diciembre de 2009

p. 4

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

1. To implement and manage the development of information systems in an organization.

1. To analyze an operation within an organization, identify problems and make recommendations to solve these problems.

1. To prepare functional, technical, and other requirements for an information system that solves the problems identified in an operation.

2. To select or design a system to solve the problems identified in an operation.

2. To design the components of an information system based on the functional requirements prepared for that system.

3. To plan and supervise the implementation of a system that solves the problems identified in an operation.

3. To develop a plan to implement an information system, including the phases and activities that this process requires.

2. To apply technological, analytical, and critical thinking skills in the solution of problems related to information systems in organizations.

4. To use current techniques, skills, tools and best practices to design, implement and manage information systems.

4. To identify the hardware, software and data communication components needed to operate an information system, and to integrate them in a technological solution.

5. To code, test, and document computer programs to perform the automated processes that compose a system, using modern programming tools.

Informe Parcial de Assessment 22 de diciembre de 2009

p. 5

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

6. To design a properly normalized database based on requirements prepared by systems analysts or by users.

7. To identify the components of a communications network, mention the main characteristics of these components, and to present the way they integrate into a network. 3. To take into consideration the context in which information systems operate, when implementing and managing these systems. 5. To understand the impact that organizational, local and global environments have in the implementation and management of information systems. 6. To value the protection of information system resources in an organization, and to identify ways in which this protection can be achieved. 4. To maintain his professional expertise by updating his knowledge in technology and information systems. 7. To be aware of the high level of change in the Information Systems field, and the need to use different mechanisms to update his knowledge. 8. To analyze administrative, organizational, local and global aspects that affect information systems, and to define strategies to deal with these aspects.

9. To prepare a disaster recovery plan for the information system operations of an organization. (Note: We can use the same rubric we use now.)

10. To get related with professional associations, publications and Continuing Education alternatives in the geographic area where he lives or works.

Informe Parcial de Assessment 22 de diciembre de 2009

p. 6

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

5. To perform his functions showing respect and appreciation for ethical values, interpersonal relationships, communication, and team work.

8. To recognize the importance of ethical values and interpersonal relationships in an information systems professional.

11. To identify and evaluate ethical and interpersonal relationship aspects related to information system professionals.

9. To communicate effectively with a range of audiences. 10. To function effectively in teams seeking to accomplish a common goal.

12. To prepare written reports and oral presentations related to information system topics. 13. To demonstrate ability to work effectively in task-oriented groups, like information system project teams.

Informe Parcial de Assessment 22 de diciembre de 2009

p. 7

Actividades e instrumentos utilizados para recopilar informacin Segn establecido en la pgina seis del documento Metodologa para avaluar la concentracin en Sistemas Computadorizados de Informacin (ver apndice A), el mtodo principalmente utilizado para recopilar los datos del avalo son los proyectos integradores, los cuales son preparados por los estudiantes al final de los cursos correspondientes. Para recopilar de manera uniforme los datos de los proyectos que se utilicen para el avalo, el profesor llenar una rbrica por cada estudiante. Por ejemplo, para el objetivo nmero uno (To analyze an operation within an organization, identify problems and make recommendations to solve these problems.), el cual es apoyado a su vez por el criterio nmero uno (To prepare functional, technical, and other requirements for an information system that solves the problems identified in an operation.), el profesor asignara un proyecto como parte del curso SICI 4025 (Anlisis y Diseo Lgico de Sistemas) y utilizara la rbrica que aparece en el apndice B para avaluar el mismo.

Criterios de evaluacin y logros esperados Los criterios de evaluacin y los logros esperados se conocen como performance criteria en la metodologa de ABET. Hemos definido trece de estos criterios para nuestra concentracin, todos ellos debidamente asociados a los objetivos (student outcomes) que apoyan. Los mismos aparecen en la columna tres de la tabla SICI Constitutional Table.

Resultados obtenidos El pasado mes de mayo llevamos a cabo un avalo piloto, con el objetivo de determinar la conveniencia de utilizar proyectos integradores (capstone projects) como mtodo de avalo y a la vez probar las rbricas que habamos preparado. Los resultados obtenidos fueron muy positivos. Documentamos dicho avalo piloto en el informe el informe Report on pilot assessment of some SICI outcomes performed on May 20092 (ver el apndice C). Citamos la parte de dicho informe relacionada con los resultados obtenidos: 1. Rubrics proved to be very simple to use. They simplified the data collection, the calculation of student scores, as well as the calculation of scores related to the outcomes being assessed. 2. The use of course-embedded assessment allowed assessing student outcomes without an additional burden on students and professors. All that professors had to do was to make sure that the project requirements support the characteristics contained in the project rubric.

Ramos, A. (Agosto 2009), Report on pilot assessment of some SICI outcomes performed on May 2009

3. Most students did very well on the assessment of program outcomes. See table 1. a. The percentage of students that obtained a passing score ranged from 85.71% to 100% throughout the different outcomes. (The minimum punctuation required for approval was 75.) b. The percentages of students that did not obtain a passing score ranged from 0% to 14.29%. c. On an overall basis (taking all outcomes as a whole), 95.38 % of the students approved the outcomes, and 4.62% did not approve. 1) Overall values in this table may be affected by outliers. Therefore, it may be more appropriate to use individual values. 2) We must keep in mind that when the results of one rubric are applied to more than one outcome, the number of students is included two times (one time for each outcome). Therefore, the totals in the summary table cannot be interpreted as students but as student/method. 4. The main contributors to the assessment results obtained are the contents of the courses and the educational strategies used by professors. But these results can also be attributed to other factors, like the following: a. By the time the assessment was performed, most students not performing well in the course had already abandoned it. b. Students knew beforehand all the characteristics to be assessed in the particular method used. c. The methods used were take-home projects, with reasonable time for preparation. Projects usually raise student interest and performance. d. Projects used resemble the work performed by IS professionals in industry and government, which probably contributed additionally to raise student interest. e. All students assessed belong to the SICI major, so it is reasonable to assume that they put a special interest in the courses, as well as the assessment methods. 5. The importance of some of the characteristics assessed in a project was diluted within the other characteristics. Examples of these characteristics are the ones associated to soft-outcomes, like communications and teamwork. a. For example, in SICI 4275 the following two characteristics (out of 15) in the project were associated to soft-outcomes:

1) Writing communication skills applied in the project narrative (number of ideas per sentence, clarity, transition, parallelism, etc.) 2) Oral communication skills applied in the project presentation (clarity of expression, fluency, proper use of words, etc.) Even failing in these two characteristics, a student could have got a high score in the project as a whole. In this case, we would have assigned the high score to both outcomes supported by the project (number 9 and 11), which is not correct. Este semestre llevamos a cabo avalo para varios objetivos (student outcomes) en alrededor de cinco cursos. El informe con los resultados estar listo el prximo mes de enero.

Acciones transformadoras En el informe sobre el avalo piloto llevado a cabo el pasado mes de mayo identificamos unas medidas correctivas, las cuales fueron discutidas con el Comit ABET. Entre estas se encuentran: 1. 2. Revisar la forma de calcular algunas de las estadsticas en las rbricas. Revisar los objetivos (student outcomes) del programa para diferenciarlos mejor de los criterios (performance criteria), aumentar el nfasis en algunos de ellos (particularmente los soft outcomes) y modificar algunos de los verbos utilizados. Analizar la idea de utilizar un mtodo adicional, como una entrevista de salida (exit interview) para avaluar algunos objetivos, particularmente aquellos relacionados con el aprendizaje continuo, la tica, la comunicacin y el trabajo grupal.

3.

Las primeras dos acciones ya fueron implementadas y estamos trabajando con la tercera. En el apndice D aparece el informe Proposed modifications to SICI educational objectives, learning outcomes, performance criteria and rubrics, el cual, entre otras cosas, evidencia la implantacin de acciones transformadoras resultantes del proceso de avalo.

10

Apndice A Metodologa para avaluar la concentracin en Sistemas Computadorizados de Informacin (Documento explicativo)

Instituto de Estadstica y Sistemas Computadorizados de Informacin Facultad de Administracin de Empresas

Metodologa para avaluar la concentracin en Sistemas Computadorizados de Informacin (Documento explicativo)

Preparado por:
Prof. Arnaldo I. Ramos Torres

Revisado por el Comit ABET de SICI:

Dra. Katherine Franceschi Daz Prof. Mara del R. Rodrguez Orellana Dra. Rosarito Snchez Morcilio

31 de enero de 2009

Instituto de Estadstica y Sistemas Computadorizados de Informacin Metodologa para avaluar la concentracin en Sistemas Computadorizados de Informacin (Documento explicativo)

Introduccin Las quejas frecuentes de estudiantes, padres y patronos sobre la inefectividad de los programas acadmicos han promovido una cultura general de avalo. Los cada vez ms escasos recursos asignados a la educacin unidos a la baja productividad en el sector de los servicios, sector al cual pertenecen las instituciones educativas, tambin han promovido esta cultura. Otro factor que ha contribuido es el alto nivel de competencia entre las instituciones universitarias por un nmero reducido de estudiantes. Incluso factores como los desarrollos tecnolgicos y la globalizacin tambin han contribuido de cierta manera, por ejemplo, proveyendo acceso a alternativas educativas no disponibles antes, y facilitando el acceso a los resultados del avalo de distintos programas acadmicos por parte de personas interesadas en los mismos. El avalo del aprendizaje estudiantil es muy importante para determinar en qu medida un programa acadmico est logrando sus metas y objetivos. Esta determinacin es necesaria tanto para incorporar cambios al diseo del programa, como para mejorar el proceso de enseanza y aprendizaje. Tambin es necesaria para cumplir con la iniciativa institucional del Recinto de Ro Piedras sobre el avalo de los programas acadmicos (Certificacin 68, SA200506) y con la directriz de parte de la Administracin Central de la UPR para que todo programa de tecnologa y sistemas se someta al proceso de acreditacin de ABET. Los primeros cursos de la nueva concentracin en SICI comenzaron a ofrecerse en el mes de enero de 2009, por lo que necesitamos implantar rpidamente un proceso de avalo del aprendizaje estudiantil. Avalo versus evaluacin Consideramos conveniente aclarar los conceptos de avalo (assesment) y evaluacin (evaluation). Segn ABET, el avalo consiste de la recopilacin de datos sobre el cumplimiento con los objetivos del programa. O sea, consiste de la recopilacin de datos sobre los criterios que definimos para medir el cumplimiento con los objetivos. Para ello preparamos rbricas, o instrumentos, que faciliten esta recopilacin. Por otro lado, la evaluacin consiste del anlisis y la interpretacin de los datos recopilados mediante el proceso de avalo para determinar la efectividad del programa acadmico, recomendar cambios al mismo e implantar dichos cambios. Trminos y conceptos Existen diferentes trminos para denominar los conceptos relacionados con los logros de un programa acadmico. El Comit Institucional de Evaluacin de Programas Acadmicos (CIEPA) del Decanato de Asuntos Acadmicos utiliza trminos como metas, objetivos y

Metodologa para avaluar la concentracin de SICI

criterios para evaluar resultados. ABET utiliza los trminos educational objectives, learning outcomes y performance criteria, respectivamente, para lo que nosotros hemos llamado metas, objetivos y criterios para medir el cumplimiento con los objetivos. AACSB por su parte utiliza los trminos learning goals y objectives. Para complicar un poco ms el panorama, existen distintas interpretaciones para los anteriores trminos. Lo que para una persona es una meta, para otra puede ser un objetivo, y viceversa. La tabla que aparece ms adelante (Tabla 1) presenta los conceptos relacionados con los logros de un programa acadmico, segn los define ABET, y los trminos utilizados por esta y otras organizaciones para denominarlos. Dichos conceptos estn alineados mediante una jerarqua en la cual la misin constituye el nivel superior y los criterios para medir el cumplimiento con los objetivos constituyen el nivel inferior.

Tabla 1: Conceptos relacionados con los logros de un programa acadmico y trminos utilizados por algunas organizaciones para denominarlos SICI/UPR ABET AACSB Descripcin del concepto (segn ABET) Misin Mission Mission Expresa los propsitos fundamentales y el compromiso social del programa acadmico Metas Educational objectives Learning outcomes Performance criteria (N/A) Establecen de forma general lo que el estudiante debe lograr en los primeros aos (tres a cinco) de su carrera profesional Establecen lo que el estudiante debe conocer, poder hacer y valorar al momento de su graduacin Establecen lo que el estudiante debe poder hacer o producir para demostrar que cumple con los objetivos

Objetivos

Learning goals Objectives

Criterios

Es muy importante que adoptemos unos trminos y unas definiciones comunes para los anteriores conceptos, de manera que tengamos un marco de referencia uniforme para llevar a cabo el avalo de la concentracin. Puesto que existe una directriz de parte de la Administracin Central de la UPR para que todo programa de tecnologa y sistemas se someta al proceso de acreditacin de ABET, recomendamos utilizar las definiciones de los conceptos promovidas por esta organizacin. Para mantener la consistencia con la terminologa utilizada en el diseo de la concentracin en SICI, la cual coincide con la de la UPR, recomendamos seguir utilizando esa misma terminologa (presentada en la primera columna de la Tabla 1). Al presentarle informes a ABET meramente cambiaremos los trminos por los de dicha organizacin, algo que ser muy sencillo de hacer ya que las definiciones que estamos utilizando para esos trminos son las mismas de ABET.

Metodologa para avaluar la concentracin de SICI

Alineamiento La misin, las metas, los objetivos y los criterios para medir el cumplimiento con los objetivos de un programa acadmico deben estar debidamente alineados entre s. Es decir, las metas deben alinear con la misin, los objetivos deben alinear con las metas y los criterios deben alinear con los objetivos. En el caso de nuestra concentracin, este alineamiento fue incorporado en su diseo, segn ilustrado por la tabla incluida en el apndice 1. Adems, el contenido, las estrategias y las prcticas educativas utilizadas en los cursos deben alinear con los criterios utilizados para medir el cumplimiento con los objetivos, de manera que cada curso atienda al menos un criterio y cada criterio sea atendido en al menos un curso. Calificaciones (notas) como mtodo de avalo de la concentracin Las calificaciones obtenidas por los estudiantes en los cursos no constituyen una alternativa para medir el logro de los objetivos de un programa acadmico. Esta es probablemente la pregunta ms comn sobre avalo hecha por profesores y estudiantes. Por un lado, los mtodos utilizados para determinar las calificaciones no necesariamente estn orientados hacia las metas y objetivos del aprendizaje. Las calificaciones normalmente representan el promedio entre varios mtodos, no todos ellos orientados a medir el logro de los objetivos. Por otro lado, dichos mtodos no necesariamente poseen el nivel de estandarizacin requerido para que los resultados obtenidos por estudiantes del mismo curso con distintos profesores sean comparables. Herramientas para llevar a cabo el avalo Para llevar a cabo el avalo del aprendizaje, disponemos de algunas herramientas. Una de ellas son los mtodos, los cuales son procedimientos utilizados para obtener los datos. Ejemplos de estos procedimientos son proyectos, ensayos, y exmenes, sean stos orales o escritos. Los mtodos deben ser estandarizados, en el sentido de que deben ser preparados por un grupo de profesores y debe utilizarse el mismo mtodo para todas las secciones de un mismo curso. La calificacin de los mtodos no debe ser hecha por los profesores de los cursos del programa, pero en las materias altamente tcnicas se acepta que los mismos profesores califiquen los mtodos. Existen dos tipos de mtodos para llevar a cabo el avalo: Directos. Recopilan datos especficos que miden el logro de los objetivos, los cuales son calificados (por otras personas, no por los mismos estudiantes) a base de una escala y unas guas uniformes. Ejemplos de estos mtodos son exmenes, proyectos y ensayos. Indirectos. Recopilan juicios emitidos por los mismos estudiantes calificando su aprendizaje estudiantil. Ejemplos de estos mtodos son encuestas y entrevistas donde se solicitan opiniones y comentarios.

Metodologa para avaluar la concentracin de SICI

ABET patrocina el uso de mtodos directos, por ser estos ms objetivos y confiables para medir el aprendizaje estudiantil. Los mtodos indirectos tienden a demostrar ms la satisfaccin del estudiante con el programa acadmico que su aprendizaje. Otra importante herramienta utilizada en el proceso de avalo son las rbricas, las cules constituyen instrumentos utilizados para calificar los mtodos. Las rbricas a su vez contienen las caractersticas que deben tener los mtodos, as como guas para asignar las calificaciones a dichas caractersticas. La tabla que aparece ms adelante (Tabla 2) presenta las herramientas comnmente utilizadas para el avalo de un programa acadmico, segn las define ABET, y los trminos utilizados por esta y otras organizaciones para denominarlas. Como se desprende de las descripciones en la tabla, dichas herramientas estn estrechamente relacionadas entre s y tambin con los criterios para medir el cumplimiento con los objetivos. Por ejemplo, los mtodos deben recopilar datos sobre los criterios utilizando rbricas, las cuales a su vez contienen caractersticas a ser calificadas utilizando unas guas.

Tabla 2: Herramientas relacionadas con el avalo de un programa acadmico y trminos utilizados por algunas organizaciones para denominarlas SICI/UPR ABET AACSB Descripcin de la herramienta Mtodos Methods Methods Procedimientos utilizados para obtener los datos sobre el aprendizaje estudiantil. Por ejemplo, exmenes estandarizados, proyectos, y ensayos. Rbricas Rubrics Rubrics Instrumentos utilizados para calificar los mtodos. Por ejemplo, formularios, tablas, y claves. Debe utilizarse la misma rbrica en todas las instancias del mismo mtodo. Componente de una rbrica consistente de atributos o tareas especficas sobre el mtodo a ser calificado. Deben utilizarse las mismas caractersticas en todas las instancias del mismo mtodo. Componente de una rbrica consistente de las guas utilizadas para asignar las calificaciones a los distintos atributos o tareas. Deben utilizarse las mismas guas en todas las instancias del mismo mtodo.

Caractersticas

Categories

Traits

Guas

Scores

Scoring guides

Para viabilizar el proceso de avalo es necesario entonces identificar mtodos y disear rbricas, cada una de ellas con sus respectivas caractersticas y guas. En el apndice 2 aparece un ejemplo de una rbrica (parcial) para avaluar el cumplimiento con el criterio # 6 (Preparar, probar y documentar programas para llevar a cabo los procesos automatizados que componen un sistema, utilizando herramientas modernas de programacin) mediante un proyecto en el curso SICI 3255.

Metodologa para avaluar la concentracin de SICI

Medidas para simplificar el avalo El avalo puede generar un alto volumen de datos, aparte de aadir una carga significativa a las actuales labores de los profesores y de los estudiantes. Por tal razn, es importante implantar medidas que simplifiquen las labores de los profesores y los estudiantes al llevar a cabo el proceso de avalo. De lo contrario, el mismo puede convertirse en un proceso inmanejable, rechazado por estudiantes y profesores, y con escasas probabilidades de xito. Una de las medidas utilizadas para simplificar las labores de los profesores y los estudiantes es el uso del enfoque course embedded assessment. Mediante este enfoque el proceso de avalo se lleva a cabo como parte de los cursos, no como una actividad separada de los mismos, reduciendo as el trabajo adicional requerido a los profesores y a los estudiantes. Otra ventaja de este enfoque es que puede utilizarse tambin para otorgar calificaciones a los estudiantes. 3 Una ventaja adicional es que, en la medida en que se lleve a cabo en buena parte de los cursos, permite detectar y corregir a tiempo las deficiencias en el aprendizaje. Otra de estas medidas es el uso de rbricas debidamente diseadas para estandarizar4, y facilitar, la recopilacin y el anlisis de los datos. Una medida adicional es el uso del mismo mtodo para avaluar ms de un criterio, en lugar de un mtodo para cada criterio. Metodologa para el avalo de la concentracin en SICI Segn establecimos en la propuesta para el rediseo de la concentracin en SICI5, para llevar a cabo el proceso de avalo utilizaremos la metodologa y los enfoques de ABET. Como estamos aspirando a la acreditacin de esta agencia, es lgico seguir su metodologa y sus enfoques de avalo. Por otro lado, AACSB no requiere avaluar las concentraciones, sino los programas de bachillerato, maestra y doctorado. La metodologa y los enfoques de ABET y de AACSB tienen algunas diferencias, pero las mismas son menores, y en el fondo ambas agencias persiguen lo mismo.6 Por lo tanto, si a nuestra concentracin le aplicara la metodologa de AACSB, tambin cumpliramos muy bien con ella.

En este caso la rbrica utilizada deber tener suficiente nivel de detalle como para justificar la calificacin otorgada al mtodo utilizado. Es muy importante que las rbricas estn estandarizadas. Es decir, que todos los profesores que ensean un curso utilicen la misma rbrica. De lo contrario, los resultados no seran comparables entre estudiantes de distintos profesores del mismo curso. Adems, es importante que las mismas sean preparadas con la participacin de un grupo de profesores, no de un solo profesor. Para avaluar las distintas secciones de un mismo curso se debe utilizar el mismo mtodo, pues utilizar mtodos distintos afecta la comparacin de los resultados. Ramos, A. (Mayo 2008), Propuesta para el Rediseo de la Concentracin en Sistemas Computadorizados de Informacin (SICI) (Segn las Guas del Senado Acadmico) Es pertinente sealar que este servidor ha asistido a varios talleres sobre avalo. Entre ellos, uno sobre la metodologa de ABET, ofrecido por la Dra. Gloria Rogers, y otro sobre la metodologa de AACSB, ofrecido por la Dra. Kathryn Martell.

Metodologa para avaluar la concentracin de SICI

Las metas, objetivos y criterios de nuestra concentracin establecen la base para el proceso de avalo. La orientacin hacia el estudiante que tienen estas metas y objetivos, unida a la existencia de unos criterios especficos para medir el cumplimiento con los objetivos, viabiliza y provee un alto grado de estructura a este proceso. Especficamente, los criterios se utilizarn para identificar mtodos y preparar rbricas que faciliten la recopilacin de los datos que apoyarn dicho proceso. La nueva concentracin en SICI tiene cinco metas (learning objectives) y once objetivos (program outcomes), todos ellos orientados hacia lo que el estudiante debe conocer, poder hacer y valorar. Tambin tiene trece criterios para medir el cumplimiento con los objetivos (performance criteria), los cuales establecen lo que el estudiante debe poder hacer, o producir, para demostrar que cumple con los objetivos. Cada uno de los cursos tiene como parte de sus objetivos generales los criterios con los cuales el curso tiene que cumplir. De esta manera, nos aseguramos de que los cursos estn debidamente asociados a los criterios, los que a su vez estn asociados a los objetivos, los cuales estn asociados a las metas. Dado este alto nivel de alineamiento ya incorporado en el diseo, todo lo que el proceso de avalo tiene que hacer para determinar el cumplimiento con los objetivos es recopilar datos sobre los criterios asociados a cada curso, utilizando mtodos directos de avalo y rbricas estandarizadas que faciliten dicho proceso. Como vamos a utilizar el enfoque de course embedded assessment, y dado que nuestra concentracin tiene nueve cursos requisito, si hacemos avalo en dos cursos por semestre, necesitaramos cinco semestres (dos aos y medio) para completar un ciclo de avalo. Por supuesto, lo primero es preparar las rbricas, labor en la que estamos trabajando este semestre. Mtodos de avalo utilizados por la concentracin en SICI Como en el rediseo de la concentracin expresamos los criterios en trminos de productos, el mtodo de avalo que patrocinamos es el uso de proyectos en los cuales el estudiante preparar el producto especificado por el criterio. Por ejemplo, para el criterio nmero uno (Preparar requerimientos funcionales, tcnicos y de otros tipos, para un sistema de informacin que resuelva los problemas identificados en una operacin.), el profesor asignara un proyecto para preparar requerimientos como parte del curso SICI 4025. Para recopilar de forma uniforme los datos de los proyectos que se utilicen para el avalo, el profesor llenara una rbrica por cada estudiante. Todos los proyectos de un mismo estudiante en los distintos cursos se archivaran en un portafolio7 de proyectos, pero solo los que se utilicen para el avalo de la concentracin tendran su correspondiente rbrica.

El uso de portafolios provee la ventaja adicional de que motiva al estudiante a prepararlo, pues aparte del avalo, sirve otros propsitos de inters al estudiante. Por ejemplo: evidencia la calidad de los trabajos realizados, evidencia el desarrollo del estudiante a travs de la concentracin y apoya la bsqueda de empleo.

Metodologa para avaluar la concentracin de SICI

Adems de utilizar el mtodo de proyectos para avaluar el cumplimiento con los criterios asociados al curso, el profesor podra utilizar este mismo mtodo para asignar calificaciones a los estudiantes, logrando as ambos tipos de avalo con un solo mtodo. En este caso, todos los proyectos en el portafolio de un estudiante tendran su correspondiente rbrica. Comentarios adicionales sobre el avalo Algunos comentarios adicionales que debemos tener en cuenta sobre el proceso de avalo son: 1. Uno de los grandes retos del proceso de avalo es la medicin de los resultados del aprendizaje. Algunas estrategias que ayudan son limitar el nmero de metas y objetivos, disear los objetivos de forma bien especfica, utilizar el enfoque de course embedded assessment y utilizar rbricas debidamente diseadas para estandarizar, y facilitar, la recopilacin y el anlisis de los datos. Otro de los grandes retos es lograr que los profesores y los estudiantes se involucren y apoyen el proceso de avalo. A tales efectos, es muy importante implantar medidas que simplifiquen las labores de los profesores y los estudiantes al llevar a cabo este proceso. De lo contrario, el avalo puede convertirse en un proceso inmanejable y con escasas probabilidades de xito. Segn mencionamos antes, una de las medidas que pueden utilizarse es el enfoque conocido como course embedded assessment. Otra de las medidas es utilizar rbricas debidamente diseadas para estandarizar, y facilitar, la recopilacin y el anlisis de los datos. Una medida adicional es utilizar el mismo mtodo para avaluar ms de un objetivo. Las actividades de avalo no tienen que hacerse siempre para todos los objetivos e incluyendo a todos los estudiantes. Es decir, en un semestre pueden avaluarse algunos objetivos con un grupo de estudiantes, y en otro semestre pueden avaluarse otros objetivos con otro grupo de estudiantes. Lo importante es avaluar todos los objetivos en el perodo de tiempo que se establezca para as hacerlo. Las actividades de avalo no tienen que avaluar el progreso de los estudiantes a travs del programa acadmico, sino el desempeo de unos estudiantes en un momento dado. Como consecuencia, una actividad de avalo es independiente de otra en cuanto a los estudiantes avaluados.

2.

3.

4.

Referencias Martell, Kathryn (2008). Assessment Seminar: Seminar Presentation Notes, AACSB Rogers, Gloria (2006). Faculty Workshop on Assessing Program Outcomes, ABET, Inc. (Gloria Rogers is Director of Research and Assessment for ABET.)

Apndice 1 Metas, objetivos y criterios para la concentracin en SICI

Metas objetivos y criterios

Apndice 1 p 1

Metas
(Establecen de forma general lo que el estudiante debe lograr en los primeros aos (tres a cinco) de su carrera profesional.)

Objetivos
(Establecen lo que el estudiante debe conocer, poder hacer y valorar al momento de su graduacin.)

Criterios
(Establecen lo que el estudiante debe poder hacer o producir para demostrar que cumple con los objetivos.)

6. Seleccionar, disear, implantar y operar los sistemas de informacin en una organizacin, y supervisar su funcionamiento.

1. Analizar una operacin en una organizacin, identificar problemas en la misma y hacer recomendaciones para resolver los problemas identificados.

14. Preparar requerimientos funcionales, tcnicos y de otros tipos, para un sistema de informacin que resuelva los problemas identificados en una operacin.

2. Seleccionar o disear un sistema que resuelva los problemas identificados en una operacin. 3. Planificar y supervisar la implantacin de un sistema que resuelva los problemas identificados en una operacin. 7. Aplicar destrezas tecnolgicas, analticas y de pensamiento crtico en la solucin de problemas relacionados con los sistemas computadorizados de informacin en las organizaciones. 4. Disear una infraestructura tecnolgica, consistente de equipo, sistemas operativos y redes de comunicacin, sobre la cual pueda operar un sistema de informacin. 5. Disear los procesos automatizados que componen un sistema de informacin, como validar datos, actualizar bases de datos, procesar consultas y producir informes. 6. Aplicar los principios y consideraciones importantes que deben tomarse en cuenta al disear bases de datos.

15. Disear los componentes de un sistema, partiendo de unos requerimientos funcionales preparados para el mismo.

16. Preparar un plan para la implantacin del sistema, con las fases y actividades que este proceso requiere.

17. Identificar los componentes de equipo, sistemas operativos y comunicacin de datos necesarios para operar un sistema, e integrarlos en una solucin tecnolgica.

18. Preparar, probar y documentar programas para llevar a cabo los procesos automatizados que componen un sistema, utilizando herramientas modernas de programacin.

19. Disear una base de datos debidamente normalizada partiendo de unos requerimientos especificados por un analista de sistemas o por los usuarios.

Rbrica para avaluar objetivo 1

Metas
(Establecen de forma general lo que el estudiante debe lograr en los primeros aos (tres a cinco) de su carrera profesional.)

Apndice B p.2
Objetivos
(Establecen lo que el estudiante debe conocer, poder hacer y valorar al momento de su graduacin.)

Criterios
(Establecen lo que el estudiante debe poder hacer o producir para demostrar que cumple con los objetivos.)

7. Definir los requisitos de comunicacin de datos necesarios para implantar y operar efectivamente un sistema de informacin. 8. Tomar en cuenta el contexto organizacional en el que operan los sistemas computadorizados de informacin al seleccionar, implantar y supervisar el funcionamiento de estos sistemas. 8. Reconocer la importancia que los aspectos administrativos tienen en el xito de los sistemas y las formas en que los mismos deben ser atendidos.

20. Identificar los componentes de una red de comunicacin, mencionar las caractersticas principales de cada uno de ellos y presentar la forma en que los mismos se integran en una red.

21. Identificar aspectos administrativos y organizacionales que afectan los sistemas de informacin y formular estrategias para atender estos aspectos.

9. Valorar la proteccin de los recursos de informacin en una organizacin e identificar formas en que esta proteccin puede lograrse.

22. Identificar factores de riesgo en los sistemas de informacin y evaluar las implicaciones de dichos factores.

23. Describir controles generales que deben existir en la funcin de sistemas de una organizacin, as como controles especficos para las aplicaciones.

9. Actualizar sus conocimientos en el campo de la tecnologa y los sistemas de informacin, con el objetivo de mantener su nivel de competencia profesional.

10.Estar consciente del alto nivel de cambio existente en la profesin y la necesidad de utilizar distintos mecanismos para actualizar sus conocimientos.

24. Relacionarse con asociaciones profesionales, publicaciones y ofrecimientos de Educacin Continua en sistemas de informacin para el rea geogrfica donde reside o trabaja.

Rbrica para avaluar objetivo 1

Metas
(Establecen de forma general lo que el estudiante debe lograr en los primeros aos (tres a cinco) de su carrera profesional.)

Apndice B p.3
Objetivos
(Establecen lo que el estudiante debe conocer, poder hacer y valorar al momento de su graduacin.)

Criterios
(Establecen lo que el estudiante debe poder hacer o producir para demostrar que cumple con los objetivos.)

10. Desempear sus funciones demostrando respeto y aprecio por los valores ticos, las relaciones interpersonales, la comunicacin y el trabajo en equipo.

11.Reconocer la importancia de los valores ticos, las relaciones interpersonales, la comunicacin y el trabajo en equipo en su desempeo profesional.

25. Identificar y evaluar aspectos ticos, de relaciones interpersonales, de comunicacin efectiva y de trabajo en equipo relacionados con labores tpicas de un profesional de sistemas, como la adquisicin de recursos de informtica y la estimacin del tiempo que toma llevar a cabo tareas8 que le han sido asignadas. 26. Clasificar los distintos trabajos llevados a cabo a travs de la concentracin entre individuales y grupales, e indicar la medida en que la interaccin con otras personas contribuy a mejorar estos trabajos.

Ambas labores requieren de un alto grado de honestidad, altos valores ticos y habilidad para comunicarse y relacionarse con las dems personas.

Apndice 2 Ejemplo de una rbrica (parcial) para avaluar el aprendizaje estudiantil

Ejemplo de rbrica

Apndice 2 p. 1

Rbrica para avaluar objetivo 1

Apndice B Rbrica para avaluar el objetivo (student outcome) nmero uno

Rbrica para avaluar objetivo 1

Apndice B p.1

Rbrica para avaluar objetivo 1

Apndice B p.2

Apndice C Report on pilot assessment of some SICI outcomes performed on May 2009

Institute of Statistics and Computerized Information Systems Faculty of Business Administration

Report on pilot assessment of some SICI outcomes performed on May 2009

Prepared by: Prof. Arnaldo I. Ramos Torres

Revised by SICI ABET Committee (on September 16, 2009): Dr. Katherine Franceschi Daz Prof. Mara del R. Rodrguez Orellana Dr. Rosarito Snchez Morcilio

August 31, 2009

Report on pilot assessment of some SICI outcomes performed on May 2009 Prof. A. Ramos

Introduction During the last semester (January May 2009) we designed the methodology to assess program outcomes in our major (SICI). Among other things, this methodology establishes the use of course capstone projects as the main assessment method. Students will prepare these projects by the end of the corresponding courses. We also prepared rubrics9 for most of our courses, as a way to facilitate and to standardize the assessment process. Although we discussed these rubrics with the ABET Committee, as well as with the professors in charge of the respective courses, we agreed to pilot test those rubrics. This pilot test was conducted by the end of last semester, in the following five courses: SICI 3245, SICI 3255, SICI 4025, SICI 4266 and SICI 4275. At the beginning of the current semester (August December 2009), I received the rubrics already completed by the professors, as well as remarks from some of the professors regarding their experience with the rubrics and the student reaction to the use of capstone projects. I integrated the individual rubrics into a summary table by outcome, based on the outcomes supported by each rubric. Finally, I analyzed the data, prepared this report and discussed it with the ABET Committee10. Assessment results The following remarks are derived from the data from the summary table, together with the feedback received from the professors involved in the pilot test. 1. Rubrics proved to be very simple to use. They simplified the data collection, the calculation of student scores, as well as the calculation of scores related to the outcomes being assessed. 2. The use of course-embedded assessment allowed assessing student outcomes without an additional burden on students and professors. All that professors had to do was to make sure that the project requirements support the characteristics contained in the project rubric. 3. Most students did very well on the assessment of program outcomes. See table 1.

10

Our rubrics are mostly analytical, and task-specific, since they are used to assess specific projects in which detailed feedback is needed to drive improvements. I want to acknowledge the support and the contributions received from the members of the ABET Committee (Dr. Katherine Franceschi, Prof. Mara del R. Rodrguez, and Dr. Rosarito Snchez), as well as the support and contributions received from the SICI professors.

[Report on Pilot Assessment May 2009

Apndica C p. 2

a. The percentage of students that obtained a passing score ranged from 85.71% to 100% throughout the different outcomes. (The minimum punctuation required for approval was 75.) b. The percentages of students that did not obtain a passing score ranged from 0% to 14.29%. c. On an overall basis (taking all outcomes as a whole), 95.38 % of the students approved the outcomes, and 4.62% did not approve. 1) Overall values in this table may be affected by outliers. Therefore, it may be more appropriate to use individual values. 2) We must keep in mind that when the results of one rubric are applied to more than one outcome, the number of students is included two times (one time for each outcome). Therefore, the totals in the summary table cannot be interpreted as students but as student/method. 4. The main contributors to the assessment results obtained are the contents of the courses and the educational strategies used by professors11. But these results can also be attributed to other factors, like the following: a. By the time the assessment was performed, most students not performing well in the course had already abandoned it. b. Students knew beforehand all the characteristics to be assessed in the particular method used. c. The methods used were take-home projects, with reasonable time for preparation. Projects usually raise student interest and performance. d. Projects used resemble the work performed by IS professionals in industry and government, which probably contributed additionally to raise student interest. e. All students assessed belong to the SICI major, so it is reasonable to assume that they put a special interest in the courses, as well as the assessment methods. 5. The importance of some of the characteristics assessed in a project was diluted within the other characteristics. Examples of these characteristics are the ones associated to soft-outcomes, like communications and teamwork. a. For example, in SICI 4275 the following two characteristics (out of 15) in the project were associated to soft-outcomes:

11

It would be interesting to formally poll students regarding the use of course capstone projects as a learning and assessment method.

[Report on Pilot Assessment May 2009

Apndica C p. 3

1) Writing communication skills applied in the project narrative (number of ideas per sentence, clarity, transition, parallelism, etc.) 2) Oral communication skills applied in the project presentation (clarity of expression, fluency, proper use of words, etc.) Even failing in these two characteristics, a student could have got a high score in the project as a whole. In this case, we would have assigned the high score to both outcomes supported by the project (number 9 and 11), which is not correct. Rubrics As I stated before, rubrics proved to be very simple to use and to facilitate the calculation of student scores, as well as scores related to the outcomes. But being a dynamic tool, some modifications and recommendations are in order. 1. Right now, rubrics include all characteristics related to a given project, not just the ones applicable to a given outcome. This approach is well suitable for the professor, since the rubric will help him grade the project as a whole. But it is not suitable for assessing individual outcomes, when the project relates to more than one outcome. Rubrics will have to be modified to be able to relate each individual characteristic of the method assessed to a particular outcome. This will allow rubrics to calculate statistics for each individual outcome, using only the characteristics associated to the particular outcome, besides calculating statistics for the method as a whole. Lets see an example. a. In projects that support two outcomes, not all characteristics of the project apply to both outcomes. Lets say a given project has 20 characteristics to be assessed, that characteristics 1 to 10 are related to one outcome, and characteristics 11 to 20 are related to the other outcome. If the score obtained by the student in all 20 characteristics was 80, this score will be assigned to both outcomes12. But the previous action represents a problem, since in practice maybe the overall score came from the fact that the student got 90s in the first 10 characteristics and only 70s in the last 10 characteristics. Assuming a passing score of 75, the student did approve the first outcome, but he did not approve the second one. If we assign 80 to each outcome, the student will be counted as approving both of them, when in reality he only approved one. b. Preparing one separate rubric per outcome would easily solve the problem for assessment purposes, but will negatively affect the usefulness of the rubrics for grading purposes. Professors would then have to grade the project using two different rubrics and then integrate both results to get the overall project result.
12

This was a decision made by the ABET Committee.

[Report on Pilot Assessment May 2009

Apndica C p. 4

c. The right solution is to modify the rubrics so that each characteristic can be directly linked to the outcome to which it applies. Each rubric could then produce separate results for each outcome (taking into consideration only the characteristics related to that outcome), besides producing the overall result (taking into consideration all characteristics in the rubric). Additionally, the summary table would include only results per outcome (since these are the ones needed for assessment) and not the overall project result (since this one is useful only for the professor). d. Fortunately, the changes to the rubrics, although significant and time consuming, will be mostly in the background. That is, they will affect mostly the way results are calculated, and not so much the look and feel of the rubric. 2. We should analyze the idea of preparing special rubrics for the following soft outcomes: a. Lifelong learning b. Ethics and interpersonal relationships c. Communication d. Teamwork Rubrics for these types of outcomes are usually less specific (i.e. more generic) than rubrics for hard outcomes. 3. We should also analyze the idea of using a different method, like an exit interview, to assess the soft-outcomes. This method could also be used to analyze the student portfolio of projects. It should have its own rubric in order to facilitate, and to standardize, the assessment process.

Table 1 Summary of assessment results

Summary of assessment results

p. 2

Summary of assessment results

p. 3

Summary of assessment results

p. 4

Summary of assessment results

p. 5

Apndice D Proposed Proposed modifications to SICI educational objectives, learning outcomes, performance criteria and rubrics

Institute of Statistics and Computerized Information Systems Faculty of Business Administration

Proposed modifications to SICI educational objectives, learning outcomes, performance criteria and rubrics

Prepared by: Prof. Arnaldo I. Ramos Torres

(Reviewed and approved by ABET Committee on September 25, 2009) (Dr. Katherine Franceschi, Prof. Arnaldo Ramos Prof. Mara del R. Rodrguez, Dr. Rosarito Snchez)

August 2009

Proposed modifications to SICI educational objectives, learning outcomes, performance criteria and rubrics Prof. A. Ramos, August 2009

Introduction During the implementation of a project, it is typical that several changes to the project design show up. My experience designing systems and working in complex projects has shown me that, unless these changes are show stoppers, it is better to document them and wait until a proper moment to incorporate them into the design. Otherwise, you may get into a neverending-changing-cycle which weakens the original design and threatens the success of the project. The pilot implementation of the SICI assessment process produced some potential modifications for this process. Also, my recent attendance to an ABET assessment workshop in Baltimore13 provided me ideas and information for some additional modifications. The time has come to incorporate these changes. Scope of modifications Proposed modifications consist mostly of the following: 1. A reorganization between outcomes and performance criteria, by shifting some details from outcomes to performance criteria, and merging some outcomes. 2. Increasing the emphasis of some outcomes, like communications and teamwork. 3. Modification of some of the verbs used. None of the original outcomes were eliminated and no totally new outcome was added. Rationale for the modifications The main reasons to propose these modifications are: 1. To obtain a closer mapping between our outcomes and ABETs14. 2. To emphasize outcomes on teamwork and communication. Right now these outcomes are bundled in just one outcome, together with ethics and interpersonal relationship.
13

14

Empower Your Assessment Leader Through IDEAL, Institute for the Development of Excellence in Assessment Leadership, ABET, Baltimore, Maryland Originally, ABET did not allow accreditation candidates to use ABETs outcomes. According to Gloria Rogers, that position has been changing, and now it is allowed to use them. But still the alternative of defining particular outcomes and mapping them to ABETs is used by many universities.

Proposed Proposed modifications to SICI educational objectives

p. 2

3. To reduce the level of detail on hard outcomes, particularly the ones related to tools (# 4, 5, 6 and 7, all of them related to objective #2). 4. To establish a clearer difference between outcomes # 4, 5, 6 and 7 (all of them related to objective #2) and performance criteria # 4, 5, 6 and 7. Right now they look quite similar, maybe because the hard outcomes are too detailed. 5. To simplify assessment. If the number of outcomes is reduced, we will have to prepare fewer rubrics. And, if outcomes are phrased in a less detailed way, we will have more flexibility when mapping them to courses. 6. To improve some of the verbs used, as well as to reduce the use of compound verbs. Approach recommended In order to expedite the analysis and approval of the modifications without disrupting the whole project, we recommend the following approach: 1. Try to minimize changes to the rubrics already prepared and the data already collected. We have to be very careful in order to accomplish this. 2. Preserve the usefulness of rubrics both for grading projects and for assessing outcomes. To the extent that rubrics are only useful for assessment, professors may not be inclined to use them. 3. Perform changes in the English version first, and then translate them into Spanish. 4. Review and approve changes at the ABET Committee level. The fact that changes are mostly related to organization and level of detail justifies this approach. Modifications to educational objectives Our educational objectives are closely related to the professional characteristics that IS2002 identifies for Information Systems professionals15. Since the objectives have this solid foundation, few changes are recommended. 1. Reduce the use of verbs in objective #1. One way to do it is to use only the verbs belonging to the highest cognitive levels. 2. Eliminate in objective #3 the restriction stated by the phrase organizational context, in order to allow for the context outside the organization. The local and global context will be addressed later on in a modification proposed to outcome #8.
15

ACM, AIS y AITP (2002). IS 2002: Model Curriculum and Guidance for Undergraduate Degree Programs in Information Systems, pages 6 and 7

Proposed Proposed modifications to SICI educational objectives

p. 3

Before
1. To select, design, implement, operate information systems in an organization. 3. To take into consideration the organizational context in which information systems operate, when selecting, implementing and managing information systems.

After
1. To implement and manage the development of information systems in an organization. 3. To take into consideration the context in which information systems operate, when implementing and managing these systems.
(Note: Local and global context will be addressed in a modification proposed to outcome #8.)

Modifications to student outcomes (previously called learning outcomes) As we said before, the proposed modifications to outcomes are mostly oriented to obtain a closer mapping between our outcomes and ABETs, and to reduce the level of detail, leaving the details to the performance criteria. The specific changes being proposed are the following: 1. Merge all outcomes related to objective #216 into a single one. This way the difference between our outcomes and our performance criteria will be clearer, and our outcomes will be closer to ABETs. Also, assessment will be simplified because it will be easier to assess just one outcome than four.
Before
4. To design a technological infrastructure, consisting of hardware, software and communications networks, to support the operation of an information system. 5. To design the automated processes that compose an information system, like data validation, data base updates, data inquiries and report writing. 6. To apply the principles and techniques that should be taken into consideration when designing data bases. 7. To define the data communications requirements to implement and effectively operate an information system.

After
4. To use current techniques, skills, tools and best practices to design, implement and manage information systems.

(Already included in performance criteria #5.)

(Already included in performance criteria #6.)

(Already included in performance criteria #7.)

2. Address the local and global perspective, together with the organizational context, in outcome number 8. ABET requires this in one of the outcomes, and we can easily make this change in this outcome. The second part of the outcome was eliminated because it is redundant with the performance criteria.
16

Objective # 2: To apply technological, analytical, and critical thinking skills in the solution of problems related to information systems within organizations.

Proposed Proposed modifications to SICI educational objectives

p. 4

Before
8. To recognize the importance that organizational aspects have in the success of information systems, and to identify ways in which these aspects should be addressed.

After
8. To understand the impact that organizational, local and global environments have in the implementation and management of information systems.

3. To emphasize the ability to work in teams and the ability to communicate, by defining a separate outcome for each. ABET has separate outcomes for each of these abilities, and they put a lot of emphasis on them. We have both of them embedded in just one outcome, which also includes ethical values and interpersonal relationships.
Before
11. To recognize the importance of ethical values, interpersonal relationships, communication, and teamwork in an information systems professional.

After
11. To recognize the importance of ethical values and interpersonal relationships in an information systems professional.

12. To communicate effectively with a range of audiences. 13. To function effectively in teams seeking to accomplish a common goal.

Modifications to performance criteria ABET allows a great deal of flexibility in defining performance criteria. We dont have to map our performance criteria to ABETs. First, because they dont prescribe performance criteria. Second, because they dont even require the program to have these criteria. But of course, we need to define performance criteria in order to be able to use direct assessment methods. Also, if we want to provide feedback to students regarding their performance, we need performance criteria at some level of detail. 1. Define the performance criteria corresponding to the two new outcomes (communication and teamwork).
Before After
12. To prepare written reports and oral presentations related to information system topics. 13. To demonstrate ability to work effectively in task-oriented groups, like information system project teams.

(None)

(None)

Proposed Proposed modifications to SICI educational objectives

p. 5

2. Merge performance criteria # 9 and 10 into only one, and focus it towards a deliverable that will include both, as we did with most other performance criteria.
Before
9. To identify and evaluate the implications of risk factors in information systems. 10. To describe general controls applicable to the information system function in organizations, as well as specific controls for applications.

After
9. To prepare a disaster recovery plan for the information system operations of an organization. (Merged into proposed outcome #9. A disaster recovery plan includes both general and application controls.)

3. Eliminate performance criteria #13. We already defined a particular performance criterion for teamwork, so there is no need to keep this one. Consider using it as one of the questions for an exit interview.
Before
13. To classify the projects prepared throughout the different courses as "individual" or "group", and to indicate to what extent the interaction with other people improved those projects.

After
(We already proposed a particular performance criterion for teamwork (#13). Teamwork may also be assessed through a question in the exit interview, if necessary.)

Modifications to verbs Although it is correct to have compound verbs, it is convenient to minimize their use. One way to do it is to eliminate the verbs that belong to the lowest cognitive levels, and keep the ones belonging to the highest. Proposed verb changes are already incorporated to the objectives, outcomes and performance criteria in the following table. Words eliminated are identified within parenthesis and underlined. New words are highlighted in bold. Modifications to rubrics Modifications to rubrics due to changes in outcomes and performance criteria will be minimal. As stated before, modifications to outcomes consisted mostly of a reorganization and some changes in emphasis, therefore rubrics already contain characteristics to assess all modified outcomes. Of course, rubrics may have to be reviewed, but this review can be part of the continuous improvement process.

Proposed Proposed modifications to SICI educational objectives

p. 6

SICI constitutional table with proposed modifications already incorporated The following table contains all the proposed modifications. Appendixes Appendix 1 contains a list of ABETs outcomes, and Appendix 2 contains a mapping between student outcomes, required SICI courses and ABETs outcomes. Appendix 3 contains a mapping between student outcomes, elective SICI courses and ABETs outcomes.

Proposed Proposed modifications to SICI educational objectives

p. 7

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria (including modifications) Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

11. To (select, design) implement (operate) and manage the development of information systems in an organization.

1. To analyze an operation within an organization, identify problems and make recommendations to solve these problems. (a?, b, j)

1. To prepare functional, technical, and other requirements for an information system that solves the problems identified in an operation. (4025)

2. To select or design a system to solve the problems identified in an operation. (a?, c, j) 3. To plan and supervise the implementation of a system that solves the problems identified in an operation. (a?, c, j) 12. To apply technological, analytical, and critical thinking skills in the solution of problems related to information systems in organizations. 4. To use current techniques, skills, tools and best practices to design, implement and manage information systems. (a, c, i)

2. To design the components of an information system based on the functional requirements prepared for that system. (4025)

3. To (prepare) develop a plan to implement an information system, including the phases and activities that this process requires. (4278)

4. To identify the hardware, software and data communication components needed to operate an information system, and to integrate them in a technological solution. (3245)

5. To (prepare) code, test, and document computer programs to perform the automated processes that compose a system, using modern programming tools. (3255, 4266)

Proposed Proposed modifications to SICI educational objectives

p. 8

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria (including modifications) Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

6. To design a properly normalized database based on requirements prepared by systems analysts or by users. (4015)

7. To identify the components of a communications network, mention the main characteristics of these components, and to present the way they integrate into a network. (4286) 13. To take into consideration the (organizational) context in which information systems operate, when (selecting), implementing and managing (information) these systems. 5. To understand the impact that organizational, local and global environments have in the implementation and management of information systems. (g, j) 6. To value the protection of information system resources in an organization, and to identify ways in which this protection can be achieved. (e, j) 14. To maintain his professional expertise by updating his knowledge in technology and information systems. 7. To be aware of the high level of change in the Information Systems field, and the need to use different mechanisms to update his knowledge. (h) 8. To (identify) analyze administrative, organizational, local and global aspects that affect information systems, and to define strategies to deal with these aspects. (4278, 4266)

9. To prepare a disaster recovery plan for the information system operations of an organization. (Note: We can use the same rubric we use now.) (4275)

10. To get related with professional associations, publications and Continuing Education alternatives in the geographic area where he lives or works. (Will require a rubric for exit interview.) (exit interview)

Proposed Proposed modifications to SICI educational objectives

p. 9

University of Puerto Rico Faculty of Business Administration, Information Systems Major SICI Constitutional Table Educational objectives, student outcomes and performance criteria (including modifications) Prof. A. Ramos
Educational objectives
(What the graduate must accomplish in the first few years (3 to 5) of his professional career.)

Student outcomes
(What the student must know, value, and be able to do, at the time of his graduation, which will enable him to achieve the educational objectives.)

Performance criteria
(What the student must be able to do, or to produce, in order to show that he complies with the learning outcomes.)

15. To perform his functions showing respect and appreciation for ethical values, interpersonal relationships, communication, and team work.

8. To recognize the importance of ethical values and interpersonal relationships in an information systems professional. (e)

11. To identify and evaluate ethical and interpersonal relationship aspects related to information system professionals. (Will require a rubric for exit interview.) (exit interview)

9. To communicate effectively with a range of audiences. (f) 10. To function effectively in teams seeking to accomplish a common goal. (d)

12. To prepare written reports and oral presentations related to information system topics. (3245, 4025, 4275) 13. To demonstrate ability to work effectively in task-oriented groups, like information system project teams. (Will require a rubric for exit interview.) (4278 and exit interview)

Appendix 1

ABETs Computing Accreditation Criteria

(2007-08 Accreditation Cycle)

Criterion 2: Program Educational Objectives The program has documented, measurable educational objectives that are based on the needs of the programs constituencies.

Criterion 3: Program Outcomes The program has documented, measurable outcomes that are based on the needs of the programs constituencies. The program enables students to achieve, by the time of graduation: (a) An ability to apply knowledge of computing and mathematics appropriate to the discipline (b) An ability to analyze a problem, and identify and define the computing requirements appropriate to its solution An ability to design, implement, and evaluate a computer-based system, process, component, or program to meet desired needs An ability to function effectively on teams to accomplish a common goal An understanding of professional, ethical, legal, security and social issues and responsibilities An ability to communicate effectively with a range of audiences An ability to analyze the local and global impact of computing on individuals, organizations, and society Recognition of the need for and an ability to engage in continuing professional development An ability to use current techniques, skills, and tools necessary for computing practice. An understanding of processes that support the delivery and management of information systems within a specific application environment

(c)

(d) (e)

(f) (g)

(h)

(i)

(j)

ABET Copmputing evaluation criteria

p. 1

Appendix 2
Mapping of s tudent outc omes to S IC I (required) c ours es , E xit interview and AB E T outc omes P rof. A. R amos , S eptember 2009
E x it R equired c ours es 3245 3255 4015 4025 4266 4275 4278 4286 interview X AB E T outc omes A,B ,J

# 1

S tudent outc omes T o analyz e an operation within an organiz ation, identify problems and make recommendations to s olve thes e problems .

2 3

T o s elect or des ign a s ys tem to s olve the problems identified in an operation. T o plan and s upervis e the implementation of a s ys tem that s olves the problems identified in an operation. T o us e current techniques , s kills , tools and bes t practices to des ign, implement and manage information s ys tems .

A,C ,J

A,C ,J

A,C ,I

5 T o unders tand the impact that organiz ational, local and global environments have in the implementation and management of information s ys tems . 6 T o value the protection of information s ys tem res ources in an organiz ation, and to identify ways in which this protection can be achieved. T o be aware of the high level of change in the Information S ys tems field, and the need to us e different mechanis ms to update his knowledge. T o recogniz e the importance of ethical values and interpers onal relations hips in an information s ys tems profes s ional. T o communicate effectively with a range of audiences . X X X X X X X X G ,J

E ,J

E F D

10 T o function effectively in teams s eeking to accomplis h a common goal. Note: W e are trying to as s es s not more than three outcomes per cours e.

Proposed Proposed modifications to SICI educational objectives

p. 2

Appendix 3
Mapping of s tudent outc omes to S IC I (elec tive) c ours es and AB E T outc omes P rof. A. R amos , S eptember 2009
E lec tive c ours es 4285 4405 4465 X X X 2 4998
(S ee notes )

# 1

S tudent outc omes T o analyz e an operation within an organiz ation, identify problems and make recommendations to s olve thes e problems .

AB E T outc omes A,B ,J

2 3

T o s elect or des ign a s ys tem to s olve the problems identified in an operation. T o plan and s upervis e the implementation of a s ys tem that s olves the problems identified in an operation. T o us e current techniques , s kills , tools and bes t practices to des ign, implement and manage information s ys tems .

A,C ,J

A,C ,J

A,C ,I

T o unders tand the impact that organiz ational, local and global environments have in the implementation and management of information s ys tems . T o value the protection of information s ys tem res ources in an organiz ation, and to identify ways in which this protection can be achieved. T o be aware of the high level of change in the Information S ys tems field, and the need to us e different mechanis ms to update his knowledge. T o recogniz e the importance of ethical values and interpers onal relations hips in an information s ys tems profes s ional. T o communicate effectively with a range of audiences .

G ,J

E ,J

X X

E F D

10 T o function effectively in teams s eeking to accomplis h a common goal. Notes : W e are trying to as s es s not more than three outcomes per cours e. S IC I 4998 could s upport any of the outcomes , depending on the particular job obtained by the s tudent. B ut s ince s tudents have to prepare a paper, the outcome on communication could be as s es s ed here.