If a tree casts a shadow

is it telling the time?

Russ Abbott1
1
Department of Computer Science, California State University, Los Angeles, Los Angeles, Ca, 
USA
Russ.Abbott@GMail.com

Abstract. Physical processes are computations only when we use them to external­
ize   thought.   When   suitably   formulated—with   nature   as   an   oracle—agent­based 
computing in an open environment represents the current consensus view of how to 
think about how we interact with the world.

Keywords.  Thought   tools,   computation,   thought,   ideas,   models,   unconventional 

computation, agents, agent­based computing, interaction, interactive computation.

Introduction

In the preface to the first edition of the International Journal of Unconventional Compu­
tation, the editorial board (IJUC Editorial Board, 2004) welcomes papers in “information 
processing  based on physics, chemistry and biology.” But  it  is  left  undefined what it 
means to say (a) that a physical, chemical, or biological system is doing information pro­
cessing or (b) that information processing is “based on” physics, chemistry, or biology. In 
this paper we explore the implications these questions
This paper has been inspired by the questions:
• What is computation? 
• How can computation be distinguished from other processes in nature? 
Our primary conclusion will be that physical processes are considered computation 
when we treat them as externalized thought. In other words, it’s all in the mind.
We will also argue that unconventional computation as well as other models of compu­
tation ranging from ubiquitous computing and interactive computing to systems of sys­

1/23
tems are all variants of agent­based computing. We will agree (although on uncontrover­
sial grounds) with Wegner that this model of computation is more expressive than Turing 
machines.

Is Google reading my email?

That’s the first question in the Google Gmail help center (Google, 2006). This question 
arises because Gmail places ads next to email messages, and the selection of ads is based 
on the contents of the messages. Google’s answer to this question has varied over time. 
On March 13, 2006, the posted answer was as follows.
Google computers scan the text of Gmail messages in order to filter spam and detect
viruses, just as all major webmail services do. Google also uses this scanning techno-
logy to deliver targeted text ads and other related information. The process is completely
automated and involves no humans. [Emphasis added.]
In other words, Google’s computers are reading your email —but no human beings are. 
That most people find this reassuring illustrates the intuition that it’s what goes on in the  
mind of a human being that matters to us.
One might object that if a computer is reading one’s email and storing its contents in a 
Google database, a person might be able to read it later. That’s quite true, and the fact that 
only Google computers (and not Google employees) are reading one’s email does not 
guarantee one’s privacy. The point we wish to emphasize is that if no person ever reads 
the original or stored copy of one’s messages, then most people will feel comfortable that 
their privacy has not been violated. 
After all, all email is read—in one sense of another—by a number of computers as it 
passes from sender to receiver. No one has ever worried about that. The moment of viola­
tion occurs when some living human being becomes consciously aware of one’s personal 
information. 
But, one might argue, the kind of reading that occurs when a computer transmits a 
message along a communication channel is qualitatively different from the kind of read­
ing that occurs when a Google computer determines which ads to place next to a mes­
sage. The former kind of reading treats messages as character strings. No meaning is ex­
tracted. The kind or reading that Google computers do extracts (or attempts to extract) 
meaning so that related ads can be displayed. 

2/23
 This raises the question of what we understand by the term meaning. That’s clearly a 
larger topic than we can settle here.  But our short answer—and the reason we believe that 
most people find Google’s answer reassuring—is that our intuitive sense of meaning has 
something to do with an idea or thought forming in a mind.   At this stage in the develop­
1

ment of technology, most people don’t believe it makes sense to say that an idea has 
formed in the mind of a computer—or even to say that a computer has a mind at all. We 
may   speak   informally  and  say  something   like   “the  computer   is   doing  this  because   it 
thinks that.” But when we say these sorts of things, we are deliberately speaking meta­
phorically; we don’t really think of computers as actually “thinking.” Until we start to 
think of computers as having human­like minds—minds that have subjective experience, 
minds in which ideas can form—then most people will feel comfortable with Google’s 
reply that its computers, but no human beings, are reading one’s email.

To come

Section 2 continues the discussion of thoughts and ideas and introduces the notion of 
thought tools. Section 3 offers a brief history of thought tools. Section 4 considers how 
computation  might be defined. Section 5 switches gears and discusses the agent­based 
computing paradigm as more than just an approach to programming and modeling but as 
common to many of the new ways we think about the world. Section 6 draws a grand con­
clusion.

Thinking and thought tools

If a tree grows in a forest, but no one counts its rings is it counting years? Is it performing 
an unconventional computation? If a tree grows in a forest but no one knows it’s there, is 
it instantiating the idea of a tree? These questions have the same sort of answers as does 
Bishop Berkeley’s famous question: if a tree falls in a forest with no one around to hear it, 
does it make a sound? 

1   This clearly is different from the formal semantics sense in which meaning refers 
to a mapping from an expression to a model.

3/23
 The question is not as difficult as it seems—although our answer is not Berkeley’s an­
swer.  The issue is not whether the physical events occur. Of course they do—and if one 
2

defines the occurrence of the physical events as the making of a sound, then a sound is 
made. But if there is no one around to hear it there will be no subjective experience of a 
sound. 
If a tree falls in a forest, it generates (what we call) sound waves whether someone is 
there to hear them or not. Those sound waves are physical events. If powerful enough, 
they can damage things in their path, and they can shatter objects that vibrate in sym­
pathy. All this will happen whether or not there are any witnesses.
But if no one is there to hear the sound, if no being has a subjective experience of the 
sound, then no sound will be heard. No subjective experience will occur in any being cap­
able of having a subjective sound experience.
The same holds for ideas. Like the subjective experience of a sound, the idea of a tree 
exists only as a subjective experience. If no one has that subjective experience, then a tree 
without anyone knowing about it will not be instantiating the idea of a tree.
Even if one grants that the idea of a tree is exactly the right way to describe that partic­
ular aspect of nature, that idea exists only as an idea, and it exists only in the mind of 
someone who is thinking it. Ideas exist only within the realm of mental events, i.e., as 
subjective experience. In saying this we are taking an explicitly anti­Platonic stance: there 
is no realm outside the mind in which ideas exist on their own.   3

This is not intended to be mystical or profound—just a statement of a brute fact: an 
idea is something that occurs only in someone’s mind. The ideas in this paper exist only 
in the mind of the author and the minds of the readers as the author and readers are think­
ing them. These ideas don’t exist on the paper or on the computer screens on which these 
words appear. They don’t exist in the computer memory in which these words are stored. 
Just as the moment at which an invasion of privacy occurs is when some being­with­a­

2   Berkeley’s  answer   is  that   it  does  make   a  sound   because   God,   who  is  always 
everywhere, hears it.
3   We are not taking a stand on nominalism vs. realism. Although we believe that 
our (human) ideas about how nature should be described are not arbitrary and that entities other 
than the elementary particles do exist (see Abbott, 2006), that is not at issue here. In this paper, 
we are making a point that should be obvious on its face: an idea is a mental event. As such it ex­
ists only when someone is thinking it.

4/23
mind learns something personal about us, an idea exists only when someone is thinking 
it. 4

We go to such lengths to make this point because our fundamental position in this pa­
per is that computations, like ideas, are also mental events. But computations are mental 
events that we have figured out how to externalize in such a way that we can use physical 
processes to perform them.
When a tree grows rings, it just grows rings.  But when we use that tree­ring growth as 
a way to count years, i.e., to help us work with ideas such as the idea of a year, then we 
can say that the tree has performed a computation—for the purposes of this conference, 
an unconventional one.
When a computer runs is it computing?  Our answer is the same. A computer is com­
puting only when it is understood to be performing some externalized mental activity. 
Otherwise, it’s just an arena within which electrons are moving about. 

A brief history of the internalization and then the externalization of thought

One may trace one thread through the history of disciplined thought  as the internalization 
5

and then the externalization of thought. 
Initially we (humanity) looked outward for answers to questions about how to make 
sense of the world. Not knowing what else to do, we looked to sources of what we hoped 
were authority: priests, oracles, prophets, sacred writings, divinities, etc., to tell us what 
to think and what thoughts to install in our minds.   6

4   This  position   requires   some   care   in   formulation.  If   an   idea   exists   only  when 
someone is thinking it, what does it mean to say that two people have or had “the same” idea? 
We believe that these issues can be worked out.
5   We understand disciplined thought to be thinking which refers to coherent, or­
ganized ideation, i.e., the creation, review, and analysis of mental content that can be formulated 
as an organized body of ideas. 
It is unlikely that any body of knowledge can be formulated completely on a conceptual level. No 
idea is completely independent of experience. After all, the term idea itself is understood to refer 
to a mental event which is an aspect of subjective experience of a living being. The very act of 
thinking is both a subjective experience and a physical event. So there will be indefinable primit­
ives in any discipline. 
6   One wonders what  priests, oracles, prophets, and other human authorities be­
lieved about how the ideas they transmitted arrived in their own minds. Perhaps they believed 
that the ideas had been implanted in their minds as a result of their special status or as a result of 

5/23
 We often fought with each other about whose sources of knowledge were right. In a re­
cent op­ed piece (Albacete, 2006), Lorenzo Albacete, a Roman Catholic priest, laid out 
the position of those who fear the use of religion as a source of knowledge.
For [nonbelievers], what makes Christianity potentially dangerous [is not its other-
worldliness but] its insistence that faith is … the source of knowledge about this world.
As Albacete later notes, by the time of the Roman Empire, the use of religion as a 
source  of  ideas   about   how  nature  works  had   been   discarded   by  enlightened   thinkers. 
Greek and Roman philosophers believed that they themselves could be a source of  know­
ledge about the world. 
The step from looking for external sources of knowledge to supposing that perhaps we 
can figure it out for ourselves is what we are referring to as the internalization of thought
—attributing to oneself the power to produce thoughts of value and rejecting the notion 
that thoughts must originate externally to be valid. 

Externalized thought and tools to work with it

If human beings can be sources of valid thought, then tools of thought, means and mech­
anisms outside the mind that help us formulate and work with our thoughts, also have 
value. Thus was born the externalization of thought. The fundamental issues of external­
ization are the following. 
• How can thought—which, after all, exists only in the mind—be represented out­
side the mind in forms that allow us to work with it? 
The   standard   forms   in   which   thought   is   represented   outside   the   mind   are 
(a) drawings,   diagrams,   sound   recordings,   and   images   and   (b) symbols   such   as 
words, numbers, and other symbolic notations. These categories correspond to what 
will later become the distinction between analog and digital computers. 
• Can  we  devise tools  that provide mechanisms  for manipulating and otherwise 
working with such externalized thought? 

some special words or rituals that they performed. Presumably they didn’t believe that they them­
selves made them up. Most likely they didn’t ask themselves this question.

6/23
The history of thought tools

The history of early computing may be traced along three paths. Each path traces devices 
that help us think about a particular (and fundamental) subject area: time, counting (arith­
metic), and space (geometry).

Time computers

We used natural processes to help us express our ideas about time—the daily, monthly, 
and yearly cycles of the earth, moon, and sun about each other. Not to beat this point into 
the ground, but day, month, and year are ideas. As ideas, they exist only in the mind—no 
matter how accurate or true they are as descriptions of nature. 
The first (analog) time computers were the actual processes that corresponded to our 
thoughts. The rising and setting of the sun were the physical events that we used to keep 
track of the mental events: the start and end of a day. 
Similarly for the moon. Yearly events such as river floodings and the comings and go­
ings of the seasons helped us keep track of the mental event: the yearly solar cycle. 
These natural processes might be considered early primitive analog computations. The 
physical analogs that we used to help us think about and track mental events were actual 
physical events that corresponded to the mental events.
It didn’t take us long to invent more sophisticated analog computers. The sundial, for 
example, is an analog computing device. The position of the sun’s shadow is an analog 
for the mental event time­of­day which corresponds to the physical event relationships 
between the relative positions of the sun and the earth.
It is worth noting that with the sundial we started to arrange physical materials to help 
us track our thoughts. In building sundials we set up shadow casters, which in conjunction 
with the sun and markings on the surface on which the shadow is cast, help us track (our 
ideas about) the passing of the day. Presumably this was not a very significant step from 
simply using existing shadow­casting objects, e.g., trees, for the same purpose. (If a tree 
casts a shadow, is it telling the time?)

7/23
Using epiphenomenal shadows to tell the time

The use of shadows as thought tools deserves special attention. In (Abbott, 2006) we dis­
cuss naturally occurring entities—entities that persist independently of human observa­
tion. These include atoms, molecules, animals, organizations, hurricanes, galaxies, and 
most of the things we intuitively think of as entities. Shadows are not in this category. 
A shadow, after all, is that portion of a background or surface that is not illuminated by 
a light source because an object is blocking the light. The light source may be an entity; 
the object blocking the light may be an entity; the background or surface on which the 
shadow is cast may be an entity. The shadow itself is not an entity. At best, a shadow—
and more importantly, a moving shadow and the leading edge of a moving shadow—are 
epiphenomena of the possibly changing relationships among the light source, the back­
ground, and the object. 
Although the mechanisms are completely different, a (moving) shadow is very much 
like a  (moving) pattern (such as a glider pattern) in the Game of Life. In both cases, the 
apparent object (the shadow or the Game of Life pattern) consists of illuminated/not illu­
minated or on/off elements on a surface. Over time, the on/off elements may appear to 
move across the surface.  In fact, the on/off elements don’t move; it is only the patterns of 
on/off elements that appear to move.  
But patterns don’t move either. With both Game of Life patterns and shadows, portions 
of the surface are on and portions of the surface are off at any given time.  That the same 
or similar on/off configurations appear first at one location and then at another is strictly 
a consequence of the mechanisms that generate those shadows and patterns.  
Patterns and shadows themselves are not capable of moving either under their own 
power or as a result of some force being applied to them. Neither shadows nor patterns 
can propel themselves. Nor can one push or pull them.
The mechanisms that produce both shadows and Game of Life patterns are fixed—and 
thoughtless. The Game of Life rules are simply rules for how and when cells turn on and 
off. The relative motion of the sun, a tree (or other shadow casting object), and a back­
ground surface is equally fixed and thoughtless. Yet in both cases, we can use the gener­
ated patterns to represent our thoughts. 
Using Game of Life patterns we can generate very complex ideas: patterns that fill un­
bounded portions of the grid, patterns that (can be used to) count, patterns that can be 
used to generate prime numbers, and patterns that can be interpreted as Turing Machine 

8/23
computations. Similarly, we can interpret sun/object/ground shadow patterns to help us 
think about ideas such as the time of day or day of the year. 
We have been quite creative about this. We apparently used shadow patterns to help us 
think about the time of day and day of the year before we understood the mechanisms that 
caused those shadows patterns to be connected to daily or yearly cycles. We had the idea 
of a day and a year, and we used shadows to help us think about them before we knew 
what produced them. In both cases, we used patterns generated by fixed rules to help us 
think.

Number computers

Apparently we started to count quite early. Bones with notches carved into them appeared 
in western Europe 20,000 to 30,000 years ago. There is apparently evidence of the use of 
a tally system—groups of five notches separated from each other. (Maxfield, 2006). 
With tally systems not only did we mark physical materials to help us keep track of 
numbers (which are also mental events), we also invented ways to make counting easier 
by the specific way in which we arranged these markers, i.e., in groups. Although notches 
are digital, this is analog computation at both a direct level (individual notches are entity 
analogs) and a basic meta­level (notch groups are collection analogs). (See discussion of 
analog computation below.)
With these primitive analog computers we separated the computational process from 
its dependency on natural processes. Sundials and astronomical masonry depend on the 
sun and the stars. Counting depends on nothing other than human activity. 
At approximately 5,000BC, the abax, followed soon by the abacus, was invented. The 
abax was originally a dusty surface that was used—by drawing lines in the dust—to rep­
resent numbers using positional notation. Pebbles or other markers could also be used as 
counters in the positions. More sophisticated versions had grooves. 
Once we invented computational devices that were essentially independent of non­hu­
man physical processes it was a short step to the use of written notation instead of pebbles 
and grooves. At approximately 3,000 BC cuneiform writing on clay tablets in positional 
notation was known in Babylonia. 

9/23
Space computers

Besides time and numbers, the Pythagoreans in Greece and Euclid in Egypt developed 
ways to think about space. We know that early geometers thought about construction is­
sues. The straight edge and compass were their thought tools. They used them to external­
ize, to create representations of, and to manipulate the ideas of straight lines and circles. 
These were the (human­powered) computers of the early geometers.

Is it reasonable to call abaci and geometers’ tools computers? 

Even though abaci and geometers’ tools are completely independent of non­human phys­
ical processes, i.e., they are entirely dependent on human activity to make them operate, 
we feel justified in calling them computers because they are used according to mechanical 
rules. Even though the source of power for an abacus is the user, the abacus user follows 
strict rules—rules which could be automated. 
The fact that an abacus is human­powered doesn’t detract from its status as a computer. 
At the dawn of the 20th century, David Hilbert famously dreamed of automating mathem­
atics. His dream was that a mechanical procedure would allow one to determine whether 
or not a statement was provable from a set of axioms. Hilbert dreamed his dream before 
there were any devices that could carry out his imagined procedure—were it even pos­
sible to do so.  Yet Hilbert’s dream was of a mechanical computational procedure in the 
7

same sense that the rules followed by an abacus user is also a mechanical computational 
procedure. Today’s computers are not different in kind from these pre­computer com­
puters. They just represent our success in harnessing processes of nature to carry out the 
mechanical procedures in terms of which we have long thought.

Thought tools for symbol manipulation

Beyond time, numbers, and space, we have for a long time built thought tools to represent 
symbolic thoughts and relationships. (Sowa, 2006) has this to say about the Tree of Por­
phyry.
The oldest known semantic network was drawn in the 3rd century AD by the Greek
philosopher Porphyry in his commentary on Aristotle's categories. Porphyry used it to

7   We know now, of course, that no such procedure is possible.

10/23
 illustrate Aristotle's method of defining categories by specifying the genus or general
type and the differentiae that distinguish different subtypes of the same supertype.
Another attempt to externalize symbolic thought has been credited to Ramon Lull in 
the late 13th century. (Smart Computing, 2006) describes it as follows.
Ramon Lull’s logic machine consisted of a stack of concentric disks mounted on an
axis where they could rotate independently. The disks, made of card stock, wood, or
metal, were progressively larger from top to bottom. As many as 16 words or symbols
were visible on each disk. By rotating the disks, random statements were generated
from the alignment of words. Lull’s most ambitious device held 14 disks.
The idea for the machine came to Lull in a mystical vision that appeared to him after
a period of fasting and contemplation. It was not unusual in that day before the dawn of
scientific observation for scientific advances to be attributed to divine inspiration. He
thought of his wheels as divine, and his goal was to use them to prove the truth of the
Bible.8

In reality, Lull may owe what he considered divine inspiration to the influence of
mere mortals. While studying Arabic and working as a missionary to convert the Moors
to Christianity, he came across a device that Arab astrologers used called the zairja. It
used the 28 letters of the Arabic alphabet to represent the 28 categories of thought in
Arab philosophy. By combining numerical values associated with the letters and cat-
egories, new avenues of thought and enlightenment were opened.
Lull’s fame as a mystic spread throughout Europe during the late Middle Ages and
Renaissance. His followers were called Lullists. Centuries later, the German mathem-
atician Leibniz acknowledged the importance of Lull’s logic machine.
In “Gulliver’s Travels,” Swift satirizes the machine without naming Lull. In the story,
a professor shows Gulliver a huge contraption that generates random sequences of
words. Whenever any three or four adjacent words made sense together, they were
written down. The professor told Gulliver the machine would let the most ignorant per-
son effortlessly write books in philosophy, poetry, law, mathematics, and theology.
This may be the first use of non­determinism in computing.
Soon thereafter William of Ockham discovered the foundations of what were to be­
come De Morgan’s laws of logic. More specifically, from (Sowa, 2002):
(Ockham, 1323) showed how to determine the truth value of compound propositions
in terms of the truth or falsity of their components and to determine the validity of rules

8   Compare this with our notion of how oracles thought about the manner in which 
ideas were installed in their minds. Lull took the next step and imagined that ideas may just as 
well be installed in a mechanical device through similar divine intervention. All we would need 
do is read them out.

11/23
 of inference (regulae generales consequentiarum) in terms of the truth of their antecedents
and consequents.

Thought tools, scientific instruments, and the process of science

Clocks,   abaci,   straight­edges,   hierarchies,   non­determinism,   laws   of   logic,   and   other 

thought tools differ in kind from microscopes, telescopes, and other scientific instruments 
of observation. The former are intended to allow us to externalize and manipulate our 
thoughts. The latter allow us to investigate nature—to see what’s out there and perhaps to 
see things that will require new ideas to understand them. Thought tools are constructive; 
instruments of scientific observation are reductive.
Thus after having convinced ourselves that we are capable of generating our own ideas
—and are not dependent on external sources for how to think about the world—an im­
portant step was to realize that it’s necessary to test our ideas against the world. Simply 
coming up with an idea is not enough.  It’s important both to externalize it as a way to 
work with it and to test it by looking at nature though it and seeing if it still makes sense. 
Science fundamentally consists of three kinds of activity. 
1. Uncovering new facts (observations) about nature—and confirming predictions. 
2. Reverse engineering nature to figure out how understood principles can produce 
the observed facts.  Although reverse engineering sounds unglamorous, it is a fun­
9

damental and essential activity. The discovery that our genome is encoded as a 
double helix was in its essence reverse engineering.
3. If (2) fails, establishing new fundamental principles and then using them as the 
basis of reverse engineering process.  This occurs only in fundamental physics. 
Scientific instruments help us with (1). Thought tools help with (2) and (3).

Thought tools and conceptual models

It is commonplace (and correct) to say that to understand a computer program (from the 
perspective of a user of that program) one must understand the conceptual model that the 

9   Reductionism has recently received a lot of bad press. As explicated here, the re­
ductionist impulse often leads to observations that require the development of important new 
ideas.  

12/23
program   implements.   This   may   sound   inconsistent   with   our   notion   of   externalizing 
thought, i.e., that the thought comes first and is then externalized as a program. 
1. Most users of most computer programs are not the people who developed those
programs. It is the developers’ thoughts which were externalized. Users must 10

learn to understand the developers’ thoughts in pretty much the same way that
someone who reads a book is being asked to understand the writer’s thoughts.
2. More importantly, a fundamental reason for externalizing thought is to allow us
to work with it. It is almost inevitable that when one works with one’s own ex-
ternalized thoughts, be they expressed as computer programs or as words, one de-
velops those thoughts beyond the form they took when first externalized. Thus
developers of computer programs often find that the programs they write imple-
ment models that extend and modify their original ideas in important ways. So
even software developers often find themselves working hard to understand the
conceptual models of the programs that they write.
3. Externalized thoughts are generally not the same as the original even when no
error or misunderstanding occurs. This is simply a fact of life. To externalize a
thought, the thought must be expressed in some symbolic or physical medium.
Every such medium is limited—often in ways that prevent it from representing
the original thought in its precise original form. To take two obvious examples:
(a) a computer’s memory is not unbounded even thought one often thinks in
terms of unbounded memory and (b) the way we choose to represent numbers
may limit their range and precision even though we tend not to think of numbers
as being limited in either of these ways.

The state of the art of thought externalization

Every computer application is a thought tool. The thoughts that are being manipulated are 
the thoughts that are represented by the conceptual model implemented by the applica­
tion. More importantly every programming language is a thought tool. It allows us to ex­
ternalize our thoughts about behaviors as computer programs. One writes computer ap­
plications in programming languages. Thus a programming language is a thought tool for 
building thought tools, i.e., a thought tool for externalizing thought. 

10   In large formally defined systems, the origin of the system’s conceptual model is 
typically more diffuse. The eventual users (or their proxies or representatives) may write require­
ments documents, which may include use cases. A requirements document—or the use cases it 
may include—often does (but need not) include elements of a conceptual model. Users  and their 
proxies may also write concept of operations (CONOPS) documents, which also may or may not 
include elements of a conceptual model.

13/23
 It is important to realize that a programming language is itself a computer application. 
As a computer application, it implements a conceptual model; it allows its users to ex­
press their thoughts in certain limited ways, namely in terms of the constructs defined by 
the programming language. But all modern programming languages are also conceptually 
extensible. Using a programming language one can define a collection of concepts and 
then use those concepts to build other concepts. Because of that extensibility computers 
have become extraordinarily powerful thought tools. 
We are still learning to use the power of computers to externalize thought. In one way 
or another, much of software­related research is about developing more powerful, more 
specialized, faster, easier to use, or more abstract thought tools. We now have thought 
tools for images, thought tools for sound, thought tools for business, thought tools for sci­
ence, etc. There is virtually no realm of thought for which some thought tool has not been 
developed.
We also have increasingly powerful languages in which to externalize and work with 
our thoughts. The more we learn the higher we ascend the mountain of abstraction and 
the broader the vistas we see. Recent work in externalize thought includes work in declar­
ative programming (e.g., logic programming, functional programming, constraint­based 
programming, rules­based systems such as expert systems, etc.), meta and markup lan­
guages such as XML (W3C, 2006.X) and its extensions and derivatives, the Unified Mod­
eling Language (UML) (OMG, 2005) for representing a wide range of modeling con­
cepts,  and the Semantic Web (W3C,  2006.S) and the OWL Web Ontology Language 
(W3C, 2004) for externalizing how we look at the world. With OWL we are continuing to 
work in a tradition that dates back to Porphyry—and before.

Defining computation

In this section we return to the question of how to define computation. It is surprisingly 
difficult to find a well considered definition. The definition offered by Eliasmith appears 
to be the most carefully thought out. Here is his definition and his commentary.

14/23
 Computation. A series of rule governed state transitions whose rules can be altered.
There are numerous competing definitions of computation. Along with the initial defini-
tion provided here, the following three definitions are often encountered:
• Rule governed state transitions
• Discrete rule governed state transitions
• Rule governed state transitions between interpretable states
The difficulties with these definitions can be summarized as follows [letters added]:
a) The first admits all physical systems into the class of computational systems,
making the definition somewhat vacuous.
b) The second excludes all forms of analog computation, perhaps including the sorts
of processing taking place in the brain.
c) The third necessitates accepting all computational systems as representational
systems. In other words, there is no computation without representation on this
definition.
Contrary to Eliasmith we suggest the following.
a) The notion of alterable rules is not well defined, and hence all physical systems are 
potentially computational systems. 
b) But, it is exactly the fact of interpretability that makes a physical process into a com­
putation. (Eliasmith doesn’t explain why he rejects the notion that computation requires 
interpretation.)
Eliasmith requires that the rules governing the state transitions must be alterable in or­
der to distinguish a computation from a naturally occurring process—which presumably 
follows rules that can’t be altered. But all computing that takes place in the physical world 
is based on physical processes. If we set aside the issue of the probabilistic nature of 
quantum physics, and if we suppose that physical processes operate according to unalter­
able rules, it’s not clear what it means to say that it must be possible to alter a set of 
rules. 
This is not just being difficult. Certainly we all know what it means to say that one 
program is different from another—that “the rules” which govern a computation,  may be 
altered. But the question we wish to raise is how can one distinguish the altering of a pro­
gram from the altering of any other contingent element in an environment? 11

It is the particular program that is loaded into a computer’s memory that distinguishes 
the situation in which one program is being executed from that in which some other pro­
gram is executing. But a computer's memory is the environment within which the com­

11   We don’t address the issue of “hard­wired” computations. How fixed must it be 
before one is no longer willing to say that it is not alterable—and hence not a computation?

15/23
puter’s cpu (or some virtual machine) finds itself, and a loaded program defines the state 
of that environment. The cpu (or the virtual machine) is (let’s presume) fixed in the same 
way that the laws of nature are fixed. But depending on the environment within which it 
finds itself—i.e., the program it finds in its environment—the cpu operates differently, 
i.e., it performs a different computation. 
But the same sort of analysis may be applied to virtually any natural process. When we 
put objects on a balance scale, the behavior of the scale will depend on the particular ob­
jects, i.e., on the environmental contingencies.   In both the case of the program loaded 
12

into a computer and the objects we put in the pans of a balance scale, we (the user) de­
termine the environment within which some fixed process (i.e., the rules) proceeds. 
This brings us back to our original position. A process in nature may be considered a 
computation only when we use it as a way to work with externalized thought. A physical 
or otherwise established process—be it the operation of a balance scale, a cpu, the Game 
of Life, or the sun in motion with respect to trees and the ground—is just what it is, a 
fixed process.   But for almost all processes,  whether we create them or they arise natur­
13 14

ally, how the process proceeds depends on environmental contingencies. When we control 
(or interpret) the contingencies in such a way that we can use the resulting process to 
work with our own thoughts, then the process may be considered a computation. This is 
the case whether we control the contingencies by loading a program into a computer, by 
placing objects  in  the pans of a balance scale, by establishing initial conditions  on a 
Game of Life grid, or by giving meaning to shadows cast by trees. 
Consequently we agree with Eliasmith that it must be possible to alter the rules, but we 
would express that condition in other words. For a physical or otherwise established pro­
cess to be considered a computation there must be something contingent, i.e., alterable, 
about the environment within which it operates. It must be possible to separate a compu­
tational process into its fixed or established part and its contingent or alterable part.  

12   When a balance scale compares the weights of two objects and returns an “out­
put” (selected from left­is­heavier, equal­weights, and right­is­heavier), is it performing a com­
putation? It is if we are using it for this purpose. It isn’t if we are using it as a designer setting for 
flower pots.
13   Of course many processes—such as the operation or a cpu and the operation of a 
balance scale—are what they are because we built them to be that way—because we anticipated 
using contingencies that we could control in their environment to help us think about something.
14   Some quantum processes may occur on their own without regard to their envir­
onments—although even quantum processes are environmentally constrained by the Pauli exclu­
sion principle..

16/23
 The fixed process may be some concrete instances of the playing out of the laws of 
nature—in which case the contingent environment is the context within which that play­
ing out occurs. Or the fixed process may be the operation of a cpu—in which case the 
contingent environment is the computer’s memory which contains the program that is be­
ing executed. Or the fixed process may be the operation of a program that a cpu is execut­
ing—in which case the contingent environment is the input to that program. Or the fixed 
process may be the process that grows rings in tree trunks—in which case the contingent 
environment is the environmental conditions that affect that growth. No matter how we 
sliced it, a computation occurs when we alter (or interpret in the case of shadows or tree 
rings) the contingencies in the environment of an fixed process as a way to work with our 
thoughts.

Non­algorithmic computing

A corollary of the preceding discussion is that all computation performed by established 
processes must be considered environmentally driven. Computing involves configuring 
environmental contingencies, i.e., setting up an environment within which a process (or 
multiple   processes)   will   occur.   We   refer   to   this   perspective   on   computing   as  non­al­
gorithmic computing  because one’s focus is more on how an environment will shape a 
process than on a specific sequence of steps that the shaped process will take. No explicit 
algorithm is involved. Most of what we call unconventional computation appears to be 
non­algorithmic in this sense.
Given this perspective, it may seem ironic that what we think of as conventional com­
putation (as carried out by von Neumann computers) is a very constrained form of uncon­
ventional computation. We are attracted to this model because its single threaded linearity 
makes it easy to manage. But clearly, nature is not linear. Any electrical/computer engin­
eer will confirm how much work it takes to shape what really goes on in nature into 
something as easy to manage as a von Neumann computer. 
Perhaps   even   more   ironically,   we   then   turn   around   and   use   conventional   single­
threaded computations to simulate nonlinear unconventional computation. One might say 
that one of the goals of this conference is to eliminate the von Neumann middle man.

17/23
Turing Machines vs. Turing computability

Might we look to Turing Machines (and their equivalents) for a definition of computation 
independent of thought? Clearly not. Turing Machines, recursive functions, etc. rely on 
the   notions   of   symbols   and   symbol   manipulation.   Eliasmith’s   definition   doesn’t—al­
though his definition does depend on the notion of rule­governed state transitions, which 
appears difficult to define non­symbolically. The saving grace of states and state trans­
itions is that they are intentional—they are our way of thinking about what happens in 
nature—and they do not reflect purely mental activity as does symbol manipulation.
But Turing Machines and their Church’s thesis equivalents offer an important insight. 
They identify symbol manipulation to be what we intuitively think of as computational 
activity. The Turing Machine model (or equivalent formulation) is our way of externaliz­
ing the class of mental activities that we intuitively think of a computational thinking.
In saying this we are separating (a) the sorts of computational activities characterized 
by Turing Machines, etc., i.e.,  the  Turing Machines themselves, from  (b) the  class  of  
functions that these computational models compute, i.e., Turing computability. 
The various models of computational activities are defined all constructively, i.e., in 
terms of the operations one is allowed to perform when defining a computational proced­
ure. Not only that but the proofs that all the standard models of computation are equival­
ent are also constructive. These are not existence proofs. We can constructively transform 
any Turing Machine into a recursive function and vice versa, etc. 
The standard theory then takes the constructive definitions (of the kind of software one 
may create) and applies them to the task of computing functions, i.e., transforming inputs 
into outputs. But this second step isn’t necessary.  What’s important about Church’s Thes­
is is not the class of functions that can be computed but the possible programs one may 
construct. What’s important about Church’s Thesis is the insight that Turing Machines, 
recursive functions, and our standard programming languages are our way of externaliz­
ing the category of thought that we think of as computing.

Agent­based computing 

Traditionally when one thinks of computing and computability, one thinks of Turing Ma­
chines. The Turing Machine model is explicitly single threaded. So are the single pro­
cessor von Neumann computers that we built based on the Turing Machine. But many of 

18/23
our fundamental computer science models are either parallel, asynchronous, or non­de­
terministic. Not all computational ideas are linear and single threaded. 
Yet we have been unable to build thought tools to help us externalize these kinds of 
non­deterministic computational ideas. In some cases (NFAs, regular expressions), non­
determinism yields no additional computational power. In other cases (assuming NP ≠ P) 
attempts to perform non­deterministic computations on a single­threaded computer res­
ults in a demand for resources that simply cannot be met by any current physical thought 
tool. 16

Four   decades   ago   agent­based   computing,   an   intermediate   form   of   computational 

17

framework, began to emerge (Dahl, 1966). Agent­based computing is an attractive form of 
asynchronicity   because   it   relies   on   manageable   parallelism—asynchronous   computing 
threads that don’t result in an unrealizable demand for computing resources. 18

Far­from­equilibrium (open) computing

(Goldin 2003) and (Wegner, 2005) define what they called  persistent Turing Machines 
(and elsewhere interaction machines). These are Turing Machines that perform their com­
putations over an indefinite period—continually accepting input and producing output 
without ever completing what might be understood as a traditional computation. Results 
of computations performed after accepting one input may be maintained in the machine’s 
memory (on its “working tape”) and are available for use when processing future inputs. 
Although Wegner’s focus is not on agent­based computing, his model is essentially that. 
Wegner’s   interaction  machines   are  agents   which  interact   with  their  environments   and 
maintain information between interactions.
Wegner and Goldin (Wegner 1999) claim that “interactive finite computing agents are 
more expressive than Turing machines.” There has been much debate about this claim—
see, for example, (Cooper 2004) for a discussion.  We believe that this is the wrong ques­
tions. What we believe Wegner and Goldin have done is to have taken implicitly the same 
stance that we took explicitly above, i.e., to separate the programs one can write from the 

16   If we get it to work on a useful scale quantum computing may be the first such 
thought tool.
17   In our view, an agent is an object (a) whose actions are a consequence of its own 
internal thread(s) and (b) whose methods may not be called freely from the outside.
18   Its price is chaotic asynchronicity: minimally different event orderings may yield 
different results.

19/23
functions one can compute. In making this implicit distinction Wegner and Goldin point 
out that one need not think of the program that a Turing Machine embodies as a system 
closed with respect to information flow—as traditional Turing Machines are. One can 
also think of a Turing Machine as open with respect to information flow. This parallels 
the distinction in physics between systems that are closed and open with respect to energy 
flows. Complex systems are famously far from equilibrium with respect to environmental 
energy flows. Wegner and Goldin’s interaction machines (and agents in general) are sim­
ilarly far from equilibrium  with respect to information  flows  between themselves and 
their environment.   
What might one gain from being open to information flows? An illustrative example is 
Prisoner’s Dilemma (PD) (e.g., Axelrod 1984). When two (optimized) PD players engage 
in a one­shot exchange (both systems are closed) both will Defect, leading to a gain to 
each of 1 point—using the usual scoring rules. When two (optimized) PD players engage 
in an iterative PD sequence (both systems are open) both will Cooperate indefinitely (pre­
sumably they will each play a variant of Tit­for­Tat), leading to a gain to each of 3 points 
at each exchange. 

Agents and their environments

Computation involves the interaction of a process with its environment.  As discussed 
above when considering Eliasmith’s definition of computation the environment may be 
considered the program which the agent executes. Alternatively, the Turing model releg­
ates the environment to the role of input to be processed by the Turing Machine’s pro­
gram. In both cases, the environment may be modeled as a simply structured collection of 
symbols. Neither of these models is adequate when compared to the environment within 
which we actually find ourselves. We do not know how to model the multi­scalar face that 
Nature presents to us—but almost certainly it won’t be modeled as a tape or a grid. 
• In our actual environment new entities and new kinds of entities may come into 
existence. Yet we are able to perceive and interact with them as entities. We are 
aware of no formal environmental framework capable of representing such phe­
nomena. 
• We do not understand the ultimate set of primitives—if indeed there are any—
upon which everything else is built. 
We have referred to these unsolved problems as the difficulty of looking upwards and 
downwards respectively. 

20/23
In other words, we feel fairly confident that our current understanding of an agent is reas­
onably close to how we think about thinking. But we have no clear idea how to think 
about the environment in which we find ourselves—other than that it remains mysterious.

The inevitable evolution of intelligence and the evolution of evolvability

The mystery of the environment notwithstanding, we can still think about open compu­
tational models. Clearly thinking in terms of open computation models, i.e., agents, leads 
to different results from thinking in terms of closed models. Yet both use the same class 
of possible programs. Since open computation models include the class of Oracle ma­
chines, computability doesn’t seem like the appropriate perspective. Is there another ap­
proach? We suggest that the notion of results achieved by an agent with respect to its en­
vironment is more relevant.  
Under what circumstances would it make sense to think of an agent (or any computa­
tional device) in terms of results achieved? In (Abbott 2006) we discuss the nature of 
emergent entities. Static entities persist at an energy equilibrium in energy wells; dynamic 
entities, those which we find most interesting, persist only so long as they can extract en­
ergy from their environment to maintain themselves. 
Unfortunately most agent­based computer models either ignore the issue of energy or 
treat it very artificially.  We believe that an integrated theory of energy and information 
would clarify how information flows enable evolution. If, through a random mutation, an 
entity develops an enhanced ability to extract information from its environment then it 
will be more likely to survive and reproduce. Thus what evolves is one’s computational 
power when that computational power enhances one’s ability to extract information from 
one’s  environment.  Hence   the  need   that  far­from­equilibrium   entities   have   for   energy 
from their environment drives evolution toward increasingly more powerful computation­
al capabilities. This seems to answer the question of whether evolution will always pro­
duce intelligence. It will in any environment in which increased intelligence will yield en­
hanced access to energy.
In this picture, information is being extracted from the environment at two levels. Each 
individual extracts information from the environment to find energy. More interestingly, 
the evolutionary process itself extracts information from the environment, which it then 
encodes in DNA as the program that processes information from the environment. 
Can evolution itself evolve? Is there something that will enable an entity to extract in­
formation from the environment more effectively? Just as natural evolution stores as DNA 

21/23
information   about   how   to   process   information   from  the   environment,   modern  society 
stores information about how to process information from the environment as science. 
This perspective on science is compatible with an uncertainty about the our environment. 
It is the task of science to learn more about the environment in which we find ourselves.
Can we go beyond science? Can the scientific process itself evolve? Science is the pro­
cess of constructing mechanisms to extract and process information from the environ­
ment. Since science is a thought process, tools that enables us to externalize and improve 
our scientific thought processes will enhance our ability to do science.

Conclusion

The agent­based paradigm involves agents, each of which has the computing capability 
of a Turing machine, situated in an environment that reveals itself reluctantly—in effect 
with nature as an oracle to our agent.  The agent­based thesis  is that this agent­based 
paradigm represents a consensus view of how, at the start of the 21 st  century, we think 
about our place with the world. 

References

Abbott, R., “Emergence Explained,” submitted for publication. 
Albacete, L. “For the Love of God,” New York Times, Feb 3, 2006. 
Axelrod, R., The Evolution of Cooperation, New York: Basic Books, 1984.
Bromley, A. “Analog Computing Devices,” in W. Asprey (ed), Computing Before Computers, Iowa 
State University Press, Ames, Iowa, 1990.
Cooper, B., “Definability as Hypercomputational Effect,” Technical Report 5­2004, Department of 
Computer Science, University of Wales Swansea, March 2004.
Dahl, O­J and K. Nygaard, “Simula: an ALGOL­based simulation language,” Communications of  
the ACM, (9, 9), 1966, 671­678. 
Dennett, D., Darwin’s Dangerous Idea, Simon & Schuster; Reprint edition, (June 12, 1996).
Eliasmith, C, “Computation,” entry in Dictionary of the Philosophy of Mind, May 11, 2004. 
Eliasmith, C, “Philosophy of mind,” entry in Dictionary of the Philosophy of Mind, May 11, 2004.
Goldin, D. and P. Wegner, “Behavior and Expressiveness of Persistent Turing Machines,” Com­
puter Science Technical Report, Brown University, 1999, http://www.cs.montana.edu/~elser/tur­
ing papers/Behavior and Expressiveness of PTM.pdf.

22/23
Goldin, D., et. al, “Turing Machines, Transition Systems, and Interaction,” Information and Com­
putation, 194, (Nov 2004), 101 ­ 128   
Google,  Help   Center,  undated.  Accessed   March   12,   2006: 
http://mail.google.com/support/bin/answer.py?answer=29433&query=faq&topic=0&type=f.
IJUC   Editorial   Board,   “Preface   [to   the   first   edition]   from   the   Editorial   Board,”  International  
Journal of Unconventional Computing, (1, 1),  pp 1­2, 2004. 
Maxfield and Montrose Interactive, A History of Computers. 
Ockham, William of (1323) Summa Logicae, Johannes Higman, Paris, 1488; the edition owned by 
C. S. Peirce. Also volume 1 of  Opera Philosophica, ed. by P. Boehner, G. Gál, & S. Brown, 
Franciscan Institute, St. Bonaventure, NY, 1974. 
OMG, Unified Modeling Language, v 2.0: Superstructure, August 2005. 
Ray, T. S. “An approach to the synthesis of life,” in : Langton, C., C. Taylor, J. D. Farmer, & S. 
Rasmussen [eds], Artificial Life II, Santa Fe Institute Studies in the Sciences of Complexity, vol. 
XI, 371­408. Addison­Wesley, 1991.
Smart Computing, undated. Accessed February 20, 2006: http://www.smartcomputing.com/editori­
al/dictionary/detail.asp?guid=&searchtype=1&DicID=18707&RefType=Encyclopedia.
Sowa,   J.,   “Existential   Graphs,”   2002.  Accessed  February   20,   2006: 
http://www.jfsowa.com/peirce/ms514.htm.
Sowa, J. “Semantic Networks,” in  S.C.. Shapiro (ed)  Artificial Intelligence­Encyclopedias, John 
Willy & Sons, Inc, 1992, pp 1493­1511. 
Thagard, Paul, "Cognitive Science",  The Stanford Encyclopedia of Philosophy (Winter 2004 Edi­
tion),   Edward   N.   Zalta (ed.),   Accessed   March   25,   2006: 
http://plato.stanford.edu/archives/win2004/entries/cognitive­science.
W3C,  OWL Web Ontology Language Reference, February 10, 2004. Accessed March 13, 2006: 
http://www.w3.org/TR/owl­ref/.
W3C,  Extensible   Markup   Language   (XML),   February   5,   2006.   Accessed   March   25,   2006: 
http://www.w3.org/XML/.
W3C, Semantic Web, March 22, 2006. Accessed March 25, 2006: http://www.w3.org/2001/sw/.
Wegner, P. and D. Goldin, “Interaction, Computability, and Church’s Thesis,”  British Computing  
Journal, 1999. 
Wegner, P. et. al., “The Role of Agent Interaction in Models of Computing,”  Electronic Notes in  
Theoretical Computer Science, 141, 2005. 

23/23